本文介绍我最近使用 Logstash 遇到的2个问题
博主 logstash 版本为最新版 7.6
一、解决 @Timestamp 早 8小时
先说下原因,默认编码是 UTC,即世界统一时间
参考:
......
Logstash基本使用,采集svn日志到ES
我们最近把 svn 代码仓库协议从 svn 改成了 http
目的是通过 apache 记录 svn 客户端的操作日志,然后通过 ELK 分析
本文主要介绍 logstash 的使用
一、测试&nbs......
SVN可视化平台(7) -- ElasticSearch 全文检索,Spring Data ES 和 RestHighLevelClient 的两种方式,解决最多查询一万条数据的问题
本文介绍 ES 查询数据的2种方式
最近在做SVN web化中,需要把数百万的SVN文件信息存储到数据库,然后存储到ES,实现全文检索功能。
最开始我用的是 Spring Data ES,后面出现了一......
Spring Data ElasticSearch 嵌套对象查询
之前的es文件索引需要加一个权限判断,我现在的思路是每个文件的角色和权限放到嵌套对象里
然后查询的时候通过查询嵌套对象来实现
just do it
一、创建索引
http://10.1.5.190:9......
ElasticSearch ES wildcard实现模糊查询和Java整合使用
昨天下班前弄了一下 wildcard 模糊查询发现没有效果,今天早上来马上就解决了,记录下。
说明:查询的字段必须有keyword类型
需求背景
先说下我的背景,我需要对一个文件表(es......
ElasticSearch ES使用ngram分词器
一、standard分词分析
ES默认分词器standard不支持我目前的需求,比如我需要搜索 22.doc
查看分词效果如下
standard 分词器把22.doc分词了22和doc两个词
如果我......
SpringBoot2.3集成ElasticSearch7.6
最近在做基于web的svn平台,需要把文件名称等等信息存储到数据库,查询提供查询接口,为了提高查询性能,我们考虑把数据库信息也缓存到ES中一份。
本文介绍springBoot2集成ES7.6。
完整代......
【搜索引擎】 4-ES在大数据量下提高查询效率方案
在一些公司里,很多数据都喜欢丢到 ES 里,甚至有的人把其充当数据库的使用,这样是很危险的。很可能过个半年一年ES数据量就很大了,然后当时的申请的ES机器配置不高,查询速度变慢。所以,一开始架构评审应......
【搜索引擎】3-ES读写读取过程和原理,倒排索引介绍
先简单说一下过程,再说原理
一、ES写入数据过程
1、客户端随机选择一个 node 发送请求,这个 node 就是 coordinating node(协调节点)
2、coordinating nod......
【搜索引擎】2-ES的分片、扩容以及容错机制
一、primary shard 和 replica shard 分片机制
在公司里,我们的ES通常都是集群的,比如由6台ES机器组成的集群。
创建索引index时,为了保证index数据的可靠性,会进......
【搜索引擎】1-ES基本概念
lucene 是最先进、功能最强大的搜索库。如果直接基于 lucene 开发,非常复杂,即便写一些简单的功能,也要写大量的 Java 代码,需要深入理解原理。
elasticsearch 基于 luc......
SpringBoot 整合ElasticSearch,实现站内搜索,高亮关键字
ElasticSearch 是目前最风靡的开源框架之一,常用于站内搜索和日志分析。上一篇文章介绍了 ES 和 MySQL 数据同步,本文就介绍 ES 如何集成到 SpringBoot 中,实现基本的查......
安装 elasticsearch-analysis-ik 中文分词器
ElasticSearch 默认的分词器对英文处理比较好,对中文的话,会将中文分成一个个字。
比如根据文章标题搜索,输入关键字"新中国万岁",会将这五字一个个展开,然后搜索标题中包含这几个字的,......
ElasticSearch实时同步MySQL数据
ElasticSearch是目前最风靡的一款的开源框架,可用于站内搜索和日志分析。
目前,我们准备把所有文章搜索或分页都基于 ElasticSearch 实现,其“搜索速度快,有分词,高亮等功能......
Mac 安装 elasticsearch 实用教程
一、下载 elasticsearch
下载地址:https://www.elastic.co/downloads/past-releases
选择一个版本,下载
博主这里测试使用的是 2......