Logstash7.6 @timestamp早8小时,urldecode解决中文URL编码 本文介绍我最近使用 Logstash 遇到的2个问题 博主 logstash 版本为最新版 7.6 一、解决 @Timestamp 早 8小时 先说下原因,默认编码是 UTC,即世界统一时间 参考: ...... 言曌 12月28日 1317 6 阅读全文
Logstash基本使用,采集svn日志到ES 我们最近把 svn 代码仓库协议从 svn 改成了 http 目的是通过 apache 记录 svn 客户端的操作日志,然后通过 ELK 分析 本文主要介绍 logstash 的使用 一、测试&nbs...... 言曌 12月23日 1326 6 阅读全文
SVN可视化平台(7) -- ElasticSearch 全文检索,Spring Data ES 和 RestHighLevelClient 的两种方式,解决最多查询一万条数据的问题 本文介绍 ES 查询数据的2种方式 最近在做SVN web化中,需要把数百万的SVN文件信息存储到数据库,然后存储到ES,实现全文检索功能。 最开始我用的是 Spring Data ES,后面出现了一...... 言曌 12月22日 4348 6 阅读全文
Spring Data ElasticSearch 嵌套对象查询 之前的es文件索引需要加一个权限判断,我现在的思路是每个文件的角色和权限放到嵌套对象里 然后查询的时候通过查询嵌套对象来实现 just do it 一、创建索引 http://10.1.5.190:9...... 言曌 12月17日 2420 6 阅读全文
ElasticSearch ES wildcard实现模糊查询和Java整合使用 昨天下班前弄了一下 wildcard 模糊查询发现没有效果,今天早上来马上就解决了,记录下。 说明:查询的字段必须有keyword类型 需求背景 先说下我的背景,我需要对一个文件表(es...... 言曌 12月08日 8382 6 阅读全文
ElasticSearch ES使用ngram分词器 一、standard分词分析 ES默认分词器standard不支持我目前的需求,比如我需要搜索 22.doc 查看分词效果如下 standard 分词器把22.doc分词了22和doc两个词 如果我...... 言曌 12月03日 7320 6 阅读全文
SpringBoot2.3集成ElasticSearch7.6 最近在做基于web的svn平台,需要把文件名称等等信息存储到数据库,查询提供查询接口,为了提高查询性能,我们考虑把数据库信息也缓存到ES中一份。 本文介绍springBoot2集成ES7.6。 完整代...... 言曌 11月20日 2549 6 阅读全文
【搜索引擎】 4-ES在大数据量下提高查询效率方案 在一些公司里,很多数据都喜欢丢到 ES 里,甚至有的人把其充当数据库的使用,这样是很危险的。很可能过个半年一年ES数据量就很大了,然后当时的申请的ES机器配置不高,查询速度变慢。所以,一开始架构评审应...... 言曌 11月26日 3362 6 阅读全文
【搜索引擎】3-ES读写读取过程和原理,倒排索引介绍 先简单说一下过程,再说原理 一、ES写入数据过程 1、客户端随机选择一个 node 发送请求,这个 node 就是 coordinating node(协调节点) 2、coordinating nod...... 言曌 11月23日 2681 5 阅读全文
【搜索引擎】2-ES的分片、扩容以及容错机制 一、primary shard 和 replica shard 分片机制 在公司里,我们的ES通常都是集群的,比如由6台ES机器组成的集群。 创建索引index时,为了保证index数据的可靠性,会进...... 言曌 11月23日 3676 6 阅读全文
【搜索引擎】1-ES基本概念 lucene 是最先进、功能最强大的搜索库。如果直接基于 lucene 开发,非常复杂,即便写一些简单的功能,也要写大量的 Java 代码,需要深入理解原理。 elasticsearch 基于 luc...... 言曌 11月23日 1880 6 阅读全文
SpringBoot 整合ElasticSearch,实现站内搜索,高亮关键字 ElasticSearch 是目前最风靡的开源框架之一,常用于站内搜索和日志分析。上一篇文章介绍了 ES 和 MySQL 数据同步,本文就介绍 ES 如何集成到 SpringBoot 中,实现基本的查...... 言曌 02月06日 6460 7 阅读全文
安装 elasticsearch-analysis-ik 中文分词器 ElasticSearch 默认的分词器对英文处理比较好,对中文的话,会将中文分成一个个字。 比如根据文章标题搜索,输入关键字"新中国万岁",会将这五字一个个展开,然后搜索标题中包含这几个字的,...... 言曌 02月05日 2745 5 阅读全文
ElasticSearch实时同步MySQL数据 ElasticSearch是目前最风靡的一款的开源框架,可用于站内搜索和日志分析。 目前,我们准备把所有文章搜索或分页都基于 ElasticSearch 实现,其“搜索速度快,有分词,高亮等功能...... 言曌 02月05日 8934 6 阅读全文
Mac 安装 elasticsearch 实用教程 一、下载 elasticsearch 下载地址:https://www.elastic.co/downloads/past-releases 选择一个版本,下载 博主这里测试使用的是 2...... 言曌 01月21日 3808 6 阅读全文