快速了解ElasticSearch

目录

什么是ElasticSearch

倒排索引

es与mysql的概念对比

分词器

• 什么是ElasticSearch

• elasticsearch是一款非常强大的开源搜索引擎
• 可以帮助我们从海量数据中快速找到需要的内容
• elasticsearch结合kibana,Logstash,Beats
• 也就是elastic stack（ELK）
• 被广泛应用在日志数据分析、实时监控等领域
• 而elasticsearch是elastic stack的核心，负责存储、搜索、分析数据
• elasticsearch底层是基于lucene来实现的
• Lucene是一个Java语言的搜索引擎类库，是Apache公司的顶级项目
• Lucene的优势：
  • 易扩展
  • 高性能（基于倒排索引）
• Lucene的缺点：
  • 只限于Java语言开发
  • 学习曲线陡峭
  • 不支持水平扩展
• 相比与lucene，elasticsearch具备下列优势：
  • 支持分布式，可水平扩展
  • 提供Restful接口，可被任何语言调用
• 小结
• 什么是elasticsearch？
• 一个开源的分布式搜索引擎，可以用来实现搜索、日志统计、分析、系统监控等功能
• 什么是elastic stack（ELK）？
• 是以elasticsearch为核心的技术栈
• 包括beats、Logstash、kibana、elasticsearch
• 什么是Lucene？
• 是Apache的开源搜索引擎类库，提供了搜索引擎的核心API

• 倒排索引

• 传统数据库(如MySQL)采用正向索引
• 正向：由诗名想到诗句
• 反向：由诗句想到诗名
• 倒排索引中有两个非常重要的概念：
• 文档（Document）：用来搜索的数据，其中的每一条数据就是一个文档
• 例如一个网页、一个商品信息
• 词条（Term）：对文档数据或用户搜索数据，利用某种算法分词，得到的具备含义的词语就是词条
• 例如：我是中国人，就可以分为：我、是、中国人、中国、国人这样的几个词条
• 倒排索引:
• 将文档中的内容进行分词，形成词条
• 然后记录词条和数据的唯一表示(id)的对象关系，形成的产物即为倒排索引(词条和数据之间的关系)
• 正向和倒排
• 正向索引是最传统的，根据id索引的方式
• 但根据词条查询时，必须先逐条获取每个文档，然后判断文档中是否包含所需要的词条
• 是根据文档找词条的过程
• 而倒排索引则相反
• 是先找到用户要搜索的词条，根据词条得到保护词条的文档的id，然后根据id获取文档
• 是根据词条找文档的过程
• 正向索引
• 优点：
  • 可以给多个字段创建索引
  • 根据索引字段搜索、排序速度非常快
• 缺点：
  • 根据非索引字段，或者索引字段中的部分词条查找时，只能全表扫描
• 倒排索引
• 优点：
  • 根据词条搜索、模糊搜索时，速度非常快
• 缺点：
  • 只能给词条创建索引，而不是字段
  • 无法根据字段做排序

• es与mysql的概念对比

• 文档和字段
• elasticsearch是面向文档(Document)存储的
• 可以是数据库中的一条商品数据，一个订单信息
• 文档(Document)，就是一条条的数据
• 类似数据库中的行(Row)，文档都是JSON格式
• 文档数据会被序列化为json格式后存储在elasticsearch中
• 而Json文档中往往包含很多的字段(Field)，类似于数据库中的列(Column)
• 索引和映射
• 索引(Index)：相同类型的文档的集合
• 例如：
• 所有用户文档，就可以组织在一起，称为用户的索引；
• 所有商品的文档，可以组织在一起，称为商品的索引；
• 所有订单的文档，可以组织在一起，称为订单的索引；
• 索引类似于数据库中的表(Table)
• 数据库的表会有约束信息，用来定义表的结构、字段的名称、类型等信息
• 因此，索引库中就有映射(mapping)，是索引中文档的字段约束信息，类似表结构(Schema)约束
• DSL
• DSL是elasticsearch提供的JSON风格的请求语句，用来操作elasticsearch，实现CRUD
• Mysql：擅长事务类型操作，可以确保数据的安全和一致性
• Elasticsearch：擅长海量数据的搜索、分析、计算
• 对安全性要求较高的写操作，使用mysql实现
• 对查询性能要求较高的搜索需求，使用elasticsearch实现
• 两者再基于某种方式，实现数据的同步，保证一致性

• 分词器

• 分词器的作用是什么？
  • 创建倒排索引时对文档分词
  • 用户搜索时，对输入的内容分词
• IK分词器有几种模式？
  • ik_smart：智能切分，粗粒度
  • ik_max_word：最细切分，细粒度
• IK分词器如何拓展词条？如何停用词条？
  • 利用config目录的IkAnalyzer.cfg.xml文件添加拓展词典和停用词典
  • 在词典中添加拓展词条或者停用词条