Elasticsearch介绍、安装以及IK分词器 --学习笔记

🕗 发布于 2024-07-19 18:55 elasticsearch 学习笔记

Elasticsearch 是什么？

Elasticsearch 是一个高度可扩展的开源全文搜索和分析引擎。它允许你以极快的速度存储、搜索和分析大量数据。Elasticsearch 基于 Apache Lucene 构建，提供了一个分布式、多租户能力的全文搜索引擎，带有 HTTP web 接口和无模式 JSON 文档。这意味着你可以用 Elasticsearch 存储、搜索、分析的数据种类非常广泛，几乎可以适用于任何类型的用例。

当项目中需要使用到搜索查询功能时，光靠MySqld的模糊查询就显得心有余而力不足了，模糊查询的匹配要求非常严格，需要搜索结果中必须带有相关关键字，而且当搜索量大了之后，使用MySql进行大量的查询操作效率也会大打折扣。而在Elasticsearch 搜索引擎中，用户输入出现个别错字，或者用拼音搜索、同义词搜索都能正确匹配到数据。

Elasticsearch 安装

基于docker环境下的安装命令：

docker run -d \
  --name 容器名 \
  -e "ES_JAVA_OPTS=-Xms512m -Xmx512m" \
  -e "discovery.type=single-node" \
  -v es-data:/usr/share/elasticsearch/data \
  -v es-plugins:/usr/share/elasticsearch/plugins \
  --privileged \
  --network 网络名 \
  -p 9200:9200 \
  -p 9300:9300 \
  elasticsearch:版本号

kibana安装

kibanna用于图形化展示Elasticsearch，可以对Elasticsearch进行控制台操作：

docker run -d \
--name kibana \
-e ELASTICSEARCH_HOSTS=http://es:9200 \
--network 网络名 \
-p 5601:5601  \
kibana:7.12.1

倒排索引和正向索引

正向索引机制

在讨论数据库（如MySQL）的查询优化时，重要的是要理解索引的作用及其在模糊查询中的局限性。例如，当对数据库中某一张拥有成千上万条数据的表进行模糊查询时，如使用SQL的LIKE语句，查询性能可能受到影响。假设我们对该表的一个字段使用模糊查询，可能使用类似LIKE '%关键字%'的查询条件。即使查询的第一条记录就是我们需要找的数据，查询操作并不会因此停止。原因在于数据库系统需要找出所有匹配的记录，而不仅仅是第一条匹配的记录。因此，系统不得不继续扫描整张表，以确保没有遗漏任何符合条件的数据。

这种查询效率不高的原因部分在于，标准索引主要优化了精确匹配或范围查询的性能。对于以通配符开始的模糊查询（例如LIKE '%关键字%'），标准索引往往无法被有效利用，因为这违背了索引设计的预期使用方式。

倒排索引机制

倒排索引（Inverted Index）是一种数据库索引方式，它与前面讨论的正向索引或数据库中常用的标准索引不同。倒排索引在文档检索系统，如搜索引擎，以及在一些特定类型的数据库优化中非常关键。它的主要思想是根据文档内容中出现的词汇来建立索引，而不是文档到词汇的映射，这与正向索引正相反。

倒排索引主要由两个部分组成：一是词表（Term List），二是倒排列表（Inverted List）。词表中包含了所有文档中出现的词汇，而对于每个词汇，倒排列表则记录了该词汇出现在哪些文档中，通常还包括词在文档中出现的位置、频率等信息。

也就是说倒排索引会将每个文档中出现的词汇提取出来，记录于倒排列表之中，当查询时，直接根据查询输入中的词汇去找相关词汇的倒排列表记录，就可以直接找到有记录相关词汇的文档了，而不必向正向索引一样每次查询都遍历全表。

倒排索引最典型的应用是在搜索引擎中，它使得用户能在短时间内从互联网的海量信息中找到所需的内容。此外，在一些特定的数据库产品中，特别是那些面向文本检索的数据库系统，也广泛采用倒排索引来优化查询性能和存储效率。

总体而言，倒排索引因其特有的结构和优势，成为了处理大规模文本数据，特别是搜索和文本分析领域的重要技术之一。

那么为什么一个叫做正向索引，一个叫做倒排索引呢？

正向索引是最传统的，根据id索引的方式。但根据词条查询时，必须先逐条获取每个文档，然后判断文档中是否包含所需要的词条，是根据文档找词条的过程。
而倒排索引则相反，是先找到用户要搜索的词条，根据词条得到保护词条的文档的id，然后根据id获取文档。是根据词条找文档的过程。

正向索引：

优点：
- 可以给多个字段创建索引
- 根据索引字段搜索、排序速度非常快
缺点：
- 根据非索引字段，或者索引字段中的部分词条查找时，只能全表扫描。

倒排索引：

优点：
- 根据词条搜索、模糊搜索时，速度非常快
缺点：
- 只能给词条创建索引，而不是字段
- 无法根据字段做排序

文档和字段

elasticsearch是面向文档（Document）存储的，可以是数据库中的一条商品数据，一个订单信息。文档数据会被序列化为json格式后存储在elasticsearch中：

因此，原本数据库中的一行数据就是ES中的一个JSON文档；而数据库中每行数据都包含很多列，这些列就转换为JSON文档中的字段（Field）。

索引和映射

随着业务发展，需要在es中存储的文档也会越来越多，比如有商品的文档、用户的文档、订单文档等等。

所有文档都散乱存放显然非常混乱，也不方便管理。

因此，我们要将类型相同的文档集中在一起管理，称为索引（Index）。

例如：

商品索引

{
    "id": 1,
    "title": "小米手机",
    "price": 3499
}

{
    "id": 2,
    "title": "华为手机",
    "price": 4999
}

{
    "id": 3,
    "title": "三星手机",
    "price": 3999
}

用户索引

{
    "id": 101,
    "name": "张三",
    "age": 21
}

{
    "id": 102,
    "name": "李四",
    "age": 24
}

{
    "id": 103,
    "name": "麻子",
    "age": 18
}

所有用户文档，就可以组织在一起，称为用户的索引；
所有商品的文档，可以组织在一起，称为商品的索引；

因此，我们可以把索引当做是数据库中的表。

数据库的表会有约束信息，用来定义表的结构、字段的名称、类型等信息。因此，索引库中就有映射（mapping），是索引中文档的字段约束信息，类似表的结构约束。

mysql与elasticsearch

MySQL	Elasticsearch	说明
Table	Index	索引(index)，就是文档的集合，类似数据库的表(table)
Row	Document	文档（Document），就是一条条的数据，类似数据库中的行（Row），文档都是JSON格式
Column	Field	字段（Field），就是JSON文档中的字段，类似数据库中的列（Column）
Schema	Mapping	Mapping（映射）是索引中文档的约束，例如字段类型约束。类似数据库的表结构（Schema）
SQL	DSL	DSL是elasticsearch提供的JSON风格的请求语句，用来操作elasticsearch，实现CRUD

IK分词器

Elasticsearch的关键就是倒排索引，而倒排索引依赖于对文档内容的分词，而分词则需要高效、精准的分词算法，IK分词器就是这样一个中文分词算法。

安装Ik分词器

方法一

下载好分词器，然后上传到Elasticsearch挂载的插件目录。

方法二

在线安装，运行命令，然后重启容器：

docker exec -it es ./bin/elasticsearch-plugin  install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.12.1/elasticsearch-analysis-ik-7.12.1.zip

IK分词器的使用

IK分词器包含两种模式：

ik_smart：智能语义切分
ik_max_word：最细粒度切分

只需要在创建索引库时指定"analyzer"字段的值为IK分词器，相当于告诉Elasticsearch用什么分词器对该索引库进行分词：

 "analyzer": "ik_smart",

当然，虽然IK分词器可以对大部分常规的词汇进行分词，但对于紧跟时代潮流涌现的那些时下热词之类的，依旧是无法进行分词的，此时就需要自己拓展词典。

拓展词典

1）打开IK分词器config目录：

注意，如果采用在线安装的通过，默认是没有config目录的，需要自行下载config目录上传至对应目录。

在IKAnalyzer.cfg.xml配置文件内容添加：

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
<comment>IK Analyzer 扩展配置</comment>
<!--用户可以在这里配置自己的扩展字典 -->
<entry key="ext_dict">ext.dic</entry>
</properties>

在IK分词器的config目录新建一个 ext.dic：

蔡徐坤
坤哥
坤坤
鸡你太美
666

这下对于那些网络热词也可以进行分词了

原文地址：https://blog.csdn.net/m0_71386740/article/details/140003614

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

上一篇：wireshark抓包语法
下一篇：数据结构课程设计：源代码（C）客房信息管理系统

一次性入门三款分布式定时任务调度框架：Quartz、ElasticJob3.0、xxl-job
三款分布式任务调度框架，一篇文章全部入门
阅读更多2024-10-19
Python OpenCV精讲系列 - 目标检测与识别深入理解（二十）
Haar特征是一种简单的图像特征，用于检测局部图像结构的变化。它由一组简单的黑色和白色矩形组成，用于计算图像中不同区域之间的平均像素强度差异。HOG（Histogram of Oriented Gra
阅读更多2024-10-19
OpenMediaVault安装插件以及重置web控制台密码
需要安装好openmediavault-md插件。
阅读更多2024-10-19
快速了解kubernetes中的存储管理
Secret 对象类型用来保存敏感信息，例如密码、OAuth 令牌和 ssh key。- 敏感信息放在 secret 中比放在 Pod 的定义或者容器镜像中来说更加安全和灵活- Pod 可以用两种方式
阅读更多2024-10-19
代理 IP：促进在线教育资源普及与公平的新助力
当某个地区的网络拥堵时，学生可以通过代理 IP 选择其他网络较为畅通的线路，确保学习的顺畅进行。对于一些教育资源匮乏的地区，代理 IP 可以帮助学生访问其他地区的在线教育平台，获取更多的学习资料、课程
阅读更多2024-10-19
代码训练营 day38|LeetCode 62，LeetCode 63
今天主要学习了dp的一系列操作，今天难度不大，有点dp那味儿了加油，坚持打卡的第38天。
阅读更多2024-10-19
Dynamic 3D Gaussians: Tracking by Persistent Dynamic View Synthesis 阅读
Dynamic 3D Gaussians:Tracking by Persistent Dynamic View Synthesis 论文阅读
阅读更多2024-10-19
JS模块化及import、export
本文探讨了模块化编程的背景与目的，强调了通过降低代码重复、提高可读性和便于维护等优势来改善软件开发过程。文章还介绍了五大模块化原则，包括单一职责原则和依赖倒置原则，以确保代码的灵活性和可扩展性。此外，
阅读更多2024-10-19
css 如何根据子元素给他的父元素设置样式
'active' : 'unactive' }">子元素啊根据一个变量来加样式</div>其中能马上想到的就是：这个class的判断可以加在parent后面，但是如果不改变
阅读更多2024-10-19
前端学习---(2)CSS基础
关于文字样式的属性，都具有继承性。这些属性包括：color、 text-开头的、line-开头的、font-开头的。CSS 是用来指定文档如何展示给用户的一门语言——如网页的样式、布局、等等。css语
阅读更多2024-10-19