【Elasticsearch
目录
ES是什么？
Lucene是什么？
ES基本组件
ES架构（集群组件）
ES工作原理
ES默认端口
ES应用场景
集群构建
1、安装jdk
配置jdk
2、安装ES
3、修改yml配置文件
4、验证es是否启动成功
产生背景：海量数据查询
需要毫秒级或者秒级返回结果
购物商城输入 手机，页面需要快速返回数据
ES是什么？
是一个基于lucene实现的开源、分布式、RESTful的全文本搜索引擎，此外，他还是一个分布式实时文档存储，其中每个文档的每个域都是被索引的数据，且可以被搜索，也是一个带实时分析功能的分布式搜索引擎，可以扩展至数以百计的节点实时处理PB级别的数据
Lucene是什么？
专注于搜索底层的建设，而ES主要用于企业应用,构建于lucene之上，即ES的核心是lucene。
lucene是一个开放源代码的全文检索引擎工具包，但它不是一个完整
的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询
引擎和索引引擎，部分文本分析引擎。是以java语言研发的
官网地址： Apache Lucene - Welcome to Apache Lucene
查询lucene索引时，他返回的是一个有序的scoreDOC对象，查询时，Lucene会为每个文档计算出其score.
Lucene的多样化查询方式：
IndexQuery:对索引中的特定项进行搜索，Term是索引中的最小索引片段，每个Term包含了一个域名和一个文本值，比如指定后缀名是.jpg
TermRangeQuery:在索引中的多个特定项中进行搜索，能够搜索指定的多个域
NumericRangeQuery:做数值范围搜索
PrefixQuery:用于搜索以指定字符串开头的项
BooleanQuery:用于实现组合查询：比如年龄大于20并且姓李，组合逻辑有：AND,OR,NOT
WildcardQuery:通配符查询
FuzzyQuery:模糊查询，
PhraseQuery
ES基本组件
索引：具有类似属性的文档的集合，类似于表，索引名必须使用小写字母
类型：一个索引可以定义一或多个类型，类型就是拥有相同的域的文档的预定义
文档：是lucene索引和搜索的最小单位，它包含了一个或多个域，是基于json格式的表示。（域:field,或称为字段）
ES架构（集群组件）
Cluster:ES集群的标识为集群名称，默认是”elasticsearch“，节点就是靠此名字来决定加入到哪个集群中，一个节点只能属于一个集群
Node:运行了单个ES实例的主机即为节点，用于存储数据，参与集群的索引和搜索操作，节点的标识靠节点名
Shard:切片，将索引切割为物理存储组件，每一个shard都是一个独立且完整的索引，创建索引时，ES默认将其分割为5个shard,用户也可以按需自定义
shard有两种类型：primary shard,replica
replica用于数据冗余及查询时的负载均衡，每个主shard的副本数量可以自定义，且可以动态修改
ES工作原理
启动时，通过多播（默认）或者单播的方式在9300/tcp查找同一集群中的其他节点，并与之建立通信
集群中，所有节点会选择出一个主节点并且负责管理整个集群状态，以及在集群范围内决定各shard的分布方式，站在用户的角度而言，每个节点均可以接收并且响应用户的各类请求。
集群状态有：green,red,yellow
ES默认端口
9300/tcp：负责参与集群的事务 transport.tcp.port
9200/tcp:接受请求 http.port
ES应用场景
主要适用于站内搜索、文档数据库、代码检索等等
集群构建
1、安装jdk
ES是运行在jvm上的ruby语言构建
因此需要先搭建jvm环境
配置jdk
JDK：有两种方式
oracle JDK oracle官网下载
OpenJDK
查看之前是否安装过jdk,得到结果如下：发现没有devel包
[root@node01 ~]#rpm -qa | grep jdk
java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64
java-1.8.0-openjdk-headless-1.8.0.262.b10-1.el7.x86_64
java-1.7.0-openjdk-1.7.0.261-2.6.22.2.el7_8.x86_64
java-1.7.0-openjdk-headless-1.7.0.261-2.6.22.2.el7_8.x86_64
copy-jdk-configs-3.3-10.el7_5.noarch
查看java位置，发现是软连接，再深入查看，发现 /etc/alternatives/java也是软连接，来指向系统最新版java,这是为了在安装多个版本时，指向最新版java,我们不做深究。
[root@node01 ~]#which java
/usr/bin/java
[root@node01 ~]#ll /usr/bin/java
lrwxrwxrwx. 1 root root 22 Jun 20 2021 /usr/bin/java -> /etc/alternatives/java
[root@node01 ~]#ls -l /etc/alternatives/java
lrwxrwxrwx. 1 root root 71 Jun 20 2021 /etc/alternatives/java -> /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64/jre/bin/java
设置java环境变量
vim /etc/profile.d/java.sh
export JAVA_HOME=/usr
~
即可
安装devel包
[root@node01 ~]#yum install java-1.8.0-openjdk-devel.x86_64 可空格补全
安装完成，查看java -version
[root@node01 ~]#java -version
openjdk version "1.8.0_332"
OpenJDK Runtime Environment (build 1.8.0_332-b09)
OpenJDK 64-Bit Server VM (build 25.332-b09, mixed mode)
2、安装ES
进入ES官网，按照指示进行
$wget .2.0-x86_64.rpm
$wget .2.0-x86_64.rpm.sha512
$shasum -a 512 -c elasticsearch-8.2.0-x86_64.rpm.sha512
$sudo rpm --install elasticsearch-8.2.0-x86_64.rpm
出现以下提示说明成功
warning: elasticsearch-8.2.0-x86_64.rpm: Header V4 RSA/SHA512 Signature, key ID d88e42b4: NOKEY
Creating elasticsearch group... OK
Creating elasticsearch user... OK
--------------------------- Security autoconfiguration information ------------------------------
Authentication and authorization are enabled.
TLS for the transport and HTTP layers is enabled and configured.
The generated password for the elastic built-in superuser is : huACYGvV2sSk8=Op1Jh7
If this node should join an existing cluster, you can reconfigure this with
'/usr/share/elasticsearch/bin/elasticsearch-reconfigure-node --enrollment-token <token-here>'
after creating an enrollment token on your existing cluster.
You can complete the following actions at any time:
Reset the password of the elastic built-in superuser with
'/usr/share/elasticsearch/bin/elasticsearch-reset-password -u elastic'.
Generate an enrollment token for Kibana instances with
'/usr/share/elasticsearch/bin/elasticsearch-create-enrollment-token -s kibana'.
Generate an enrollment token for Elasticsearch nodes with
'/usr/share/elasticsearch/bin/elasticsearch-create-enrollment-token -s node'.
-------------------------------------------------------------------------------------------------
### NOT starting on installation, please execute the following statements to configure elasticsearch service to start automatically using systemd
sudo systemctl daemon-reload
sudo systemctl enable elasticsearch.service
### You can start elasticsearch service by executing
sudo systemctl start elasticsearch.service
错误记录
1、OOM报错
Jun 15 08:57:47 node01 kernel: Out of memory: Kill process 6180 (java) score 460 or sacrifice child
Jun 15 08:57:47 node01 kernel: Killed process 6180 (java), UID 986, total-vm:1748348kB, anon-rss:856832kB, file-rss:0kB, shmem-rss:0kB
解决方法参考：
Out of memory: Kill process 解决 - 简书
关闭OOM，但是生产环境不建议
2、内存不足
由于自己的虚拟机内存不大，又开启了、mysql,docker，tomcat等服务，因此内存剩余很小，free -h 可以查看余下内存的数量，虽然能关闭的都关闭了，但是剩余的内存还是很小，因为的虚拟机内存本来就只分配了2G，JVM所需内存不足，解决方法参考
#cd /etc/elasticsearch/
[root@node01 /etc/elasticsearch]#ls
certs elasticsearch-plugins.example.yml jvm.options log4j2.properties roles.yml users_roles
elasticsearch.keystore elasticsearch.yml jvm.options.d role_mapping.yml users
[root@node01 /etc/elasticsearch]#vim jvm.options #修改为256M
3、修改yml配置文件
[root@node01 /etc/elasticsearch]#vim elasticsearch.yml #进行如下设置
xpack.security.enabled: false
network.host: 0.0.0.0
http.cors.enabled: true
http.cors.allow-origin: "*"
[root@node01 /etc/elasticsearch]#systemctl daemon-reload
[root@node01 /etc/elasticsearch]#systemctl start elasticsearch.service
便可以启动成功
需要注意的是如何不设置这些，curl命令返回的值会是curl: (52) Empty reply from server，并且本地电脑浏览器也无法访问到ip:9200端口。
4、验证es是否启动成功
[root@node01/etc/elasticsearch]#ss -tnlp #查看虚拟机开放的端口和服务,可以看到9300和9200端口已经开放
[root@node01 /etc/elasticsearch]#curl 'localhost:9200?pretty' #访问集群，?pretty意为以易读的json格式显示
{
"name" : "node01",
"cluster_name" : "elasticsearch",
"cluster_uuid" : "xVoSjMliR9aj4Q0V9OC95w",
"version" : {
"number" : "8.2.0",
"build_flavor" : "default",
"build_type" : "rpm",
"build_hash" : "b174af62e8dd9f4ac4d25875e9381ffe2b9282c5",
"build_date" : "2022-04-20T10:35:10.180408517Z",
"build_snapshot" : false,
"lucene_version" : "9.1.0",
"minimum_wire_compatibility_version" : "7.17.0",
"minimum_index_compatibility_version" : "7.0.0"
},
"tagline" : "You Know, for Search"
}
本地浏览器访问
至此，es配置成功
【Elasticsearch
目录
ES是什么？
Lucene是什么？
ES基本组件
ES架构（集群组件）
ES工作原理
ES默认端口
ES应用场景
集群构建
1、安装jdk
配置jdk
2、安装ES
3、修改yml配置文件
4、验证es是否启动成功
产生背景：海量数据查询
需要毫秒级或者秒级返回结果
购物商城输入 手机，页面需要快速返回数据
ES是什么？
是一个基于lucene实现的开源、分布式、RESTful的全文本搜索引擎，此外，他还是一个分布式实时文档存储，其中每个文档的每个域都是被索引的数据，且可以被搜索，也是一个带实时分析功能的分布式搜索引擎，可以扩展至数以百计的节点实时处理PB级别的数据
Lucene是什么？
专注于搜索底层的建设，而ES主要用于企业应用,构建于lucene之上，即ES的核心是lucene。
lucene是一个开放源代码的全文检索引擎工具包，但它不是一个完整
的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询
引擎和索引引擎，部分文本分析引擎。是以java语言研发的
官网地址： Apache Lucene - Welcome to Apache Lucene
查询lucene索引时，他返回的是一个有序的scoreDOC对象，查询时，Lucene会为每个文档计算出其score.
Lucene的多样化查询方式：
IndexQuery:对索引中的特定项进行搜索，Term是索引中的最小索引片段，每个Term包含了一个域名和一个文本值，比如指定后缀名是.jpg
TermRangeQuery:在索引中的多个特定项中进行搜索，能够搜索指定的多个域
NumericRangeQuery:做数值范围搜索
PrefixQuery:用于搜索以指定字符串开头的项
BooleanQuery:用于实现组合查询：比如年龄大于20并且姓李，组合逻辑有：AND,OR,NOT
WildcardQuery:通配符查询
FuzzyQuery:模糊查询，
PhraseQuery
ES基本组件
索引：具有类似属性的文档的集合，类似于表，索引名必须使用小写字母
类型：一个索引可以定义一或多个类型，类型就是拥有相同的域的文档的预定义
文档：是lucene索引和搜索的最小单位，它包含了一个或多个域，是基于json格式的表示。（域:field,或称为字段）
ES架构（集群组件）
Cluster:ES集群的标识为集群名称，默认是”elasticsearch“，节点就是靠此名字来决定加入到哪个集群中，一个节点只能属于一个集群
Node:运行了单个ES实例的主机即为节点，用于存储数据，参与集群的索引和搜索操作，节点的标识靠节点名
Shard:切片，将索引切割为物理存储组件，每一个shard都是一个独立且完整的索引，创建索引时，ES默认将其分割为5个shard,用户也可以按需自定义
shard有两种类型：primary shard,replica
replica用于数据冗余及查询时的负载均衡，每个主shard的副本数量可以自定义，且可以动态修改
ES工作原理
启动时，通过多播（默认）或者单播的方式在9300/tcp查找同一集群中的其他节点，并与之建立通信
集群中，所有节点会选择出一个主节点并且负责管理整个集群状态，以及在集群范围内决定各shard的分布方式，站在用户的角度而言，每个节点均可以接收并且响应用户的各类请求。
集群状态有：green,red,yellow
ES默认端口
9300/tcp：负责参与集群的事务 transport.tcp.port
9200/tcp:接受请求 http.port
ES应用场景
主要适用于站内搜索、文档数据库、代码检索等等
集群构建
1、安装jdk
ES是运行在jvm上的ruby语言构建
因此需要先搭建jvm环境
配置jdk
JDK：有两种方式
oracle JDK oracle官网下载
OpenJDK
查看之前是否安装过jdk,得到结果如下：发现没有devel包
[root@node01 ~]#rpm -qa | grep jdk
java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64
java-1.8.0-openjdk-headless-1.8.0.262.b10-1.el7.x86_64
java-1.7.0-openjdk-1.7.0.261-2.6.22.2.el7_8.x86_64
java-1.7.0-openjdk-headless-1.7.0.261-2.6.22.2.el7_8.x86_64
copy-jdk-configs-3.3-10.el7_5.noarch
查看java位置，发现是软连接，再深入查看，发现 /etc/alternatives/java也是软连接，来指向系统最新版java,这是为了在安装多个版本时，指向最新版java,我们不做深究。
[root@node01 ~]#which java
/usr/bin/java
[root@node01 ~]#ll /usr/bin/java
lrwxrwxrwx. 1 root root 22 Jun 20 2021 /usr/bin/java -> /etc/alternatives/java
[root@node01 ~]#ls -l /etc/alternatives/java
lrwxrwxrwx. 1 root root 71 Jun 20 2021 /etc/alternatives/java -> /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64/jre/bin/java
设置java环境变量
vim /etc/profile.d/java.sh
export JAVA_HOME=/usr
~
即可
安装devel包
[root@node01 ~]#yum install java-1.8.0-openjdk-devel.x86_64 可空格补全
安装完成，查看java -version
[root@node01 ~]#java -version
openjdk version "1.8.0_332"
OpenJDK Runtime Environment (build 1.8.0_332-b09)
OpenJDK 64-Bit Server VM (build 25.332-b09, mixed mode)
2、安装ES
进入ES官网，按照指示进行
$wget .2.0-x86_64.rpm
$wget .2.0-x86_64.rpm.sha512
$shasum -a 512 -c elasticsearch-8.2.0-x86_64.rpm.sha512
$sudo rpm --install elasticsearch-8.2.0-x86_64.rpm
出现以下提示说明成功
warning: elasticsearch-8.2.0-x86_64.rpm: Header V4 RSA/SHA512 Signature, key ID d88e42b4: NOKEY
Creating elasticsearch group... OK
Creating elasticsearch user... OK
--------------------------- Security autoconfiguration information ------------------------------
Authentication and authorization are enabled.
TLS for the transport and HTTP layers is enabled and configured.
The generated password for the elastic built-in superuser is : huACYGvV2sSk8=Op1Jh7
If this node should join an existing cluster, you can reconfigure this with
'/usr/share/elasticsearch/bin/elasticsearch-reconfigure-node --enrollment-token <token-here>'
after creating an enrollment token on your existing cluster.
You can complete the following actions at any time:
Reset the password of the elastic built-in superuser with
'/usr/share/elasticsearch/bin/elasticsearch-reset-password -u elastic'.
Generate an enrollment token for Kibana instances with
'/usr/share/elasticsearch/bin/elasticsearch-create-enrollment-token -s kibana'.
Generate an enrollment token for Elasticsearch nodes with
'/usr/share/elasticsearch/bin/elasticsearch-create-enrollment-token -s node'.
-------------------------------------------------------------------------------------------------
### NOT starting on installation, please execute the following statements to configure elasticsearch service to start automatically using systemd
sudo systemctl daemon-reload
sudo systemctl enable elasticsearch.service
### You can start elasticsearch service by executing
sudo systemctl start elasticsearch.service
错误记录
1、OOM报错
Jun 15 08:57:47 node01 kernel: Out of memory: Kill process 6180 (java) score 460 or sacrifice child
Jun 15 08:57:47 node01 kernel: Killed process 6180 (java), UID 986, total-vm:1748348kB, anon-rss:856832kB, file-rss:0kB, shmem-rss:0kB
解决方法参考：
Out of memory: Kill process 解决 - 简书
关闭OOM，但是生产环境不建议
2、内存不足
由于自己的虚拟机内存不大，又开启了、mysql,docker，tomcat等服务，因此内存剩余很小，free -h 可以查看余下内存的数量，虽然能关闭的都关闭了，但是剩余的内存还是很小，因为的虚拟机内存本来就只分配了2G，JVM所需内存不足，解决方法参考
#cd /etc/elasticsearch/
[root@node01 /etc/elasticsearch]#ls
certs elasticsearch-plugins.example.yml jvm.options log4j2.properties roles.yml users_roles
elasticsearch.keystore elasticsearch.yml jvm.options.d role_mapping.yml users
[root@node01 /etc/elasticsearch]#vim jvm.options #修改为256M
3、修改yml配置文件
[root@node01 /etc/elasticsearch]#vim elasticsearch.yml #进行如下设置
xpack.security.enabled: false
network.host: 0.0.0.0
http.cors.enabled: true
http.cors.allow-origin: "*"
[root@node01 /etc/elasticsearch]#systemctl daemon-reload
[root@node01 /etc/elasticsearch]#systemctl start elasticsearch.service
便可以启动成功
需要注意的是如何不设置这些，curl命令返回的值会是curl: (52) Empty reply from server，并且本地电脑浏览器也无法访问到ip:9200端口。
4、验证es是否启动成功
[root@node01/etc/elasticsearch]#ss -tnlp #查看虚拟机开放的端口和服务,可以看到9300和9200端口已经开放
[root@node01 /etc/elasticsearch]#curl 'localhost:9200?pretty' #访问集群，?pretty意为以易读的json格式显示
{
"name" : "node01",
"cluster_name" : "elasticsearch",
"cluster_uuid" : "xVoSjMliR9aj4Q0V9OC95w",
"version" : {
"number" : "8.2.0",
"build_flavor" : "default",
"build_type" : "rpm",
"build_hash" : "b174af62e8dd9f4ac4d25875e9381ffe2b9282c5",
"build_date" : "2022-04-20T10:35:10.180408517Z",
"build_snapshot" : false,
"lucene_version" : "9.1.0",
"minimum_wire_compatibility_version" : "7.17.0",
"minimum_index_compatibility_version" : "7.0.0"
},
"tagline" : "You Know, for Search"
}
本地浏览器访问
至此，es配置成功