搜索引擎是什么?

搜索引擎是指根據(jù)一定的策略箱蟆、運用特定的計算機程序從互聯(lián)網(wǎng)上搜集信息斑粱，在對信息進(jìn)行組織和處理后欧啤，為用戶提供檢索服務(wù)念祭，將用戶檢索相關(guān)的信息展示給用戶的系統(tǒng)兑宇。搜索引擎包括全文索引、目錄索引粱坤、元搜索引擎隶糕、垂直搜索引擎、集合式搜索引擎站玄、門戶搜索引擎與免費鏈接列表等枚驻。

Elasticsearch是什么?

Elasticsearch一個高可擴(kuò)展的開源的全文本搜索和分析工具。它允許你以近實時的方式快速存儲株旷、搜索再登、分析大容量的數(shù)據(jù)。Elasticsearch不僅提供全文檢索功能晾剖，還能提供高效的分布式數(shù)據(jù)存儲锉矢、索引、搜索齿尽，能完成對大數(shù)據(jù)的自動分片沽损、自動負(fù)載索引，并提供Restful Web的風(fēng)格接口循头。

Elasticsearch是面向文檔型的NoSQL數(shù)據(jù)庫绵估，可以在其中進(jìn)行索引炎疆、搜索、排序和過濾這些文檔壹士。它是實時分析的分布式搜索引擎磷雇，可以擴(kuò)展到上百臺服務(wù)器偿警，處理PB級的結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)躏救。

也支持中文分詞插件，Hadoop等插件螟蒸『惺梗可以通過Http訪問，使用Json來操作數(shù)據(jù)七嫌。其索引能分拆為多個分片少办，每個分片可有多個副本，集群的負(fù)載都是自動完成的诵原。

ES基礎(chǔ)架構(gòu)

ElasticSearch vs Solr 總結(jié)

（1）二者安裝都很簡單英妓。

（2）Solr 利用 Zookeeper 進(jìn)行分布式管理，而 Elasticsearch 自身帶有分布式協(xié)調(diào)管理功能绍赛。

（3）Solr 支持更多格式的數(shù)據(jù)蔓纠，比如JSON、XML吗蚌、CSV腿倚，而 Elasticsearch 僅支持json文件格式。

（4）Solr 官方提供的功能更多蚯妇，而 Elasticsearch 本身更注重于核心功能敷燎，高級功能多有第三方插件提供

（5）Solr 在傳統(tǒng)的搜索應(yīng)用中表現(xiàn)好于 Elasticsearch，但在處理實時搜索應(yīng)用時效率明顯低于 Elasticsearch箩言。

（6）Solr 是傳統(tǒng)搜索應(yīng)用的有力解決方案硬贯，但 Elasticsearch 更適用于新興的實時搜索應(yīng)用。

三臺機器做集群：192.168.80.30陨收、192.168.80.32澄成、192.168.80.33

環(huán)境

CentOS7.0

Java1.8

下載

下載地址：https://www.elastic.co/products/elasticsearch

下載后上傳到CentOS中的/usr/local/ 文件夾中，并解壓到當(dāng)前文件中重命名為elasticsearch530 ??/usr/local/elasticsearch530

tar -zxvf elasticsearch-5.3.0.tar.gz

創(chuàng)建 elsearch運行賬戶和組

groupadd elsearch#添加elsearch組

useradd -g elsearch elsearch -s /bin/false

更改elasticsearch文件夾及內(nèi)部文件的所屬用戶及組為elsearch:elsearch

chown -R elsearch:elsearch elasticsearch530

配置參數(shù)

（1）?初步修改

打開/usr/local/elasticsearch530/config目錄下的elasticsearch.yml?文件 ,修改以下屬性值并取消該行的注釋：

cluster.name: es-application#這是集群名字畏吓，我們 起名為 es-application墨状。es啟動后會將具有相同集群名字的節(jié)點放到一個集群下。

node.name:"es-node1"#節(jié)點名字菲饼。

covery.zen.minimum_master_nodes: 1#指定集群中的節(jié)點中有幾個有master資格的節(jié)點肾砂。對于大集群可以寫3個以上。

discovery.zen.ping.timeout: 40s#默認(rèn)是3s宏悦，這是設(shè)置集群中自動發(fā)現(xiàn)其它節(jié)點時ping連接超時時間镐确，為避免因為網(wǎng)絡(luò)差而導(dǎo)致啟動報錯包吝，我設(shè)成了40s。

discovery.zen.ping.multicast.enabled: false#設(shè)置是否打開多播發(fā)現(xiàn)節(jié)點源葫，默認(rèn)是true诗越。

network.host: 0.0.0.0

http.port:9200

node.master: true#節(jié)點從可作為選舉為主節(jié)點

node.data: true#也用來存儲數(shù)據(jù),可作為負(fù)載器

discovery.zen.ping.unicast.hosts: ["192.168.80.32","192.168.80.33","192.168.80.30"]#discovery.zen.ping.unicast.hosts:["節(jié)點1的 ip","節(jié)點2 的ip","節(jié)點3的ip"] 指明集群中其它可能為master的節(jié)點ip,以防es啟動后發(fā)現(xiàn)不了集群中的其他節(jié)點。第一對引號里是node1息堂，默認(rèn)端口是9300嚷狞。第二個是 node2 ，在另外一臺機器上荣堰。

（2）?進(jìn)一步修改

將elasticsearch530文件夾copy到另外一臺IP為192.168.80.33床未、192.168.80.30的機器上。

修改各主機上的改配置文件elasticsearch.yml?文件修改如下：

node.name:"es-node2"和 node.name:"es-node3"

注意：

1.對于單機多節(jié)點的es集群振坚，一定要注意修改?transport.tcp.port?和http.port?的默認(rèn)值保證節(jié)點間不沖突薇搁。

2. 出現(xiàn)找不到同一集群中的其他節(jié)點的情況，檢查下?discovery.zen.ping.unicast.hosts?是否已設(shè)置渡八。

啟動

復(fù)制elasticsearch文件夾時啃洋，如果原來的es文件夾下存在node數(shù)據(jù)，那么es集群也不能正常啟動屎鳍，所以若之前在elasticsearch530文件夾下有data文件夾宏娄，則清空node2和node3節(jié)點服務(wù)下的data文件夾，否則會報節(jié)點加入不了集群的錯哥艇。

切換到elsearch用戶再啟動绝编，3臺服務(wù)器都要進(jìn)行啟動

su elsearch

cd/usr/local/elasticsearch530 目錄

bin/elasticsearch -d#后臺運行

此時啟動服務(wù)會發(fā)現(xiàn)報錯：max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

[root@H32 ~]#cat /etc/sysctl.conf | grep -v "vm.max_map_count" > /tmp/system_sysctl.conf

[root@H32 ~]#echo "vm.max_map_count=262144" >> /tmp/system_sysctl.conf

[root@H32 ~]#mv /tmp/system_sysctl.conf /etc/sysctl.confmv：是否覆蓋"/etc/sysctl.conf"？ y

[root@H32~]#cat /etc/sysctl.conf

#System default settings live in /usr/lib/sysctl.d/00-system.conf.#To override those settings, enter new settings here, or in an /etc/sysctl.d/.conf file#

#For more information, see sysctl.conf(5) and sysctl.d(5).vm.max_map_count=262144

[root@H32~]#sysctl -pvm.max_map_count = 262144

修改后再次啟動貌踏，可通過下命令查看啟動后是否有進(jìn)程

ps -ef |grep elasticsearch

ES的安裝就此完成十饥，接下來安裝Head插件來監(jiān)控Elasticsearch

Elasticsearch Head插件

Elasticsearch Head Plugin:?對ES進(jìn)行各種操作，如查詢祖乳、刪除逗堵、瀏覽索引等，可對集群健康狀況眷昆，各個節(jié)點狀態(tài)蜒秤，索引狀態(tài)查看。

5.X版本的ES跟之前的版本最大的不同之處就是多了很多環(huán)境的校驗亚斋，比如jdk,max-files等等作媚。

設(shè)置內(nèi)核參數(shù)

vi /etc/sysctl.conf # 增加下面的內(nèi)容

fs.file-max=65536vm.max_map_count=262144

設(shè)置資源參數(shù)

vi /etc/security/limits.conf # 修改

elsearch soft nofile 65536

elsearch hard nofile65536

sysctl-p

修改/config/elasticsearch.yml

#增加新的參數(shù)，這樣head插件可以訪問es

http.cors.enabled: true

http.cors.allow-origin:"*"

注意帅刊，設(shè)置參數(shù)的時候:后面要有空格纸泡！

在5.X版本中不支持直接安裝head插件，需要啟動一個服務(wù)

git clone git://github.com/mobz/elasticsearch-head.git

下載 elasticsearch-head 或者git clone到?/usr/local/elasticsearch-head

cd elasticsearch-head

npm install

由于head插件本質(zhì)上還是一個nodejs的工程赖瞒，因此需要安裝node女揭，使用npm來安裝依賴的包蚤假。（npm可以理解為maven）

去官網(wǎng)下載nodejs，https://nodejs.org/en/download/

下載下來的jar包是xz格式的吧兔，一般的linux可能不識別磷仰，還需要安裝xz.

yum -y install xz

然后解壓nodejs的安裝包:

xz -d node*.tar.xz tar -xvf node*.tar

解壓完node的安裝文件后，需要配置下環(huán)境變量,編輯/etc/profile境蔼，添加

#set node environment

export NODE_HOME=/usr/local/node790

export PATH=$PATH:$NODE_HOME/bin

別忘記立即執(zhí)行以下

source /etc/profile

這個時候可以測試一下node是否生效：

[root@H32 node790]#echo $NODE_HOME

/usr/local/node790

[root@H32 node790]#node -v

[root@H32 node790]#npm -v

安裝grunt

grunt是一個很方便的構(gòu)建工具灶平，可以進(jìn)行打包壓縮、測試欧穴、執(zhí)行等等的工作民逼，5.X里的head插件就是通過grunt啟動的泵殴。因此需要安裝一下grunt：

linux：npm install grunt-cli

windows：npm install grunt-cli -g

在elasticsearch-head目錄下node_modules/grunt下如果沒有g(shù)runt二進(jìn)制程序涮帘，需要執(zhí)行

cd elasticsearch-head

npm install grunt-cli

npm install grunt--save-dev

安裝完成后檢查一下：

[root@H32 elasticsearch-head]#grunt -version

grunt-cli v1.2.0

grunt v1.0.1

啟動服務(wù)

/usr/local/elasticsearch-head/node_modules/grunt/bin/gruntserver

修改head源碼

由于head的代碼還是2.6版本的，直接執(zhí)行有很多限制笑诅，比如無法跨機器訪問调缨。因此需要用戶修改兩個地方：

修改服務(wù)器監(jiān)聽地址

目錄：elasticsearch-head/Gruntfile.js

connect: { server: { options: { port: 9100, hostname:'*', base:'.', keepalive: true } } }

增加hostname屬性，設(shè)置為*

修改連接地址：

目錄：elasticsearch-head/_site/app.js

修改head的連接地址:

this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://localhost:9200";

把localhost修改成你es的服務(wù)器地址吆你，如:

this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") ||"http://192.168.80.32:9200";

運行head

首先啟動每個服務(wù)器上的?ES弦叶。

再啟動grunt

cd /usr/local/elasticsearch-head

grunt server-d

訪問:target:9100

這個時候，訪問http://192.168.80.32:9100就可以訪問head插件了妇多。

現(xiàn)在可以在此頁面操作ES數(shù)據(jù)了伤哺，但這只是一個開始。