Elasticsearch中文搜索搭建及定時增量同步mysql

git?clone?git://github.com/medcl/elasticsearch-rtf.git?-b?master?--depth?1?

創(chuàng)建非root用戶

進(jìn)入非root用戶,啟動:ES_JAVA_OPTS="-Xms512m?-Xmx512m"??./bin/elasticsearch??-d

外網(wǎng)訪問

vi?conf/elasticsearch.yml

修改network.host:?0.0.0.0

bootstrap?checks?failed

max?file?descriptors?[65535]?for?elasticsearch?process?is?too?low,?increase?to?at?least?[65536]

1恶座、vi?/etc/sysctl.conf

設(shè)置fs.file-max=655350

保存之后sysctl?-p使設(shè)置生效

由于使用的是openvz的VPS,?所以優(yōu)化前需要執(zhí)行修復(fù)命令.

否則會出現(xiàn)"permission?denied?on?key?'xxx'"的異常.?

rm?-f?/sbin/modprobe??

ln?-s?/bin/true?/sbin/modprobe??


rm?-f?/sbin/sysctl??

ln?-s?/bin/true?/sbin/sysctl

2摆尝、vi?/etc/security/limits.conf?新增

*?soft?nofile?655350

*?hard?nofile?655350

3越除、重新使用SSH登錄,再次啟動elasticsearch即可御吞。

外網(wǎng)訪問:serverip:9200/

一般這個時候ok了雹食,但我的虛擬機(jī)就是不行,所以我只能通過nginx反向代理的方式實現(xiàn)外網(wǎng)訪

1.下載插件安裝

git clone git://github.com/mobz/elasticsearch-head.git

cd elasticsearch-head

npm install

在elasticsearch-head目錄下node_modules/grunt下如果沒有g(shù)runt二進(jìn)制程序蛀序,需要執(zhí)行

cd elasticsearch-head

npm install grunt --save

2.修改配置

修改elasticsearch-head下Gruntfile.js文件,默認(rèn)監(jiān)聽在127.0.0.1下9200端口

3.啟動服務(wù)

/usr/local/elasticsearch-head/node_modules/grunt/bin/grunt server

瀏覽器訪問 http://192.168.1.12:9100/

3活烙、出現(xiàn)問題

head主控頁面是可以顯示的哼拔,但是顯示連接失敗

“集群健康值: 未連接”

4、解決方案

修改elasticsearch.yml文件

vim $ES_HOME$/config/elasticsearch.yml

# 增加如下字段

http.cors.enabled:?true

http.cors.allow-origin:?"*"

重啟es和head即可

1.下載公共密鑰

rpm?--import?https://artifacts.elastic.co/GPG-KEY-elasticsearch

2.添加yum源

vim??/etc/yum.repos.d/logstash.repo

文件中寫入

[logstash-5.x]

name=Elastic?repository?for?5.x?packages

baseurl=https://artifacts.elastic.co/packages/5.x/yum

gpgcheck=1

gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch

enabled=1

autorefresh=1

type=rpm-md

保存退出

3.使用yum安裝

yum?install?logstash

4.驗證是否安裝成功

進(jìn)入?logstash 安裝目錄

cd?/usr/share/logstash

運(yùn)行

bin/logstash?-e?'input?{?stdin?{?}?}?output?{?stdout?{}?}'

等待幾秒鐘 出現(xiàn) ?

The stdin plugin is now waiting for input:

然后輸入?

hello?world

得到類似的結(jié)果

2016-11-24T08:01:55.949Z huangxd hello world

開始安裝插件

bin/logstash-plugin??install?logstash-input-jdbc?

下載

mysql-connector-java?.jar

在bin目錄下生成/conf-mysql/logstash-mysql-es.conf

input{

?????jdbc?{

?????????jdbc_driver_library?=>?"mysql-connector-java-5.1.44-bin.jar"

?????????jdbc_driver_class?=>?"com.mysql.jdbc.Driver"

?????????jdbc_connection_string?=>?"jdbc:mysql://rm-***.mysql.rds.aliyuncs.com:3306/db_name"

?????????jdbc_user?=>?"db_user"

?????????jdbc_password?=>?"db_password"

?????????jdbc_paging_enabled?=>?"true"

?????????jdbc_page_size?=>?"1000"

?????????jdbc_default_timezone?=>"Asia/Shanghai"

?????????schedule?=>?"*?*?*?*?*"

?????????statement?=>?"select?*?from?jm_es_employee?where?updatetime?>?:sql_last_value"

?????????use_column_value?=>?true

?????????tracking_column?=>?"updatetime"

?????????last_run_metadata_path?=>?"./logstash_jdbc_last_run"

???????}?

}?

output{

??????elasticsearch?{

?????????hosts?=>?"es-cn-***.elasticsearch.aliyuncs.com:9200"

?????????user?=>?"elastic"

?????????password?=>?"es_password"

?????????index?=>?"employee"

?????????document_id?=>?"%{id}"

??????}

??????stdout?{

?????????codec?=>?json_lines

?????}

?}??

然后開始執(zhí)行

bin/logstash?-f?fielname.conf

如果出現(xiàn)錯誤 或者沒有結(jié)果 可以進(jìn)入 logs 目錄中查看日志

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末瓣颅,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子譬正,更是在濱河造成了極大的恐慌宫补,老刑警劉巖,帶你破解...
    沈念sama閱讀 217,826評論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件曾我,死亡現(xiàn)場離奇詭異粉怕,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)抒巢,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,968評論 3 395
  • 文/潘曉璐 我一進(jìn)店門贫贝,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人蛉谜,你說我怎么就攤上這事稚晚。” “怎么了型诚?”我有些...
    開封第一講書人閱讀 164,234評論 0 354
  • 文/不壞的土叔 我叫張陵客燕,是天一觀的道長。 經(jīng)常有香客問我狰贯,道長也搓,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,562評論 1 293
  • 正文 為了忘掉前任涵紊,我火速辦了婚禮傍妒,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘摸柄。我一直安慰自己颤练,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,611評論 6 392
  • 文/花漫 我一把揭開白布塘幅。 她就那樣靜靜地躺著昔案,像睡著了一般尿贫。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上踏揣,一...
    開封第一講書人閱讀 51,482評論 1 302
  • 那天庆亡,我揣著相機(jī)與錄音,去河邊找鬼捞稿。 笑死又谋,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的娱局。 我是一名探鬼主播彰亥,決...
    沈念sama閱讀 40,271評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼衰齐!你這毒婦竟也來了任斋?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,166評論 0 276
  • 序言:老撾萬榮一對情侶失蹤耻涛,失蹤者是張志新(化名)和其女友劉穎废酷,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體抹缕,經(jīng)...
    沈念sama閱讀 45,608評論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡澈蟆,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,814評論 3 336
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了卓研。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片趴俘。...
    茶點(diǎn)故事閱讀 39,926評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖奏赘,靈堂內(nèi)的尸體忽然破棺而出寥闪,到底是詐尸還是另有隱情,我是刑警寧澤志珍,帶...
    沈念sama閱讀 35,644評論 5 346
  • 正文 年R本政府宣布橙垢,位于F島的核電站,受9級特大地震影響伦糯,放射性物質(zhì)發(fā)生泄漏柜某。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,249評論 3 329
  • 文/蒙蒙 一敛纲、第九天 我趴在偏房一處隱蔽的房頂上張望喂击。 院中可真熱鬧,春花似錦淤翔、人聲如沸翰绊。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,866評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽监嗜。三九已至谐檀,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間裁奇,已是汗流浹背桐猬。 一陣腳步聲響...
    開封第一講書人閱讀 32,991評論 1 269
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留刽肠,地道東北人溃肪。 一個月前我還...
    沈念sama閱讀 48,063評論 3 370
  • 正文 我出身青樓,卻偏偏與公主長得像音五,于是被迫代替她去往敵國和親惫撰。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,871評論 2 354