使用logstash將mysql中數(shù)據(jù)更新到elasticsearch中

1.安裝與elasticsearch相同版本號的logstash

在logstash的bin目錄下
? 打開控制臺 輸入? ?logstash -e "input { stdin { } } output { stdout { } }"

注意:雙引號不能改成單引號否則可能會報(bào)

ERROR: Unknown command '{'


錯(cuò)誤

返回我們輸入的結(jié)果則證明安裝成功

2.配置數(shù)據(jù)庫同步的模板

在logstash建立mysqletc文件夾在文件夾內(nèi)建一個(gè)配置文件例如mysql.conf內(nèi)容如下

input {

? jdbc {

? # mysql jdbc connection string to our backup databse

? jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/tensquare_article?characterEncoding=UTF8"

? # the user we wish to excute our statement as

? jdbc_user => "root"

? jdbc_password => "123456"

? # the path to our downloaded jdbc driver?

? jdbc_driver_library => "D:\tensquare\logstash-6.5.1\logstash-6.5.1\mysqletc\mysql-connector-java-5.1.46.jar"

? # the name of the driver class for mysql

? jdbc_driver_class => "com.mysql.jdbc.Driver"

? jdbc_paging_enabled => "true"

? jdbc_page_size => "20"

? #以下對應(yīng)著要執(zhí)行的sql的絕對路徑坎炼。

? #statement_filepath => ""

? statement => "SELECT id,title,content,state FROM tb_article"

? #定時(shí)字段 各字段含義(由左至右)分愧膀、時(shí)、天谣光、月檩淋、年,全部為*默認(rèn)含義為每分鐘都更新(測試結(jié)果萄金,不同的話請留言指出)

? ? ? schedule => "* * * * *"

? }

}

output {

? elasticsearch {

? #ESIP地址與端口

? hosts => "127.0.0.1:9200"

? #ES索引名稱(自己定義的)

? index => "tensquare_article"

? #自增ID編號

? document_id => "%{id}"

? document_type => "article"

? }

? stdout {

? ? ? #以JSON格式輸出

? ? ? codec => json_lines

? }

}

然后將mysql數(shù)據(jù)庫驅(qū)動(dòng)放入此文件夾內(nèi)

3.運(yùn)行l(wèi)ogstash

打開cmd進(jìn)入logstash/bin目錄下 logstash -f 配置文件的相對路徑例如:

logstash -f ../mysqletc/mysql.conf


mysql里先插入兩條試驗(yàn)數(shù)據(jù)

一分鐘后看到控制臺上打印出sql語句


elasticsearch-head成功顯示出插入的數(shù)據(jù)

至此蟀悦,數(shù)據(jù)同步成功。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末捡絮,一起剝皮案震驚了整個(gè)濱河市熬芜,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌福稳,老刑警劉巖涎拉,帶你破解...
    沈念sama閱讀 217,907評論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異的圆,居然都是意外死亡鼓拧,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,987評論 3 395
  • 文/潘曉璐 我一進(jìn)店門越妈,熙熙樓的掌柜王于貴愁眉苦臉地迎上來季俩,“玉大人,你說我怎么就攤上這事梅掠∽米。” “怎么了?”我有些...
    開封第一講書人閱讀 164,298評論 0 354
  • 文/不壞的土叔 我叫張陵阎抒,是天一觀的道長酪我。 經(jīng)常有香客問我,道長且叁,這世上最難降的妖魔是什么都哭? 我笑而不...
    開封第一講書人閱讀 58,586評論 1 293
  • 正文 為了忘掉前任,我火速辦了婚禮,結(jié)果婚禮上欺矫,老公的妹妹穿的比我還像新娘纱新。我一直安慰自己,他們只是感情好穆趴,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,633評論 6 392
  • 文/花漫 我一把揭開白布脸爱。 她就那樣靜靜地躺著,像睡著了一般未妹。 火紅的嫁衣襯著肌膚如雪阅羹。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,488評論 1 302
  • 那天教寂,我揣著相機(jī)與錄音捏鱼,去河邊找鬼。 笑死酪耕,一個(gè)胖子當(dāng)著我的面吹牛导梆,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播迂烁,決...
    沈念sama閱讀 40,275評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼看尼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了盟步?” 一聲冷哼從身側(cè)響起藏斩,我...
    開封第一講書人閱讀 39,176評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎却盘,沒想到半個(gè)月后狰域,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,619評論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡黄橘,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,819評論 3 336
  • 正文 我和宋清朗相戀三年兆览,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片塞关。...
    茶點(diǎn)故事閱讀 39,932評論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡抬探,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出帆赢,到底是詐尸還是另有隱情小压,我是刑警寧澤,帶...
    沈念sama閱讀 35,655評論 5 346
  • 正文 年R本政府宣布椰于,位于F島的核電站怠益,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏廉羔。R本人自食惡果不足惜溉痢,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,265評論 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望憋他。 院中可真熱鬧孩饼,春花似錦、人聲如沸竹挡。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,871評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽揪罕。三九已至梯码,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間好啰,已是汗流浹背轩娶。 一陣腳步聲響...
    開封第一講書人閱讀 32,994評論 1 269
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留框往,地道東北人鳄抒。 一個(gè)月前我還...
    沈念sama閱讀 48,095評論 3 370
  • 正文 我出身青樓,卻偏偏與公主長得像椰弊,于是被迫代替她去往敵國和親许溅。 傳聞我的和親對象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,884評論 2 354