ElasticSearch(四) Elasticsearch-jdbc實現(xiàn)MySQL同步到ElasticSearch

按照之前的四篇文章,走到現(xiàn)在,接下來就是需要安裝jdbc了编曼。這里是用的是jdbc的2.3.4.0版本,雖然按照官方給出的對應(yīng)版本對應(yīng)不上剩辟,https://github.com/jprante/elasticsearch-jdbc掐场,但是實際測試,是可以支持的贩猎。

下載解壓并移動到/usr/local/jdbc目錄

#wget http://xbib.org/repository/org/xbib/elasticsearch/importer/elasticsearch-jdbc/2.3.4.0/elasticsearch-jdbc-2.3.4.0-dist.zip   //wget下載地址
# unzip elasticsearch-jdbc-2.3.4.0-dist.zip
# mv elasticsearch-jdbc-2.3.4.0-dist.zip /usr/local/jdbc/

配置環(huán)境變量

# vim /etc/profile //把下面兩行代碼放入底部
export JDBC_HOME=/usr/local/jdbc
export ES_HOME=/usr/local/elasticsearch
# source /etc/profile  //生效

接下來創(chuàng)建導(dǎo)入腳本

# cd /usr/local/
# mkdir shell shell/logs
# vim mysql-elasticsearch.sh
#腳本內(nèi)容
#!/bin/sh
bin=$JDBC_HOME/bin
lib=$JDBC_HOME/lib
echo '{
"type" : "jdbc",
"jdbc": {
      "elasticsearch.autodiscover":true, 
      "elasticsearch.cluster":"my-application",         #簇名熊户,對應(yīng)好配置
      "url":"jdbc:mysql://192.168.9.155:3306/hb",     #mysql地址/端口/庫名
      "user":"root",   #Mysql賬號
      "password":"wt000000",  #Mysql密碼
      "sql":"select product_name,id as _id from hp_product where id >10 limit 10 ",  #SQL語句 .........注意的是,這里只是測試吭服,在實際配置中需要對應(yīng)好要存入文檔的字段嚷堡,同樣表的主見id對應(yīng)文檔id
      "elasticsearch" : {
                "cluster":"my-application",
          "host" : "192.168.9.155",
          "port" : 9300
       },
      "index" : "myindex",     #新的index,這里測試的是商品表,用的index是myindex艇棕,其實可以規(guī)范命名~
      "type" : "mytype"        #新的type蝌戒,類型也可以規(guī)范命名
      }
}'| java \
  -cp "${lib}/*" \
  -Dlog4j.configurationFile=${bin}/log4j2.xml \
  org.xbib.tools.Runner \
  org.xbib.tools.JDBCImporter
# chmod a+x mysql-elasticsearch.sh   //賦予權(quán)限
# ./mysql-elasticsearch.sh   //執(zhí)行腳本
41.png

執(zhí)行完成之后串塑,查看一下日志文件,[INFO]成功信息~

cat /usr/local/shell/logs/jdbc.log
42.png
curl -XGET 'http://192.168.9.155:9200/myindex/mytype/_search?pretty'  
{
  "took" : 14,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 10,
    "max_score" : 1.0,
    "hits" : [ {
      "_index" : "myindex",
      "_type" : "mytype",
      "_id" : "14",
      "_score" : 1.0,
      "_source" : {
        "product_name" : "兌點茶 剪刀石頭布原花混合茶 10包"
      }
    }, {
      "_index" : "myindex",
      "_type" : "mytype",
      "_id" : "19",
      "_score" : 1.0,
      "_source" : {
        "product_name" : "L'Occitane 歐舒丹 蠟菊賦顏精華液 30ml"
      }
    }, {
      "_index" : "myindex",
      "_type" : "mytype",
      "_id" : "12",
      "_score" : 1.0,
      "_source" : {
        "product_name" : "兌點茶 烏克麗麗原花混合茶 10包"
      }
    }, {
      "_index" : "myindex",
      "_type" : "mytype",
      "_id" : "15",
      "_score" : 1.0,
      "_source" : {
        "product_name" : "兌點茶 魔法精靈原花混合茶12包/盒"
      }
    }, {
      "_index" : "myindex",
      "_type" : "mytype",
      "_id" : "20",
      "_score" : 1.0,
      "_source" : {
        "product_name" : "Bobbi Brown波比布朗 彈力保濕精華液 30ml"
      }
    }, {
      "_index" : "myindex",
      "_type" : "mytype",
      "_id" : "13",
      "_score" : 1.0,
      "_source" : {
        "product_name" : "兌點茶 挪威森林原花混合茶 10包"
      }
    }, {
      "_index" : "myindex",
      "_type" : "mytype",
      "_id" : "16",
      "_score" : 1.0,
      "_source" : {
        "product_name" : "兌點茶 涌雪原花混合茶12包/盒"
      }
    }, {
      "_index" : "myindex",
      "_type" : "mytype",
      "_id" : "18",
      "_score" : 1.0,
      "_source" : {
        "product_name" : "L’Occitane 歐舒丹蠟菊亮白水凝精華液 30ml"
      }
    }, {
      "_index" : "myindex",
      "_type" : "mytype",
      "_id" : "11",
      "_score" : 1.0,
      "_source" : {
        "product_name" : "兌點茶 艾麗莎原花混合茶12包"
      }
    }, {
      "_index" : "myindex",
      "_type" : "mytype",
      "_id" : "17",
      "_score" : 1.0,
      "_source" : {
        "product_name" : "兌點茶 菩蘭原花混合茶12包"
      }
    } ]
  }
}
43.png

附加----

#!/bin/sh
bin=$JDBC_HOME/bin
lib=$JDBC_HOME/lib
echo '{
    "type" : "jdbc",
    "jdbc" : {
        "url" : "jdbc:mysql://172.16.10.XXX:3306/db_car",
        "user" : "write",
        "password" : "write",
        "sql" : "select id,title,fnStripTags(content) as content,click_num,keywords,UNIX_TIMESTAMP(updated) as update_time from t_knowledgenew",
    "elasticsearch" : {
        "cluster": "my-application",
        "host" : "172.16.170.XXX",
        "port" : 9300
    },
    "index" : "knowledge_index",
    "type" : "knowledge"
    }
}' | java \
       -cp "${lib}/*" \
       -Dlog4j.configurationFile=${bin}/log4j2.xml \
       org.xbib.tools.Runner \
       org.xbib.tools.JDBCImporter

通過命令查看es中數(shù)據(jù)

curl -XGET 'http://XXX.XXX.XXX.XXX:9200/knowledge_index/knowledge/_search?pretty'   
44.png

刪除指定索引

# curl -XDELETE 'http://172.16.170.122:9200/index_name'
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市北苟,隨后出現(xiàn)的幾起案子桩匪,更是在濱河造成了極大的恐慌,老刑警劉巖友鼻,帶你破解...
    沈念sama閱讀 212,294評論 6 493
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件傻昙,死亡現(xiàn)場離奇詭異,居然都是意外死亡彩扔,警方通過查閱死者的電腦和手機妆档,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,493評論 3 385
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來借杰,“玉大人过吻,你說我怎么就攤上這事≌岷猓” “怎么了纤虽?”我有些...
    開封第一講書人閱讀 157,790評論 0 348
  • 文/不壞的土叔 我叫張陵,是天一觀的道長绞惦。 經(jīng)常有香客問我逼纸,道長,這世上最難降的妖魔是什么济蝉? 我笑而不...
    開封第一講書人閱讀 56,595評論 1 284
  • 正文 為了忘掉前任杰刽,我火速辦了婚禮,結(jié)果婚禮上王滤,老公的妹妹穿的比我還像新娘贺嫂。我一直安慰自己,他們只是感情好雁乡,可當我...
    茶點故事閱讀 65,718評論 6 386
  • 文/花漫 我一把揭開白布第喳。 她就那樣靜靜地躺著,像睡著了一般踱稍。 火紅的嫁衣襯著肌膚如雪曲饱。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,906評論 1 290
  • 那天珠月,我揣著相機與錄音扩淀,去河邊找鬼。 笑死啤挎,一個胖子當著我的面吹牛驻谆,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 39,053評論 3 410
  • 文/蒼蘭香墨 我猛地睜開眼旺韭,長吁一口氣:“原來是場噩夢啊……” “哼氛谜!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起区端,我...
    開封第一講書人閱讀 37,797評論 0 268
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎澳腹,沒想到半個月后织盼,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,250評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡酱塔,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,570評論 2 327
  • 正文 我和宋清朗相戀三年沥邻,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片羊娃。...
    茶點故事閱讀 38,711評論 1 341
  • 序言:一個原本活蹦亂跳的男人離奇死亡唐全,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出蕊玷,到底是詐尸還是另有隱情邮利,我是刑警寧澤,帶...
    沈念sama閱讀 34,388評論 4 332
  • 正文 年R本政府宣布垃帅,位于F島的核電站延届,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏贸诚。R本人自食惡果不足惜方庭,卻給世界環(huán)境...
    茶點故事閱讀 40,018評論 3 316
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望酱固。 院中可真熱鬧械念,春花似錦、人聲如沸运悲。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,796評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽扇苞。三九已至欺殿,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間鳖敷,已是汗流浹背脖苏。 一陣腳步聲響...
    開封第一講書人閱讀 32,023評論 1 266
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留定踱,地道東北人棍潘。 一個月前我還...
    沈念sama閱讀 46,461評論 2 360
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親亦歉。 傳聞我的和親對象是個殘疾皇子恤浪,可洞房花燭夜當晚...
    茶點故事閱讀 43,595評論 2 350

推薦閱讀更多精彩內(nèi)容