mongo同步數據到elastic

mongo端

1.安裝mongodb,如果沒有安裝mongodb遵班,則

sudo apt-get install mongodb

MAC安裝可以 brew install mongodb

2.開啟復制集 https://docs.mongodb.com/manual/tutorial/deploy-replica-set/

先停掉mongodb服務

sudo pkill mongod

MongoDB 必須開啟復制集屠升,通過–replSet設置副本,開啟mongodb

sudo mongod --replSet rsEs --config /etc/mongodb.conf

初始化副本集

kevin@ubuntuNas02:~$ mongo

MongoDB shell version: 2.4.9

connecting to: test

Welcome to the MongoDB shell.

For interactive help, type "help".

> rs.initiate()

{

"info2" : "no configuration specified. Using a default configuration for the set",

"me" : "b48eafd69929:27017",

"ok" : 1

}

初始化副本集的配置

rs0:SECONDARY> rs.conf()

副本集的狀態(tài)

rs0:PRIMARY> rs.status()

安裝mongo-connector

mongo-connector工具是基于python開發(fā)的實時同步服務工具狭郑,該工具在MongoDB與目標系統(tǒng)間同步數據腹暖,并跟蹤MongoDB的oplog,保持操作與MongoDB的實時同步翰萨。 它要求mongo運行在replica-set模式脏答,且需要 elastic2_doc_manager將數據寫入ES。

github地址:https://github.com/mongodb-labs/mongo-connector/wiki/Usage%20with%20ElasticSearch

mongo-connector現在只有2.6.0版本支持python2 https://github.com/yougov/mongo-connector/issues/829

sudo pip install mongo-connector==2.6.0

安裝elastic2-doc-manager

sudo pip install elastic2-doc-manager

啟動mongo-connector

sudo mongo-connector -m localhost:27017 -t localhost:9200 -d elastic2_doc_manager -n zhang_index.col_02,kevin_index.col_022

mongo-connector命令主要參數解析:https://github.com/yougov/mongo-connector/wiki/Configuration-Options

-m mongodb_host:port —— 數據源地址亩鬼,mongodb數據庫地址殖告。

-t target_host:port —— 數據目的地地址,elasticsearch/solr/mongodb集群地址雳锋。建議為集群中的協(xié)調節(jié)點的地址黄绩。

-d xxx_doc_manager —— 數據目的地的document類型。例如:

    將mongodb中的數據同步到elasticsearch魄缚,使用elastic_doc_manager或elastic2_doc_manager宝与。

    將mongodb中的數據同步到solr焚廊,使用solr_doc_manager冶匹。

    將mongodb中數據同步到其他mongodb,使用mongo_doc_manager咆瘟。

-n db.collection ... —— 待同步的數據庫及其collection嚼隘。默認同步所有數據庫。

-i filed_name ... —— 待同步的字段袒餐。默認同步所有字段飞蛹。

-o mongodb_oplog_position.oplog —— mongo-connector的oplog。默認在mongo-connector命令執(zhí)行目錄下創(chuàng)建oplog.timestamp文件灸眼。

建議重新分配存儲位置(也可重新分配存儲文件名)卧檐,例如 /opt/mongo-connector.oplog。

--auto-commit-interval —— 數據同步間隔焰宣。默認在不同系統(tǒng)上有不同的值霉囚。設置為0表示mongodb中的任何操作立即同步到數據目的地。

--continue-on-error —— 一條數據同步失敗匕积,日志記錄該失敗操作盈罐,繼續(xù)后續(xù)同步操作。默認為中止后續(xù)同步操作闪唆。

其他參數包括設置日志輸出行為(時間盅粪、間隔、路徑等)悄蕾、設置mongodb登錄賬戶和密碼票顾、設置(數據目的地)Http連接的證書等、設置mongo-connector的配置文件

?著作權歸作者所有,轉載或內容合作請聯系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市奠骄,隨后出現的幾起案子霸旗,更是在濱河造成了極大的恐慌,老刑警劉巖戚揭,帶你破解...
    沈念sama閱讀 221,198評論 6 514
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件诱告,死亡現場離奇詭異,居然都是意外死亡民晒,警方通過查閱死者的電腦和手機精居,發(fā)現死者居然都...
    沈念sama閱讀 94,334評論 3 398
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來潜必,“玉大人靴姿,你說我怎么就攤上這事〈殴觯” “怎么了佛吓?”我有些...
    開封第一講書人閱讀 167,643評論 0 360
  • 文/不壞的土叔 我叫張陵,是天一觀的道長垂攘。 經常有香客問我维雇,道長,這世上最難降的妖魔是什么晒他? 我笑而不...
    開封第一講書人閱讀 59,495評論 1 296
  • 正文 為了忘掉前任吱型,我火速辦了婚禮,結果婚禮上陨仅,老公的妹妹穿的比我還像新娘津滞。我一直安慰自己,他們只是感情好灼伤,可當我...
    茶點故事閱讀 68,502評論 6 397
  • 文/花漫 我一把揭開白布触徐。 她就那樣靜靜地躺著,像睡著了一般狐赡。 火紅的嫁衣襯著肌膚如雪撞鹉。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,156評論 1 308
  • 那天猾警,我揣著相機與錄音孔祸,去河邊找鬼。 笑死发皿,一個胖子當著我的面吹牛崔慧,可吹牛的內容都是我干的。 我是一名探鬼主播穴墅,決...
    沈念sama閱讀 40,743評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼惶室,長吁一口氣:“原來是場噩夢啊……” “哼温自!你這毒婦竟也來了?” 一聲冷哼從身側響起皇钞,我...
    開封第一講書人閱讀 39,659評論 0 276
  • 序言:老撾萬榮一對情侶失蹤悼泌,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后夹界,有當地人在樹林里發(fā)現了一具尸體馆里,經...
    沈念sama閱讀 46,200評論 1 319
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 38,282評論 3 340
  • 正文 我和宋清朗相戀三年可柿,在試婚紗的時候發(fā)現自己被綠了鸠踪。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,424評論 1 352
  • 序言:一個原本活蹦亂跳的男人離奇死亡复斥,死狀恐怖营密,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情目锭,我是刑警寧澤评汰,帶...
    沈念sama閱讀 36,107評論 5 349
  • 正文 年R本政府宣布,位于F島的核電站痢虹,受9級特大地震影響被去,放射性物質發(fā)生泄漏。R本人自食惡果不足惜世分,卻給世界環(huán)境...
    茶點故事閱讀 41,789評論 3 333
  • 文/蒙蒙 一编振、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧臭埋,春花似錦、人聲如沸臀玄。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,264評論 0 23
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽健无。三九已至荣恐,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間累贤,已是汗流浹背叠穆。 一陣腳步聲響...
    開封第一講書人閱讀 33,390評論 1 271
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留臼膏,地道東北人硼被。 一個月前我還...
    沈念sama閱讀 48,798評論 3 376
  • 正文 我出身青樓,卻偏偏與公主長得像渗磅,于是被迫代替她去往敵國和親嚷硫。 傳聞我的和親對象是個殘疾皇子检访,可洞房花燭夜當晚...
    茶點故事閱讀 45,435評論 2 359

推薦閱讀更多精彩內容