Logstash同步MySQL到ES

一河劝、同步要點(diǎn):
1、logstash每分鐘執(zhí)行一次
2矛紫、sql 語(yǔ)句必須帶limit N赎瞎,這里的N,在串行單并發(fā)執(zhí)行時(shí)颊咬,建議為100000务甥,分頁(yè)每次50000
3、從MySQL從庫(kù)同步數(shù)據(jù)

二喳篇、同步測(cè)試

1676340249422.jpg

三敞临、負(fù)載情況
1、同步機(jī)器負(fù)載


image.png

image.png

2麸澜、ES磁盤(pán)讀寫(xiě)


image.png

3挺尿、db機(jī)器負(fù)載


image.png

4、db延遲負(fù)載


image.png

四、Logstash配置文件

input {
    jdbc {
        # 設(shè)置 MySql/MariaDB 數(shù)據(jù)庫(kù)url以及數(shù)據(jù)庫(kù)名稱(chēng)
        jdbc_connection_string => "jdbc:mysql://10.28.54.130:3306/mydb?useUnicode=true&allowMultiQuerie=true&characterEncoding=utf-8&serverTimezone=UTC"
        # 用戶(hù)名和密碼
        jdbc_user => "root"
        jdbc_password => "xxxxx"
        # 數(shù)據(jù)庫(kù)驅(qū)動(dòng)mysql-connector-java-8.0.19.jar所在位置票髓,可以是絕對(duì)路徑或者相對(duì)路徑
        jdbc_driver_library => "/data/dba_logstash/logstash-7.17.7/mysql/mysql-connector-java-5.1.49.jar"
        # 驅(qū)動(dòng)類(lèi)名
        #jdbc_driver_class => "com.mysql.cj.jdbc.Driver"
         jdbc_driver_class => "org.gjt.mm.mysql.Driver"
         # 是否開(kāi)啟分頁(yè),ture為開(kāi)啟攀涵,我這里sql比較復(fù)雜所以就放棄使用這個(gè),后面細(xì)講
        jdbc_paging_enabled => true
         # 分頁(yè)每頁(yè)數(shù)量
        jdbc_page_size => "50000"
        # 設(shè)置時(shí)區(qū)
        jdbc_default_timezone =>"Asia/Shanghai"
        # 執(zhí)行的sql文件路徑
        #statement_filepath => "/data/dba_logstash/logstash-7.17.7/mysql/my.sql"
        #使用這個(gè)可以直接寫(xiě)sql語(yǔ)句洽沟,但是復(fù)雜的語(yǔ)句最好是寫(xiě)在文件內(nèi)
        statement => "SELECT uhid,nickname as nick_name,mobile_ed,min_head_img_url,head_img_url,status,create_time,last_update_time,given_nickname,given_head_img_url,brief_intro,generations from new_user_info WHERE last_update_time > :sql_last_value ORDER
BY last_update_time limit 100000"
        # 設(shè)置定時(shí)任務(wù)間隔  含義:分以故、時(shí)、天裆操、月怒详、年,全部為*默認(rèn)含義為每分鐘跑一次任務(wù)
        schedule => "* * * * *"
        #是否需要記錄某個(gè)字段值,如果為true,我們可以自定義要記錄的數(shù)據(jù)庫(kù)某個(gè)字段值踪区,例如id或date字段昆烁。如果為false,記錄的是上次執(zhí)行的標(biāo)記缎岗,默認(rèn)是一個(gè)timestamp
        use_column_value => true
        #記錄上次執(zhí)行字段值路徑静尼。我們可以在sql語(yǔ)句中這么寫(xiě):WHERE ID > :last_sql_value。其中 :sql_last_value 取得就是該文件中的值传泊,這個(gè)last_id會(huì)以文件形式存在鼠渺,上面截圖有
        last_run_metadata_path => "/data/dba_logstash/logstash-7.17.7/mysql/last_id"
        #如果use_column_value為真,需配置此參數(shù). 指定增量更新的字段名。當(dāng)然該字段必須是遞增的眷细,比如id或date字段拦盹。
        tracking_column => "last_update_time"
        # tracking_column 對(duì)應(yīng)字段的類(lèi)型,只能選擇timestamp或者numeric(數(shù)字類(lèi)型)溪椎,默認(rèn)numeric普舆,所以可以不寫(xiě)這個(gè)配置
        tracking_column_type => "timestamp"
       #如果為true,每次會(huì)記錄所更新的字段的值,并保存到 last_run_metadata_path 指定的文件中
        record_last_run => true
        # 是否清除 last_run_metadata_path 的記錄校读,true則每次都從頭開(kāi)始查詢(xún)所有的數(shù)據(jù)庫(kù)記錄
        clean_run => false
         # 是否將字段名稱(chēng)轉(zhuǎn)小寫(xiě)沼侣。默認(rèn)是true。這里注意Elasticsearch是區(qū)分大小寫(xiě)的
        lowercase_column_names => false
    }
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末歉秫,一起剝皮案震驚了整個(gè)濱河市华临,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌端考,老刑警劉巖,帶你破解...
    沈念sama閱讀 212,884評(píng)論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件揭厚,死亡現(xiàn)場(chǎng)離奇詭異却特,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)筛圆,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,755評(píng)論 3 385
  • 文/潘曉璐 我一進(jìn)店門(mén)裂明,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人太援,你說(shuō)我怎么就攤上這事闽晦“獍” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 158,369評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵仙蛉,是天一觀的道長(zhǎng)笋敞。 經(jīng)常有香客問(wèn)我,道長(zhǎng)荠瘪,這世上最難降的妖魔是什么夯巷? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 56,799評(píng)論 1 285
  • 正文 為了忘掉前任,我火速辦了婚禮哀墓,結(jié)果婚禮上趁餐,老公的妹妹穿的比我還像新娘。我一直安慰自己篮绰,他們只是感情好后雷,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,910評(píng)論 6 386
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著吠各,像睡著了一般稽屏。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上逆巍,一...
    開(kāi)封第一講書(shū)人閱讀 50,096評(píng)論 1 291
  • 那天翁垂,我揣著相機(jī)與錄音,去河邊找鬼磕瓷。 笑死盒齿,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的困食。 我是一名探鬼主播边翁,決...
    沈念sama閱讀 39,159評(píng)論 3 411
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼硕盹!你這毒婦竟也來(lái)了符匾?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 37,917評(píng)論 0 268
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤瘩例,失蹤者是張志新(化名)和其女友劉穎啊胶,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體垛贤,經(jīng)...
    沈念sama閱讀 44,360評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡焰坪,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,673評(píng)論 2 327
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了聘惦。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片某饰。...
    茶點(diǎn)故事閱讀 38,814評(píng)論 1 341
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出黔漂,到底是詐尸還是另有隱情诫尽,我是刑警寧澤,帶...
    沈念sama閱讀 34,509評(píng)論 4 334
  • 正文 年R本政府宣布炬守,位于F島的核電站牧嫉,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏劳较。R本人自食惡果不足惜驹止,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 40,156評(píng)論 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望观蜗。 院中可真熱鬧臊恋,春花似錦、人聲如沸墓捻。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,882評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)砖第。三九已至撤卢,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間梧兼,已是汗流浹背放吩。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 32,123評(píng)論 1 267
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留羽杰,地道東北人渡紫。 一個(gè)月前我還...
    沈念sama閱讀 46,641評(píng)論 2 362
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像考赛,于是被迫代替她去往敵國(guó)和親惕澎。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,728評(píng)論 2 351

推薦閱讀更多精彩內(nèi)容