Logstash對接mysql筆記

我們在內(nèi)容分發(fā)系統(tǒng)的數(shù)據(jù)表里面,經(jīng)常會有閱讀次數(shù)、分享次數(shù)這樣的字段,而如果是c/s系統(tǒng)巨税,這樣的統(tǒng)計是需要客戶端傳上來的,以往這樣的需求我們會在后臺系統(tǒng)中提供一個readCount的接口粉臊,每當客戶端閱讀一次的時候草添,就會調(diào)用接口一次,然后數(shù)據(jù)表的readCount字段就+1扼仲。
上文我們已經(jīng)介紹了如何用elk快速搭建日志收集系統(tǒng)远寸,其中的logstash除了收集數(shù)據(jù)到elasticsearch抄淑,還有其他的作用,這里就介紹如何用logstash更新數(shù)據(jù)庫驰后。

安裝jdbc插件

要完成這個需求肆资,首先就是要安裝jdbc的插件,讓logstash能訪問mysql灶芝,安裝的命令很簡單:

$ bin/logstash-plugin install logstash-output-jdbc

執(zhí)行命令之后如果控制臺輸出Install success則表示安裝成功郑原。

配置config文件

logstash的配置文件我們首先要做的是將傳上來的數(shù)據(jù)轉(zhuǎn)換為json,那就需要配置filter任務(wù)夜涕,配置如下:

filter {
        json {
            source => "message"
        }
}

然后犯犁,logstash的配置文件其實是很聰明的,除了基本配置之外女器,他還支持if判斷等邏輯語句酸役,在這里我們配置output的時候就可以這樣寫:

output {
    if [action] == 'read' {
        jdbc {
            driver_jar_path => "/opt/logstash/lib/mysql-connector-java-5.1.36.jar"
            driver_class => "com.mysql.jdbc.Driver"
            connection_string => "jdbc:mysql://localhost:3306/test?user=test&password=test123"
            statement => [ "update content set read_count = read_count + 1 where id = ?", "[id]" ]
        }
    } else if [action] == 'share' {
        jdbc {
            driver_jar_path => "/opt/logstash/lib/mysql-connector-java-5.1.36.jar"
            driver_class => "com.mysql.jdbc.Driver"
            connection_string => "jdbc:mysql://localhost:3306/test?user=test&password=test123"
            statement => [ "update content set share_count = share_count + 1 where id = ?", "[id]" ]
        }
    }
}

這里MySQL的jar包是額外下載下來的,否則會啟動失敗

以上就是本文介紹的全部內(nèi)容晓避,希望能幫到您簇捍。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市俏拱,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌吼句,老刑警劉巖锅必,帶你破解...
    沈念sama閱讀 222,729評論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異惕艳,居然都是意外死亡搞隐,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,226評論 3 399
  • 文/潘曉璐 我一進店門远搪,熙熙樓的掌柜王于貴愁眉苦臉地迎上來劣纲,“玉大人,你說我怎么就攤上這事谁鳍●荆” “怎么了?”我有些...
    開封第一講書人閱讀 169,461評論 0 362
  • 文/不壞的土叔 我叫張陵倘潜,是天一觀的道長绷柒。 經(jīng)常有香客問我,道長涮因,這世上最難降的妖魔是什么废睦? 我笑而不...
    開封第一講書人閱讀 60,135評論 1 300
  • 正文 為了忘掉前任,我火速辦了婚禮养泡,結(jié)果婚禮上嗜湃,老公的妹妹穿的比我還像新娘奈应。我一直安慰自己,他們只是感情好购披,可當我...
    茶點故事閱讀 69,130評論 6 398
  • 文/花漫 我一把揭開白布杖挣。 她就那樣靜靜地躺著,像睡著了一般今瀑。 火紅的嫁衣襯著肌膚如雪程梦。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,736評論 1 312
  • 那天橘荠,我揣著相機與錄音屿附,去河邊找鬼。 笑死哥童,一個胖子當著我的面吹牛挺份,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播贮懈,決...
    沈念sama閱讀 41,179評論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼匀泊,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了朵你?” 一聲冷哼從身側(cè)響起各聘,我...
    開封第一講書人閱讀 40,124評論 0 277
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎抡医,沒想到半個月后躲因,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,657評論 1 320
  • 正文 獨居荒郊野嶺守林人離奇死亡忌傻,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,723評論 3 342
  • 正文 我和宋清朗相戀三年大脉,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片水孩。...
    茶點故事閱讀 40,872評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡镰矿,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出俘种,到底是詐尸還是另有隱情秤标,我是刑警寧澤,帶...
    沈念sama閱讀 36,533評論 5 351
  • 正文 年R本政府宣布安疗,位于F島的核電站抛杨,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏荐类。R本人自食惡果不足惜怖现,卻給世界環(huán)境...
    茶點故事閱讀 42,213評論 3 336
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧屈嗤,春花似錦潘拨、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,700評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至茫船,卻和暖如春琅束,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背算谈。 一陣腳步聲響...
    開封第一講書人閱讀 33,819評論 1 274
  • 我被黑心中介騙來泰國打工涩禀, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人然眼。 一個月前我還...
    沈念sama閱讀 49,304評論 3 379
  • 正文 我出身青樓艾船,卻偏偏與公主長得像,于是被迫代替她去往敵國和親高每。 傳聞我的和親對象是個殘疾皇子屿岂,可洞房花燭夜當晚...
    茶點故事閱讀 45,876評論 2 361

推薦閱讀更多精彩內(nèi)容

  • Spring Cloud為開發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見模式的工具(例如配置管理,服務(wù)發(fā)現(xiàn)鲸匿,斷路器爷怀,智...
    卡卡羅2017閱讀 134,716評論 18 139
  • 1. Java基礎(chǔ)部分 基礎(chǔ)部分的順序:基本語法,類相關(guān)的語法带欢,內(nèi)部類的語法霉撵,繼承相關(guān)的語法,異常的語法洪囤,線程的語...
    子非魚_t_閱讀 31,667評論 18 399
  • Spring Boot 參考指南 介紹 轉(zhuǎn)載自:https://www.gitbook.com/book/qbgb...
    毛宇鵬閱讀 46,867評論 6 342
  • 一. Java基礎(chǔ)部分.................................................
    wy_sure閱讀 3,815評論 0 11
  • 自律瘤缩,向痛苦宣戰(zhàn) 這次課程,幾乎每一句都是我需要的伦泥,所以文章沒有結(jié)構(gòu)(現(xiàn)階段也不...
    982827c14b4a閱讀 405評論 2 0