? ? ? ?在我們的客服系統(tǒng)中,主要用到實(shí)時(shí)在線統(tǒng)計(jì)和離線統(tǒng)計(jì)兩種.
實(shí)時(shí)在線統(tǒng)計(jì)熱詞,用戶通過手機(jī)端所說的話,實(shí)時(shí)發(fā)送http 請(qǐng)求,通過 logstash 接收數(shù)據(jù),然后通過 kafka 發(fā)送到 spark streaming 來進(jìn)行實(shí)時(shí)處理,每分鐘進(jìn)行入庫操作.
實(shí)時(shí)構(gòu)架流程圖
log --> http -->logstash --> kafka --> spark streaming --> mysql
離線統(tǒng)計(jì) DAU 和 MAU
用戶每次進(jìn)入app,通過在 init 時(shí)進(jìn)行埋點(diǎn),發(fā)送 http 請(qǐng)求,通過 logstash 接收數(shù)據(jù),按天按 app 形成log文件,通過定時(shí)腳本發(fā)送到 hdfs 上,每天使用 spark 進(jìn)行處理并入庫.
離線處理構(gòu)架流程圖
log --> http --> logstash --> hdfs --> spark --> mysql
