aws 日志收集分析測試

將日志收集到aws的S3存儲,通過aws ES實時分析日志、Spark離線日志分析儒拂,支持無線擴(kuò)容。

一色鸳、日志收集

利用logstash output直接到S3存儲侣灶, 在aws建立好bucket,配置好logstash config文件將日志打入到bucket即可缕碎。具體配置見logstash output S3
實例:

output {
s3 {       
access_key_id => "AKIAJEVY5ZME3Q"        
secret_access_key => "QtQiyCZVi06xl9n/2JYfJ1YL+mPWf9"
region => "ap-southeast-1"
bucket => "ott-log-storage"       
time_file => 5     
codec => "json_lines"  
}
}

上述會將日志切成5分鐘一段褥影。在aws控制臺相應(yīng)的S3 bucket里面就會看到日志信息。

二咏雌、實時分析日志

在aws 服務(wù)列表找到 ElasticSearch Service凡怎, 按照步驟創(chuàng)建ES實例,十分鐘后赊抖,創(chuàng)建完成统倒,會有對應(yīng)的EndPoint信息和Kibana地址。
選擇一臺機(jī)器氛雪,最好是EC2, 按照logstash房匆, 將相應(yīng)S3 bucket 日志文件push到ES中,在Kibana地址配置好index通配字符串后,就可以看到該業(yè)務(wù)的日志列表浴鸿。

input
{   
s3 {        
bucket => "ott-log-storage"        
access_key_id => "AKIAJEWJVZY5ZME3Q"        
secret_access_key => "QtQiyCZViPR06xl9n/2JYfJsarxY1YL+mPWf9"   region => "ap-southeast-1"    
}
}
 

filter
 {
json {        
source => "message"        
remove_field => ["hour", "day"]    
}
}

output{
elasticsearch {
hosts 
=> ["search-modeyangg-r6qoi2q3bwgmq.apsoutheast-1.es.amazonaws.com:443"]
ssl => true      
flush_size => 1000      
index => "%{type}_access-%{+YYYY.MM.dd}"       
idle_flush_time => 10    
}

}

上面是logstash config文件井氢。

三、離線分析日志

在aws上創(chuàng)建spark的EMR服務(wù)岳链,創(chuàng)建成功后花竞,利用SSH登陸Master機(jī)器,運行pyspark掸哑, 即可測試spark集群约急。
spark支持從S3讀取數(shù)據(jù),利用EMRFS可供hadoop/spark集群使用苗分, 利用Spark SQL就可像sql一樣統(tǒng)計日志數(shù)據(jù)厌蔽。

from pyspark.sql 
import SQLContext

sqlContext =SQLContext(sc)

df = sqlContext.read.json("s3n://<bucket>/<path>")

df.registerTempTable("ott_log_db")

ott_sql =sqlContext.sql(
"select sitegroup, count(sitegroup) as site_counts from ott_log_db group by sitegroup"
)

ott_sql.show()

具體用法參見Spark SQL

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市摔癣,隨后出現(xiàn)的幾起案子躺枕,更是在濱河造成了極大的恐慌,老刑警劉巖供填,帶你破解...
    沈念sama閱讀 211,561評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件拐云,死亡現(xiàn)場離奇詭異,居然都是意外死亡近她,警方通過查閱死者的電腦和手機(jī)叉瘩,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,218評論 3 385
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來粘捎,“玉大人薇缅,你說我怎么就攤上這事≡苣ィ” “怎么了泳桦?”我有些...
    開封第一講書人閱讀 157,162評論 0 348
  • 文/不壞的土叔 我叫張陵,是天一觀的道長娩缰。 經(jīng)常有香客問我灸撰,道長,這世上最難降的妖魔是什么拼坎? 我笑而不...
    開封第一講書人閱讀 56,470評論 1 283
  • 正文 為了忘掉前任浮毯,我火速辦了婚禮,結(jié)果婚禮上泰鸡,老公的妹妹穿的比我還像新娘债蓝。我一直安慰自己,他們只是感情好盛龄,可當(dāng)我...
    茶點故事閱讀 65,550評論 6 385
  • 文/花漫 我一把揭開白布饰迹。 她就那樣靜靜地躺著芳誓,像睡著了一般。 火紅的嫁衣襯著肌膚如雪啊鸭。 梳的紋絲不亂的頭發(fā)上锹淌,一...
    開封第一講書人閱讀 49,806評論 1 290
  • 那天,我揣著相機(jī)與錄音莉掂,去河邊找鬼。 笑死千扔,一個胖子當(dāng)著我的面吹牛憎妙,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播曲楚,決...
    沈念sama閱讀 38,951評論 3 407
  • 文/蒼蘭香墨 我猛地睜開眼厘唾,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了龙誊?” 一聲冷哼從身側(cè)響起抚垃,我...
    開封第一講書人閱讀 37,712評論 0 266
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎趟大,沒想到半個月后鹤树,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,166評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡逊朽,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,510評論 2 327
  • 正文 我和宋清朗相戀三年罕伯,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片叽讳。...
    茶點故事閱讀 38,643評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡追他,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出岛蚤,到底是詐尸還是另有隱情邑狸,我是刑警寧澤,帶...
    沈念sama閱讀 34,306評論 4 330
  • 正文 年R本政府宣布涤妒,位于F島的核電站单雾,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏她紫。R本人自食惡果不足惜铁坎,卻給世界環(huán)境...
    茶點故事閱讀 39,930評論 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望犁苏。 院中可真熱鬧硬萍,春花似錦、人聲如沸围详。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,745評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至买羞,卻和暖如春袁勺,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背畜普。 一陣腳步聲響...
    開封第一講書人閱讀 31,983評論 1 266
  • 我被黑心中介騙來泰國打工期丰, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人吃挑。 一個月前我還...
    沈念sama閱讀 46,351評論 2 360
  • 正文 我出身青樓钝荡,卻偏偏與公主長得像,于是被迫代替她去往敵國和親舶衬。 傳聞我的和親對象是個殘疾皇子埠通,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 43,509評論 2 348

推薦閱讀更多精彩內(nèi)容