shell + go + mysql nginx日志統(tǒng)計 (三) :數(shù)據(jù)的展示

效果圖

woshitu.png

grafana 的安裝

這里主要講在Centos下的安裝扭仁,其實這個網(wǎng)上到處是蹬蚁,其他系統(tǒng)我就不多說了太防。

wget https://s3-us-west-2.amazonaws.com/grafana-releases/release/grafana-4.2.0-1.x86_64.rpm
yum localinstall grafana-4.2.0-1.x86_64.rpm
#啟動 granafa
systemctl start grafana-server


然后你查看揭朝,就能看到在運行了
netstat -tpnl | grep 3000 

訪問 http://ip:3000
帳號密碼都是 admin

接入mysql數(shù)據(jù)源

點擊 add data source 輸入Mysql的連接信息 這樣就添加好了

grafana-datasource.jpg

線圖展示

  • 點擊 new dashboard
  • 然后添加一個新的Dashboard Row
  • 再在這個Row 里添加一個新的Panel 選擇 Graph

總訪問量(按項目)

從ngx_access表中根據(jù)不同project(也就是不同的nginx日志文件名)取出這個項目的總訪問量

SELECT  UNIX_TIMESTAMP(date) as time_sec,sum(times) as value,project as metric
FROM ngx_access
WHERE $__timeFilter(date)
group by project,date
ORDER BY date ASC

總訪問量(按狀態(tài)碼)

從ngx_access表中根據(jù)不同code(也就是狀態(tài)碼)取出不同返回碼的次數(shù)

SELECT
  UNIX_TIMESTAMP(date) as time_sec,
  sum(times) as value,
  code as metric
FROM edu_access
WHERE $__timeFilter(date)
group by code,date
ORDER BY date ASC

響應(yīng)時間排行

表格展示

  • 點擊 new dashboard
  • 然后添加一個新的Dashboard Row
  • 再在這個Row 里添加一個新的Panel 選擇 Table

ip訪問次數(shù)統(tǒng)計

做這個出來主要是看看時段內(nèi)有沒有大量的惡意訪問

SELECT
ip as IP,
 sum(times) as 次數(shù)
FROM ngx_ip
WHERE $__timeFilter(date)
GROUP BY ip ORDER BY 次數(shù) DESC limit 100;|

PV(每日頁面訪問量)

SELECT
  date_format(date, '%Y-%m-%d') as 日期,
 sum(times) as value
FROM ngx_access
WHERE $__timeFilter(date) 
group by date_format(date, '%Y-%m-%d')
ORDER BY date_format(date, '%Y-%m-%d') asc

IP(每日獨立IP訪問量)

SELECT
  date_format(date, '%Y-%m-%d') as 日期,
 count(distinct ip) as value
FROM ngx_ip
WHERE $__timeFilter(date)
group by 日期
ORDER BY 日期 asc

URL(URL的訪問排行榜)

用于查看哪些功能(URL)被大量使用,這個感覺還比較有用卸伞,可以幫忙知道用戶到底在干些什么递宅。某些訪問多的是不是該加機(jī)器或者獨立之類的娘香。

select 
project as project,
url as url,
sum(times) as times
from ngx_access
WHERE $__timeFilter(date)
group by project,url
order by  times desc limit 100

URL(響應(yīng)時間排行)

根據(jù)每個project來展示每個URL 訪問時間區(qū)間

SELECT
url as Url,
 sum(xiaoyu10) as 小于10ms,
 sum(xiaoyu50) as 10ms_50ms,
 sum(xiaoyu100) as 50ms_100ms,
 sum(xiaoyu500) as 100ms_500ms,
 sum(dayu500) as 大于500ms,
 sum(xiaoyu10+xiaoyu100+xiaoyu50+xiaoyu500+dayu500) as tatol
FROM edu_res
WHERE $__timeFilter(date) and project = 'project'
GROUP BY url ORDER BY tatol DESC limit 50;
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市办龄,隨后出現(xiàn)的幾起案子烘绽,更是在濱河造成了極大的恐慌,老刑警劉巖俐填,帶你破解...
    沈念sama閱讀 211,817評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件安接,死亡現(xiàn)場離奇詭異,居然都是意外死亡英融,警方通過查閱死者的電腦和手機(jī)盏檐,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,329評論 3 385
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來驶悟,“玉大人胡野,你說我怎么就攤上這事『埙ⅲ” “怎么了硫豆?”我有些...
    開封第一講書人閱讀 157,354評論 0 348
  • 文/不壞的土叔 我叫張陵,是天一觀的道長笼呆。 經(jīng)常有香客問我熊响,道長,這世上最難降的妖魔是什么诗赌? 我笑而不...
    開封第一講書人閱讀 56,498評論 1 284
  • 正文 為了忘掉前任汗茄,我火速辦了婚禮,結(jié)果婚禮上铭若,老公的妹妹穿的比我還像新娘洪碳。我一直安慰自己递览,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 65,600評論 6 386
  • 文/花漫 我一把揭開白布偶宫。 她就那樣靜靜地躺著非迹,像睡著了一般。 火紅的嫁衣襯著肌膚如雪纯趋。 梳的紋絲不亂的頭發(fā)上憎兽,一...
    開封第一講書人閱讀 49,829評論 1 290
  • 那天,我揣著相機(jī)與錄音吵冒,去河邊找鬼纯命。 笑死,一個胖子當(dāng)著我的面吹牛痹栖,可吹牛的內(nèi)容都是我干的亿汞。 我是一名探鬼主播,決...
    沈念sama閱讀 38,979評論 3 408
  • 文/蒼蘭香墨 我猛地睜開眼揪阿,長吁一口氣:“原來是場噩夢啊……” “哼疗我!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起南捂,我...
    開封第一講書人閱讀 37,722評論 0 266
  • 序言:老撾萬榮一對情侶失蹤吴裤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后溺健,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體麦牺,經(jīng)...
    沈念sama閱讀 44,189評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,519評論 2 327
  • 正文 我和宋清朗相戀三年鞭缭,在試婚紗的時候發(fā)現(xiàn)自己被綠了剖膳。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,654評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡岭辣,死狀恐怖吱晒,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情沦童,我是刑警寧澤仑濒,帶...
    沈念sama閱讀 34,329評論 4 330
  • 正文 年R本政府宣布,位于F島的核電站搞动,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏渣刷。R本人自食惡果不足惜鹦肿,卻給世界環(huán)境...
    茶點故事閱讀 39,940評論 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望辅柴。 院中可真熱鬧箩溃,春花似錦瞭吃、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,762評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至霹陡,卻和暖如春和蚪,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背烹棉。 一陣腳步聲響...
    開封第一講書人閱讀 31,993評論 1 266
  • 我被黑心中介騙來泰國打工攒霹, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人浆洗。 一個月前我還...
    沈念sama閱讀 46,382評論 2 360
  • 正文 我出身青樓催束,卻偏偏與公主長得像,于是被迫代替她去往敵國和親伏社。 傳聞我的和親對象是個殘疾皇子抠刺,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 43,543評論 2 349

推薦閱讀更多精彩內(nèi)容