文章簡(jiǎn)介

工作這幾年阱州，技術(shù)棧在不斷更新，項(xiàng)目管理心得也增加了不少铸抑，寫代碼的速度也在提升贡耽，感覺(jué)很欣慰，畢竟是在一直進(jìn)步鹊汛，但是過(guò)程中也有許許多多的曲折蒲赂，也踩過(guò)了數(shù)不盡的坑坑洼洼，從一個(gè)連百度都不知道用的萌新到一個(gè)悠哉悠哉的老油子也不容易刁憋，很多人應(yīng)該都有類似的經(jīng)歷和感受滥嘴，因此博客中也會(huì)整理一些曾經(jīng)碰到過(guò)的事故和問(wèn)題給自己提個(gè)醒。

由于接下來(lái)要在perfect-ssm項(xiàng)目中引入緩存模塊至耻，恰好在翻看日記時(shí)看到了這次事故的記錄若皱，因此整理了這篇文章，根據(jù)事件發(fā)生時(shí)的日記來(lái)回顧一下這次事件尘颓，通過(guò)這次數(shù)據(jù)庫(kù)事故的真實(shí)案例及后續(xù)的事故處理作為引子來(lái)講講緩存走触，為什么要這么做呢，因?yàn)槲矣X(jué)得網(wǎng)上關(guān)于緩存使用的重要性和必要性的文章已經(jīng)很多了疤苹，一個(gè)又一個(gè)的原因及使用緩存的益處都寫的很清晰互广，我再去寫一遍有些多余，不如通過(guò)這種親身經(jīng)歷的案例來(lái)得好。

雖然當(dāng)時(shí)也知道緩存的重要性惫皱，也想去在項(xiàng)目中使用像樊，但是由于當(dāng)時(shí)太菜了也不知道怎么去在項(xiàng)目中整合緩存，所以使用緩存的事情就一拖再拖旅敷，而這次事件及后續(xù)的處理也是我第一次在項(xiàng)目開(kāi)發(fā)中使用緩存生棍，這也是為什么我選擇使用這篇日記來(lái)寫這篇文章并作為緩存接入的引子，其實(shí)還有很多日記媳谁，不過(guò)這篇就顯得比較特殊了涂滴，剛好要在perfect-ssm里用到，因此結(jié)合這篇日記整理了一篇文章韩脑。

項(xiàng)目介紹

前面寫了三個(gè)段落氢妈，不能再繼續(xù)寫了，主角該出場(chǎng)了段多，先來(lái)簡(jiǎn)單的介紹一下發(fā)生這次事故的項(xiàng)目，當(dāng)時(shí)所在的公司是一家小型的電商公司壮吩，公司主要的線上產(chǎn)品也就是一個(gè)商城項(xiàng)目进苍，上線運(yùn)行了一段時(shí)間，還處于繼續(xù)開(kāi)發(fā)和優(yōu)化的階段鸭叙，用戶界面就是很雷同的一些電商屬性：商品觉啊、購(gòu)物車、訂單沈贝、支付杠人，后臺(tái)則是一些運(yùn)營(yíng)數(shù)據(jù)，倉(cāng)庫(kù)系統(tǒng)(商品的入庫(kù)和出庫(kù))宋下，訂單管理等嗡善，用戶量和訂單量還算不錯(cuò)吧，比上不足比下有余学歧，馬馬虎虎可以讓公司正常運(yùn)轉(zhuǎn)罩引，OK，基礎(chǔ)信息介紹完畢枝笨。

intro

第一次崩潰

這次事故發(fā)生的時(shí)間點(diǎn)是在某天的上午(額...又是發(fā)生在上午)袁铐，事發(fā)比較突然，客服陸陸續(xù)續(xù)接到幾個(gè)用戶的反饋電話横浑，起初并沒(méi)有在意剔桨，以為只是某些用戶的誤操或者某些商品在倉(cāng)庫(kù)里沒(méi)貨了，這些都經(jīng)常遇到也就沒(méi)放在心上(處于萌新階段的自己最大的優(yōu)點(diǎn)應(yīng)該就是心比較大徙融，什么事情都覺(jué)得無(wú)所謂洒缀，哈哈哈哈)，但是接下來(lái)的投訴越來(lái)越多张咳，老大就讓我趕緊去看看是怎么回事帝洪，我這時(shí)候才打開(kāi)網(wǎng)站開(kāi)始查問(wèn)題(心大不大?或者說(shuō)楞不楞?)似舵。

houhou

詭異的事情也發(fā)生了，網(wǎng)站打開(kāi)一切正常葱峡，網(wǎng)站首頁(yè)好好的砚哗，搜索功能也正常，商品詳情頁(yè)也可以用砰奕，當(dāng)時(shí)心里一緊蛛芥，這是發(fā)生了什么事情啊军援？服務(wù)器卡了仅淑？tomcat集群掛了其中的一臺(tái)？趕緊去看服務(wù)器胸哥，結(jié)果所有實(shí)例的運(yùn)行一切正常涯竟，看到這個(gè)結(jié)果心里的緊張又多了幾分，和平時(shí)的劇情不太一樣空厌，這個(gè)時(shí)候不應(yīng)該是服務(wù)器掛掉然后重啟的橋段嗎庐船？答案是no...

又去找客服，到底是什么事情嘲更，客服說(shuō)基本上都是說(shuō)無(wú)法下單筐钟，我又趕緊去下單，走一下訂單流程赋朦，果然篓冲，卡在頁(yè)面上一動(dòng)也不動(dòng)了

loading

老大當(dāng)時(shí)也按照我的思路去查了(可能覺(jué)得我中間有偷懶以致于沒(méi)查出來(lái))耐床，當(dāng)然他也什么都沒(méi)查出來(lái)密幔，然后就開(kāi)始去看數(shù)據(jù)庫(kù)，查了也挺久的撩轰，我記得這個(gè)過(guò)程中我是很煎熬的胯甩，也幫不上什么忙，還要聽(tīng)客服那邊催钧敞，中間也僥幸的覺(jué)得是不是哪里抽風(fēng)了過(guò)會(huì)兒就好了蜡豹，就去下了幾次單，結(jié)果都不行溉苛，最后只能坐在老大旁邊看他敲代碼，最氣的是弄诲，很多sql命令和linux腳本也看不懂...

代碼沒(méi)問(wèn)題愚战，日志沒(méi)問(wèn)題踏志，集群也好好的羹与，基本也就可以猜到問(wèn)題應(yīng)該在數(shù)據(jù)庫(kù)了，不過(guò)我沒(méi)有查看和操作的權(quán)限冠摄，所以具體是不是梗摇，當(dāng)時(shí)我也不知道拓哟。

老大一直在查，我就只能呆呆的等著伶授，過(guò)了一會(huì)兒老大說(shuō)是有兩張表鎖住了(我的內(nèi)心OS:表鎖住了断序？什么意思？怎么會(huì)鎖酌优搿违诗？等等...數(shù)據(jù)庫(kù)鎖是什么東西)，試著去解決但是沒(méi)有成功疮蹦，一時(shí)也想不出好的辦法诸迟，客服那邊同事催的也緊，氣氛有點(diǎn)僵，然后我就說(shuō)出了我的"高見(jiàn)"阵苇，老大壁公，要不咱們重啟數(shù)據(jù)庫(kù)吧，話一說(shuō)完绅项，老大看了我一眼紊册，我猜眼神里應(yīng)該滿是贊善，然后對(duì)著我笑了笑趁怔，他可能覺(jué)得這是個(gè)很好的方案吧湿硝，他怎么就沒(méi)想到呢？(ps：也可能是在心里罵我润努，這個(gè)愣頭青关斜，一出問(wèn)題就知道重啟，tomcat重啟铺浇，nginx重啟痢畜，服務(wù)器重啟....現(xiàn)在又要mysql重啟)當(dāng)然，由于比較混亂鳍侣，我說(shuō)了這個(gè)方案后丁稀，他也就有些妥協(xié)了，然后就去殺了一些進(jìn)程倚聚，并重啟了mysql服務(wù)线衫，大概也就花了兩三分鐘左右的時(shí)間，雖然是線上環(huán)境惑折，影響肯定是有一些的授账，但是也絕對(duì)不會(huì)太大，畢竟業(yè)務(wù)剛起步惨驶，系統(tǒng)也是在開(kāi)發(fā)和完善中白热。重啟后，果然就有了效果粗卜，可以正常下單了屋确，我們也松了一口氣。又觀察了一段時(shí)間续扔，發(fā)現(xiàn)系統(tǒng)一切正常攻臀，剛好也到了中午，也就去外面吃飯了测砂，回來(lái)之后茵烈，繼續(xù)檢查并觀察了數(shù)據(jù)庫(kù)的情況，發(fā)現(xiàn)一切正常砌些，于是就將這件事當(dāng)做是一個(gè)偶然事件呜投，沒(méi)有特別注意了加匈，由于公司人員緊張(初創(chuàng)公司的技術(shù)部，算是什么部門......)仑荐，每個(gè)人的事情都很多雕拼，老大也就去忙其他事情去了，給的建議是讓我去查一下sql粘招，是不是用了太多的聯(lián)查啥寇，或者創(chuàng)建的索引不合適之類的問(wèn)題導(dǎo)致了死鎖，由于沒(méi)有帶來(lái)特別大的影響洒扎，也就當(dāng)成一個(gè)普通的偶然事件了辑甜，老大也說(shuō)了，下個(gè)版本要加上緩存功能袍冷，不然隨著業(yè)務(wù)的增長(zhǎng)數(shù)據(jù)庫(kù)可能會(huì)有些撐不住磷醋。

又崩潰了

可能有些朋友心里會(huì)有一些疑惑，事情就這么結(jié)束了胡诗？怎么這么快邓线？

肯定沒(méi)有！事情肯定不會(huì)就這么完了的煌恢，不然我也不會(huì)單獨(dú)整理這么一篇文章了骇陈，在下午的四點(diǎn)鐘之后，又出現(xiàn)了同樣的問(wèn)題瑰抵，不過(guò)這次就嚴(yán)重的多了你雌。

依然跟上午的情況類似，在工位上開(kāi)發(fā)的時(shí)候陸陸續(xù)續(xù)又收到了客服的信息二汛，與上午同樣的用戶反饋匪蝙，這下就不像上午似的手忙腳亂了，驗(yàn)證了網(wǎng)站應(yīng)用后發(fā)現(xiàn)問(wèn)題和上午一樣习贫，于是老大直接去查了數(shù)據(jù)庫(kù)，再接著就是重啟了數(shù)據(jù)庫(kù)千元，網(wǎng)站又可以正常運(yùn)行了苫昌，但是這個(gè)時(shí)候，傻子都能意識(shí)到網(wǎng)站出問(wèn)題了幸海，絕對(duì)不是偶然事件祟身，雖然選擇了無(wú)奈的重啟數(shù)據(jù)庫(kù)服務(wù)，但也不能每次都這么做物独，必須把問(wèn)題找到并解決袜硫，但是我了解到的信息就是數(shù)據(jù)庫(kù)幾張表被鎖住了，關(guān)鍵是我也不知道怎么做挡篓，去百度也百度不出個(gè)鳥(niǎo)兒來(lái)婉陷，當(dāng)然帚称，問(wèn)題肯定是出在數(shù)據(jù)庫(kù)這里，老大給我的建議也是去找下單邏輯的問(wèn)題以及相關(guān)聯(lián)的sql是不是有問(wèn)題......(肯定沒(méi)有找到問(wèn)題啊秽澳，因?yàn)檫@次的事件根源并不在此)

image

在大家檢查代碼檢查sql和在網(wǎng)上找解決方案的期間闯睹，同樣的問(wèn)題又再次發(fā)生了，不過(guò)這次比前兩次更嚴(yán)重担神，不僅僅是下單流程楼吃，其他的功能也不能用了，接口大部分也掛掉了妄讯，數(shù)據(jù)庫(kù)的問(wèn)題更嚴(yán)重了孩锡，下午這兩次事件發(fā)生的時(shí)間基本沒(méi)有隔太久，就是說(shuō)剛重啟沒(méi)多久亥贸，數(shù)據(jù)庫(kù)又崩了(這感覺(jué)像不像是被攻擊了躬窜？嘿嘿嘿)，真的是爆炸砌函，問(wèn)題也沒(méi)定位到斩披，當(dāng)所有人都覺(jué)得我們是被人攻擊了甚至感到了絕望氣息的時(shí)候，巧了巧了讹俊，倉(cāng)管那邊也過(guò)來(lái)反饋垦沉，說(shuō)無(wú)法錄入商品進(jìn)行上架操作，還說(shuō)上午也碰到了類似的情況仍劈，這個(gè)時(shí)候我們幾個(gè)開(kāi)發(fā)才反應(yīng)過(guò)來(lái)厕倍，倉(cāng)庫(kù)后臺(tái)是最近更新的，可能問(wèn)題和這個(gè)有關(guān)贩疙，于是趕緊詳細(xì)地問(wèn)了一下倉(cāng)管讹弯，上架了多少商品，有幾個(gè)人在上架这溅，得到的答案也很滿意组民，上午也入庫(kù)了，不過(guò)打電話之前入庫(kù)的比較多悲靴，是叫了幾個(gè)兼職一起做的臭胜，這個(gè)時(shí)候好像有點(diǎn)兒眉目了，想了一下更新的功能以及新的入庫(kù)代碼我們才恍然大悟癞尚，也漸漸地清楚了問(wèn)題的根由耸三！有問(wèn)題的sql語(yǔ)句在這里！于是我們與倉(cāng)庫(kù)主管溝通浇揩，由于倉(cāng)管系統(tǒng)剛更新仪壮，有些不穩(wěn)定導(dǎo)致了一些問(wèn)題，先暫停一下入庫(kù)胳徽，我們趕緊把問(wèn)題修復(fù)掉积锅。

原來(lái)攻擊我們網(wǎng)站的是自己人!

乖乖隆叮咚爽彤，原來(lái)"攻擊"我們網(wǎng)站的是自己人！

具體的經(jīng)過(guò)忘記了乏沸，總之是記得當(dāng)天網(wǎng)站出現(xiàn)過(guò)三次事情淫茵，現(xiàn)在總結(jié)起來(lái)也就清晰了很多，基本上每次事情發(fā)生的時(shí)候蹬跃，倉(cāng)管都在做入庫(kù)操作匙瘪，最后入庫(kù)的量比較大，根據(jù)倉(cāng)管負(fù)責(zé)人的描述也就大致能夠?qū)?yīng)起來(lái)了蝶缀。第一次第二次還好丹喻，只是表鎖住了，但是第三次就比較嚴(yán)重了翁都，數(shù)據(jù)庫(kù)服務(wù)資源耗盡了碍论，根本連不上，只有部分請(qǐng)求是正常的柄慰。當(dāng)然根據(jù)倉(cāng)管的說(shuō)法再聯(lián)想一下大致也就清楚了鳍悠，由于前兩次入庫(kù)的商品并不多也不密集，因此雖然存在鎖表的情況以及下單失靈的問(wèn)題坐搔，但是依然有部分下單請(qǐng)求是可以正常執(zhí)行的藏研，大部分接口也是可以正常運(yùn)行的，但是第三次由于入庫(kù)的商品數(shù)量較大以及速度較頻繁概行，不僅僅導(dǎo)致了鎖表蠢挡，也導(dǎo)致了數(shù)據(jù)庫(kù)連接被耗盡，進(jìn)而導(dǎo)致大部分接口也掛掉了凳忙。

看到這里肯定有很多朋友會(huì)問(wèn)业踏，你們網(wǎng)站是怎么做的，一入庫(kù)就會(huì)崩潰涧卵，那還玩什么扒诩摇？先別激動(dòng)柳恐，我們當(dāng)時(shí)也是被搞得措手不及却紧，以前也做過(guò)很多次的入庫(kù)操作，一切都是正常的胎撤，根本沒(méi)有過(guò)這種把數(shù)據(jù)庫(kù)拖垮的情況，所以發(fā)生這件事的時(shí)候断凶，作為當(dāng)事人的我們也都挺驚訝的伤提，由于以前根本沒(méi)有過(guò)類似這種事件的發(fā)生，我們也想當(dāng)然的忽略了认烁，沒(méi)往倉(cāng)管方面去考慮肿男，而且下午兩次事件的發(fā)生時(shí)間又特別近介汹，根本來(lái)不及排查問(wèn)題。而這次事故的發(fā)生就是這么巧合舶沛，因?yàn)閭}(cāng)管后臺(tái)剛做了改版不久嘹承，加了一些功能，原來(lái)比較穩(wěn)定的功能被要求修改如庭，主要原因在于這次更新后的頁(yè)面設(shè)計(jì)以及對(duì)應(yīng)的sql語(yǔ)句問(wèn)題叹卷，與數(shù)據(jù)庫(kù)的配置沒(méi)有特別大的聯(lián)系，當(dāng)然坪它，數(shù)據(jù)庫(kù)配置高的話可能這個(gè)事故的發(fā)生會(huì)晚一些骤竹，但遲早還是會(huì)發(fā)生。

崩潰的部分結(jié)束了

不知不覺(jué)已經(jīng)碼了這么多的文字往毡，粗略的估算了一下蒙揣，大概有六千多字了，看來(lái)對(duì)那時(shí)候的自己以及當(dāng)時(shí)經(jīng)歷的事情還是有很多的感慨和想法的开瞭，有些場(chǎng)景依然歷歷在目懒震，而當(dāng)時(shí)自己的一些想法和反應(yīng)現(xiàn)在還是有一些印象的，真的覺(jué)得當(dāng)時(shí)的自己好傻好呆嗤详。

本來(lái)想將后續(xù)的原因分析和事件處理過(guò)程也一起寫進(jìn)來(lái)的个扰，但是如果加進(jìn)來(lái)的話文章的篇幅確實(shí)有些太長(zhǎng)了，這篇文章就已經(jīng)回憶了這么多事情断楷，所以具體原因和后續(xù)的解決過(guò)程還是再整理整理放在后面一篇文章里講吧锨匆，如果寫在一起真的就太長(zhǎng)了，估計(jì)很多人要一拉到底了冬筒，哈哈哈哈恐锣。

結(jié)語(yǔ)

關(guān)于本次崩潰事故的記錄到這里就告一段落了，糟糕的系統(tǒng)設(shè)計(jì)和拖垮系統(tǒng)的sql語(yǔ)句會(huì)在下一篇文章中再詳細(xì)介紹舞痰。

首發(fā)于我的個(gè)人博客土榴，新的項(xiàng)目演示地址：perfect-ssm,登錄賬號(hào)：admin,密碼：123456

image

如果你想繼續(xù)了解該項(xiàng)目可以查看整個(gè)系列文章Spring+SpringMVC+MyBatis+easyUI整合系列文章,也可以到我的GitHub倉(cāng)庫(kù)或者開(kāi)源中國(guó)代碼倉(cāng)庫(kù)中查看源碼及項(xiàng)目文檔呀打。