看著一個個“慶祝3000萬”的運營推廣活動淘捡,心里卻沒有一丁點兒的興奮介劫,反而成為了失落感的起始點。
一個“3000萬”的背后隱藏著一大堆冰冷的數(shù)字:100+臺(平均84GB內(nèi)存+16C)服務(wù)器(物理機+虛擬機)案淋、50+個應(yīng)用服務(wù)、300+個Redis實例踢京、500+個應(yīng)用進程宦棺、10W+高峰并發(fā)瓣距、8億+日API訪問量代咸、每天1TB+系統(tǒng)日志......,看起來我是在裝逼的節(jié)奏呐芥。
看得見的是數(shù)字,看不見的是真相
如果系統(tǒng)是一個偏查詢類的應(yīng)用思瘟,我想幾個號稱10W并發(fā)的Redis實例足以支撐千萬級用戶+10W并發(fā)規(guī)模的系統(tǒng),你還會覺得NB嗎够话?如果1TB的系統(tǒng)日志有50%是非主動業(yè)務(wù)觸發(fā)光绕,并且可能只有0.1%的日志才具有分析價值的系統(tǒng)女嘲,你還會覺得NB嗎诞帐?如果3000萬用戶里面有99.99%的用戶是“被迫”使用的,你還會覺得NB嗎......
縱觀數(shù)年媒至,最興奮的莫過于當年幾個同事守在服務(wù)器前7*7*24小時不間斷地尋找問題和重啟服務(wù)服務(wù)器,往往最花費時間的事情就是大海撈針拒啰,而這一根“針”也往往就是一行代碼或一個配置的事情,也是對這跟“針”的發(fā)現(xiàn)讓我的程序員生涯興奮指數(shù)登上了高峰谋旦。這種程序員的“單純”,我想只有程序員才能懂拴孤。作為程序員,“高性能甲捏、高可用演熟、高靈活”是我的目標,作為管理者芒粹,“政治性大溜、社會性、經(jīng)濟性”是我考慮的重中之重(考慮因素權(quán)重排名分先后順序)钦奋。我喜歡并擅長把一件復(fù)雜的事情簡單化,但有時候不得不面對必須把一件簡單的事情復(fù)雜化的現(xiàn)實存在付材。程序員時期面向的都是正向挑戰(zhàn),而當下面對的更多是一堆不情愿的負向情緒贞谓。
今天的數(shù)字葵诈,其實只是延期了四年的結(jié)果
按目前的資源規(guī)模裸弦,別說3000W作喘,再多的用戶量都能支撐,這份自信心源于4年前對架構(gòu)整改方案的決策窖贤。不知當年哪來的勇氣,拍著自己腦袋喊著“自主研發(fā)”赃梧。可能是那一周連續(xù)的故障排查把腦袋短路的原因授嘀,埋下了“控制”的欲望。近千行核心代碼的自主框架實現(xiàn)了高約束和規(guī)范的IOC和AOP览闰,拋棄對各種外部中間件的高度依賴(如會話管理、數(shù)據(jù)分布式方案等)压鉴,讓系統(tǒng)建設(shè)的主動性和可控性完全掌握在自己手里锻拘。無論從8臺服務(wù)器擴展到目前的100臺服務(wù)器,還是從5個服務(wù)擴展至50個服務(wù)署拟,亦或從單一局域網(wǎng)到混合私有云的遷移,這一切的順利歸功于當年對系統(tǒng)可控性改造和持續(xù)性建設(shè)的執(zhí)著芯丧,回想起這些“前瞻性”的決定世曾,確實有時會感到那丁點兒的自豪。
我不能保證99.99%的穩(wěn)定性骗露,但......
系統(tǒng)有Bug很正常血巍,運維操作失誤也是常有的事,系統(tǒng)上線出錯回滾更不在話下述寡,所以我不敢保證系統(tǒng)100%的正常運轉(zhuǎn)。通過對故障的“大數(shù)據(jù)”分析鲫凶,我們系統(tǒng)的故障率(所有大小故障)大概30%,也就是三天一“日經(jīng)”波附,所以我無法保證4個9的穩(wěn)定性。但通過數(shù)據(jù)顯示掸屡,故障的99.99%都不是我們系統(tǒng)的內(nèi)部故障,而是對接外部系統(tǒng)的故障仅财。無論我們系統(tǒng)容災(zāi)能力多么強大,“系統(tǒng)繁忙谦炒,請稍后再試”成了我們唯一最有價值的降級方案风喇。有些許朋友經(jīng)常向我反饋,為什么你們應(yīng)用經(jīng)郴昴“系統(tǒng)繁忙”,我會很自豪地跟他們說:“幸好是我們做的耙考,換作別人,給你個白屏倦始,連‘系統(tǒng)繁忙’都不跟你說一聲”斗遏。
有時候一個“滿意”的回饋比這些數(shù)字暖和得多
目前同時掌管著大數(shù)十號人以及多個項目诵次,無論如何枚碗,整個組織的順利運轉(zhuǎn)還是歸功于以上多年方法的思考以及工具的積累逾一,但最讓我舒心的不是以上系統(tǒng)用戶量的突破肮雨,而是其它小規(guī)模“自主應(yīng)用”給用戶體驗所帶來滿意的回饋陌宿。一串串大數(shù)據(jù)的背后可能是一個個冰冷的KPI指標波丰,但一個個用戶的認可卻是真金白銀的服務(wù)回饋限番⊙教颍或許扩灯,以上的這些感想只是因為人生階段的不同對滿足的追求有了不一樣的想法而已霜瘪。