運(yùn)維工作經(jīng)驗(yàn)個(gè)人總結(jié):遠(yuǎn)離系統(tǒng)故障的一些方法

一烂斋、變更要能回滾屹逛、先在同樣的環(huán)境測(cè)試過(guò)

佛說(shuō):每次創(chuàng)傷、都是一次成熟汛骂,這便是運(yùn)維人員的真實(shí)寫照罕模。

從某種意義上講、運(yùn)維是一門經(jīng)驗(yàn)的學(xué)科帘瞭、是一門試錯(cuò)的學(xué)科淑掌。沒有做過(guò)的東西、總是會(huì)給你不期而遇的痛擊蝶念,請(qǐng)保護(hù)現(xiàn)場(chǎng)抛腕,讓變更有回頭的機(jī)會(huì)。

二媒殉、對(duì)破壞性的操作謹(jǐn)慎小心

什么是破壞性的操作担敌?

比如:對(duì) Oracle 而言:truncate table_name、delete table_name廷蓉、drop table_name柄错,這些語(yǔ)句執(zhí)行起來(lái)輕松簡(jiǎn)單也愜意極了、但記住售貌!即便數(shù)據(jù)可被回滾给猾、代價(jià)也是非常大!

對(duì) Linux 而言:rm -r所有當(dāng)前及其子目錄的所有數(shù)據(jù)都將被刪除颂跨。經(jīng)歷過(guò)這種故障的人敢伸、大多會(huì)給 rm 上個(gè)別名。

alias rm='rm -i'

同理恒削,cp 和 mv 也可以有同樣的選項(xiàng):

alias cp='cp -i' alias mv='mv -i'

三池颈、設(shè)置好命令提示

在操作之前、先理清你所在的是主庫(kù)钓丰、備庫(kù)躯砰?當(dāng)前目錄?哪個(gè) schema携丁?session琢歇?時(shí)間?

比如:對(duì) Oracle 來(lái)講:

[plain] view plaincopy idle> set sqlprompt 'RAC-node1-primary@10g>>' RAC-node1-primary@10g>>

當(dāng)然梦鉴、你也可以在?glogin.sql里面設(shè)置李茫。

對(duì)于 Linux 而言、bash 環(huán)境的提醒可設(shè)置 PS1 來(lái)知道當(dāng)前目錄肥橙、登陸用戶名和主機(jī)信息等魄宏;

對(duì) PS1 更多理解、請(qǐng)見:man PS1

四存筏、備份并驗(yàn)證備份的有效性

人非圣賢宠互、豈能無(wú)過(guò)?是機(jī)器總有計(jì)劃內(nèi)或計(jì)劃外崩潰的一天椭坚。怎么辦名秀?備份!E航Α匕得!

備份的學(xué)問(wèn)很大、按照不同的維度可以分:冷備和熱備巾表;實(shí)時(shí)和非實(shí)時(shí)汁掠;物理和邏輯。OLTP 7*24 在線業(yè)務(wù)集币、DB 就需要有實(shí)時(shí)熱備考阱。這樣就可以了嗎?

如果開發(fā)人員的一個(gè)不帶任何條件的 delete 誤刪所有數(shù)據(jù)鞠苟,此時(shí)你除了實(shí)時(shí)乞榨、還需要有非實(shí)時(shí)的備份秽之、把 DB 從邏輯錯(cuò)誤中恢復(fù)出來(lái)。

備份有了吃既、可以高忱無(wú)憂了嗎考榨?不行!尚須驗(yàn)證備份的有效性鹦倚。一個(gè)總有那么幾次河质、備份無(wú)法保證 100% 恢復(fù),簡(jiǎn)單的驗(yàn)證就是找個(gè)空庫(kù)恢復(fù)出來(lái)震叙。

五掀鹅、對(duì)生產(chǎn)環(huán)境永保敬畏之心

會(huì)計(jì)人員在從業(yè)之前、都有個(gè)職業(yè)操守的訓(xùn)練媒楼。同理乐尊、這也應(yīng)該是運(yùn)維人員進(jìn)入行業(yè)首先需要具備的素養(yǎng)。

比如:

于 Oracle 而言划址、你可以跑一個(gè) RDA 巡檢 DB 的健康狀況扔嵌;于 Linux 而言、是否有 password aging猴鲫、隔離外網(wǎng)等。

六谣殊、交接和休假最容易出故障拂共、變更請(qǐng)謹(jǐn)慎

接手別人的工作要一而再、再而三的確認(rèn)變更方案姻几。請(qǐng)教人并不見得就是能力不行的表現(xiàn)宜狐;

休假前最好各種可以做好的事情,最好能夠準(zhǔn)備一份文檔蛇捌,指明在什么情況下怎么做和聯(lián)系哪些人抚恒;

在別人放假的時(shí)候接手工作,“能拖則拖”络拌,實(shí)在需要執(zhí)行:必須不厭其煩的跟原運(yùn)維者確認(rèn)各個(gè)操作細(xì)節(jié)俭驮。

七、搭建報(bào)警春贸、及時(shí)獲取出錯(cuò)信息混萝;搭建性能監(jiān)控、預(yù)測(cè)趨勢(shì)

運(yùn)維人員賴于生存的工具就是報(bào)警和監(jiān)控萍恕。

報(bào)警可以讓你及時(shí)知道系統(tǒng)出現(xiàn)了什么異常逸嘀、以便及時(shí)跟進(jìn)、把故障扼殺于搖籃允粤;

監(jiān)控可以讓你了解系統(tǒng)的歷史性能信息崭倘、以歷為鑒翼岁、可以知興替嘛、早做優(yōu)化司光。

報(bào)警和優(yōu)化是衣寬帶水的好兄弟琅坡、相鋪相成、互相促進(jìn)飘庄。

八脑蠕、自動(dòng)卻換需謹(jǐn)慎

比如:Oracle 存儲(chǔ)級(jí)的HA方案:Data Guard,主庫(kù)提交了一筆訂單跪削,結(jié)果發(fā)生了 switchover谴仙,這筆訂單沒有同步到備庫(kù),那么賣家損失了一個(gè)銷售單碾盐、對(duì)客戶晃跺、對(duì)公司都是損失。

九毫玖、仔細(xì)一點(diǎn)掀虎,偏執(zhí)一點(diǎn),檢查付枫、檢查烹玉,再檢查

有這么一個(gè)人:

他在做一個(gè)變更的時(shí)候,會(huì)先提前一兩周發(fā)送郵件并電話手機(jī)通知相關(guān)人阐滩;

在測(cè)試機(jī)上寫好腳本二打,召集大家 review 操作步驟和腳本;

測(cè)試完成以后拷貝到生產(chǎn)環(huán)境掂榔;

錄對(duì)應(yīng)機(jī)器继效,“打開,關(guān)閉装获,打開瑞信,關(guān)閉”該腳本;

跟相關(guān)人員再次確認(rèn)執(zhí)行的操作穴豫、順序凡简、時(shí)間點(diǎn),可能的影響和回滾是否都準(zhǔn)備好了精肃;

行前還要退出這個(gè)機(jī)器潘鲫,然后再登錄進(jìn)去,“打開肋杖,關(guān)閉”腳本溉仑;

后才在后臺(tái)運(yùn)行腳本,同時(shí)在另外一個(gè)窗口登錄著状植,隨時(shí)ps和查看結(jié)果輸出浊竟。

期間姿勢(shì)端正怨喘,呼吸急促而均勻,眼神凝重振定。操作的人不覺得累必怜,倒是一邊學(xué)習(xí)的人很累。

十后频、簡(jiǎn)單即是美

這有點(diǎn)禪的意境梳庆、和 GNU/Linux 的思想不謀而合。

我們總是面臨各種誘惑:新的系統(tǒng)架構(gòu)卑惜,新的更智能的命令和工具膏执,最新的硬件平臺(tái),功能更全的HA軟件…你可以在線下安裝露久,測(cè)試更米,怎么做都行。但是如果想要在生產(chǎn)環(huán)境下使用起來(lái)毫痕、請(qǐng)三思U髀汀!

能夠使用系統(tǒng)內(nèi)置命令的話消请,就不用考慮其他要專門下載安裝的軟件了

腳本本身就能完成的功能栏笆,就沒有必要專門找一個(gè)功能豐富的軟件來(lái)做

Linux本身自帶的字符界面比那些復(fù)雜的圖形界面要簡(jiǎn)潔方便……

最后祝大家運(yùn)維工作一帆風(fēng)順,多福多壽臊泰,不出故障蛉加。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市因宇,隨后出現(xiàn)的幾起案子七婴,更是在濱河造成了極大的恐慌祟偷,老刑警劉巖察滑,帶你破解...
    沈念sama閱讀 212,222評(píng)論 6 493
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異修肠,居然都是意外死亡贺辰,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,455評(píng)論 3 385
  • 文/潘曉璐 我一進(jìn)店門嵌施,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)饲化,“玉大人,你說(shuō)我怎么就攤上這事吗伤〕钥浚” “怎么了?”我有些...
    開封第一講書人閱讀 157,720評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵足淆,是天一觀的道長(zhǎng)巢块。 經(jīng)常有香客問(wèn)我礁阁,道長(zhǎng),這世上最難降的妖魔是什么族奢? 我笑而不...
    開封第一講書人閱讀 56,568評(píng)論 1 284
  • 正文 為了忘掉前任姥闭,我火速辦了婚禮,結(jié)果婚禮上越走,老公的妹妹穿的比我還像新娘棚品。我一直安慰自己,他們只是感情好廊敌,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,696評(píng)論 6 386
  • 文/花漫 我一把揭開白布铜跑。 她就那樣靜靜地躺著,像睡著了一般庭敦。 火紅的嫁衣襯著肌膚如雪疼进。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,879評(píng)論 1 290
  • 那天秧廉,我揣著相機(jī)與錄音龄捡,去河邊找鬼。 笑死唉堪,一個(gè)胖子當(dāng)著我的面吹牛据德,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播蔽豺,決...
    沈念sama閱讀 39,028評(píng)論 3 409
  • 文/蒼蘭香墨 我猛地睜開眼区丑,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了修陡?” 一聲冷哼從身側(cè)響起沧侥,我...
    開封第一講書人閱讀 37,773評(píng)論 0 268
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎魄鸦,沒想到半個(gè)月后宴杀,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,220評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡拾因,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,550評(píng)論 2 327
  • 正文 我和宋清朗相戀三年旺罢,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片绢记。...
    茶點(diǎn)故事閱讀 38,697評(píng)論 1 341
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡扁达,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出蠢熄,到底是詐尸還是另有隱情跪解,我是刑警寧澤,帶...
    沈念sama閱讀 34,360評(píng)論 4 332
  • 正文 年R本政府宣布签孔,位于F島的核電站叉讥,受9級(jí)特大地震影響砾跃,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜节吮,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 40,002評(píng)論 3 315
  • 文/蒙蒙 一抽高、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧透绩,春花似錦翘骂、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,782評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至狸臣,卻和暖如春莹桅,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背烛亦。 一陣腳步聲響...
    開封第一講書人閱讀 32,010評(píng)論 1 266
  • 我被黑心中介騙來(lái)泰國(guó)打工诈泼, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人煤禽。 一個(gè)月前我還...
    沈念sama閱讀 46,433評(píng)論 2 360
  • 正文 我出身青樓铐达,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親檬果。 傳聞我的和親對(duì)象是個(gè)殘疾皇子瓮孙,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,587評(píng)論 2 350

推薦閱讀更多精彩內(nèi)容