第一章 DevOps和持續(xù)交付簡(jiǎn)介
- DevOps: 包含技術(shù)與非技術(shù)兩方面喂急,還包括動(dòng)手能力和軟技能矩距。
DevOps = Developments + Opertions
基于軟件工程的復(fù)雜性,在軟件開(kāi)發(fā)周期中瘩绒,通常是有進(jìn)行分工的(編碼列牺、測(cè)試困肩、維護(hù)由不同人划纽,不同組進(jìn)行),然而這種分工(通常還伴隨著收入差)造成了信息流通的不暢锌畸,信息不對(duì)稱(chēng)也就產(chǎn)生了勇劣。這種不對(duì)稱(chēng)必然造成原先的協(xié)作關(guān)系轉(zhuǎn)換為對(duì)立關(guān)系,造成開(kāi)發(fā)效率下降潭枣、軟件質(zhì)量下降比默,這顯然背離軟件開(kāi)發(fā)的核心目標(biāo)(搶占市場(chǎng)、增加商業(yè)價(jià)值)盆犁。DevOps就是針對(duì)上述癥狀的一劑藥方命咐。 - 敏捷軟件開(kāi)發(fā)宣言
a. 個(gè)體和互動(dòng)高于流程和工具(DevOps核心)
b. 工作的軟件高于詳盡的文檔
c. 客戶(hù)合作高于合同談判
d. 相應(yīng)變化高于遵循計(jì)劃 - DevOps核心目標(biāo)
a. 強(qiáng)調(diào)個(gè)體和互動(dòng)
b. 自動(dòng)化和持續(xù)交付 - 敏捷不能流于形式 => Sprint回顧會(huì)議機(jī)制。
第二章 洞察全局(DevOps全流程概覽)
- DevOps流程和持續(xù)交付
編碼->版本控制->測(cè)試->運(yùn)維
a. 開(kāi)發(fā)預(yù)打包環(huán)境谐岁,包含JDK醋奠,IDE等(目標(biāo)開(kāi)箱即用)
b. 版本控制(軟件開(kāi)發(fā)的中心),Git
c. 構(gòu)建服務(wù)器(持續(xù)集成)翰铡,Jenkins
d. 工件庫(kù)(存儲(chǔ)二進(jìn)制)钝域,Nexus
e. 包管理器(工具版本管理)
f. 測(cè)試(單元測(cè)試讽坏,集成測(cè)試锭魔,接受測(cè)試)
g. 預(yù)發(fā)布(藍(lán)綠發(fā)布) - 發(fā)布管理
大量都是自動(dòng)化工作,但是不可避免還是需要人工介入路呜。
可通過(guò)Scrum迷捧,看板等支付流水線 - 完整的例子
第三章 DevOps如何影響架構(gòu)
- 軟件架構(gòu)介紹
著眼于軟件架構(gòu)兩個(gè)非功能需求:
a. 需要頻繁交付小變更(小步快跑)
b. 需要對(duì)質(zhì)量有大信心(質(zhì)量保證) - 單塊系統(tǒng)場(chǎng)景
整塊部署,版本號(hào)管理 - 關(guān)注點(diǎn)分離
拆分系統(tǒng)最重要的原則 - 模塊化:低內(nèi)聚胀葱,高耦合的系統(tǒng)漠秋,需要改造
- 軟件三層結(jié)構(gòu):表示層、業(yè)務(wù)層抵屿、數(shù)據(jù)層庆锦。
- 數(shù)據(jù)庫(kù)遷移(自動(dòng)化,Liquibase)
- 微服務(wù)
a.康威定律:設(shè)計(jì)軟件的組織結(jié)構(gòu)轧葛,等價(jià)于軟件的組織結(jié)構(gòu)搂抒。DevOps的目標(biāo)是建立不同角色共同協(xié)作,跨職能團(tuán)隊(duì)尿扯。因此微服務(wù)會(huì)促進(jìn)構(gòu)建內(nèi)聚高求晶,功能單一的團(tuán)隊(duì)。而這正好契合了DevOps的目標(biāo)衷笋,所以DevOps就和微服務(wù)緊密結(jié)合了芳杏。
b.服務(wù)接口向上兼容:Tolerant Reader模式,忽略無(wú)法識(shí)別的數(shù)據(jù)。
c.微服務(wù)和數(shù)據(jù)庫(kù):系統(tǒng)間隔離明顯爵赵,部署就會(huì)簡(jiǎn)單吝秕,而隔離月不明顯(揉合),數(shù)據(jù)模型就會(huì)簡(jiǎn)單空幻。所以郭膛,在微服務(wù)中,數(shù)據(jù)庫(kù)的劃分通常沒(méi)有一個(gè)最優(yōu)方案氛悬。 - DevOps架構(gòu)和彈性
a. 復(fù)雜性:為了盡快部署则剃,也要保證可靠,必然增加了大量的集成點(diǎn)如捅,系統(tǒng)也更為復(fù)雜了棍现,從概率上來(lái)說(shuō),失敗的可能性就更高了镜遣。
b. 工具依賴(lài)性:為了解決上述矛盾己肮,必然引入自動(dòng)化測(cè)試,自動(dòng)化部署悲关,自動(dòng)化監(jiān)控等一系列工具谎僻,從而對(duì)工具的依賴(lài)也大大加強(qiáng)了。
第四章 一切皆代碼
- 源代碼控制的必要性
a. 源代碼管理歷史: tar包寓辱、集中式艘绍、并發(fā)集中式、去中心分布式
b. 角色與代碼:開(kāi)發(fā)(無(wú)需多言秫筏,飯碗)诱鞠、運(yùn)維(腳本生成、網(wǎng)絡(luò)拓?fù)洌┱饩础①|(zhì)量保證(自動(dòng)化測(cè)試腳本) - 源代碼管理選型
目前大勢(shì)就是Git:
a. 遷移:大部分工作用在保持歷史記錄的完整性航夺,而大部分企業(yè)并不關(guān)心這個(gè)。
b. 分支策略:不是自己獨(dú)立工作崔涂、團(tuán)隊(duì)協(xié)作才有意義阳掐;Git Flow
c. 分支問(wèn)題域:新功能,問(wèn)題修復(fù)冷蚂,版本控制缭保。如果針對(duì)缺陷專(zhuān)門(mén)定制修復(fù)分支,對(duì)其單獨(dú)修復(fù)帝雇、部署就有可能引起合并沖突涮俄,而如果在現(xiàn)有新功能上增加功能開(kāi)關(guān),又會(huì)增加開(kāi)發(fā)工作量尸闸,并引入額外的管理工作彻亲。
d. 工作版本號(hào)命名:不推薦用快照版本命名方式
e. 客戶(hù)端選擇:要么自建Git服務(wù)器孕锄,要么使用托管服務(wù)器
f. 大的二進(jìn)制文件:mp4等視頻->Git Annex
g. 不同的GIt服務(wù)器實(shí)現(xiàn):Gerrit、GitLab
第五章 構(gòu)建代碼
- 構(gòu)建代碼:
a. 過(guò)程:編譯苞尝、靜態(tài)分析畸肆、單元測(cè)試、生成可部署產(chǎn)品
b. 數(shù)量眾多:每種語(yǔ)言都有好幾種構(gòu)建工具
c. 目標(biāo): 一個(gè)開(kāi)發(fā)者簽出代碼宙址,應(yīng)該能夠在他本地開(kāi)發(fā)機(jī)順利地構(gòu)建轴脐。 - Jenkins介紹:
- 管理構(gòu)建依賴(lài): Maven、RPM抡砂、Deb
- 最終工件:
對(duì)于Java來(lái)說(shuō)大咱,就是生成可以部署的EAR,而對(duì)于其它語(yǔ)言注益,可能是二進(jìn)制文件碴巾,而可能是特定的格式文檔(shell、HTML丑搔、js) - 用FPM取巧:
命令行構(gòu)建源代碼RPM包 - 持續(xù)集成:
用來(lái)測(cè)試把多個(gè)系統(tǒng)的變更統(tǒng)一在一個(gè)環(huán)境厦瓢,測(cè)試其能否正常交互工作。 - 持續(xù)交付
- Jenkins插件啤月,Jenkins從機(jī)
- 質(zhì)量保證:Sonar
(好雜亂的一章煮仇,沒(méi)了解Jenkis根本跟不上)
第六章 測(cè)試代碼
- 人工測(cè)試
a. 人工測(cè)試依然是軟件開(kāi)發(fā)中一個(gè)重要部分,特別是接受測(cè)試谎仲,必須有測(cè)試人員介入浙垫。
b. 為了測(cè)試人員開(kāi)心:要求管理測(cè)試數(shù)據(jù)(DB可恢復(fù)),并且能盡快部署 - 自動(dòng)化測(cè)試優(yōu)缺點(diǎn):
a. 單元測(cè)試成本低强重、價(jià)值低绞呈、可能認(rèn)為人工測(cè)試的實(shí)踐動(dòng)作能暴露更多的BUG(測(cè)試人員抵觸)
b. 創(chuàng)建自動(dòng)化集成測(cè)試支架(Test cradle)較困難(技術(shù)能力)
c. 程序隨時(shí)間變化功能變化、測(cè)試必須同步維護(hù)(成本高间景,開(kāi)發(fā)人員抵觸);一個(gè)敏捷團(tuán)隊(duì)對(duì)自己服務(wù)的成功艺智、維護(hù)倘要、中斷負(fù)有全部責(zé)任。
d. 編寫(xiě)可靠工作的健壯測(cè)試很難(人員要求高)
e. 寫(xiě)自動(dòng)化測(cè)試難(本身技術(shù)復(fù)雜)
中國(guó)公司不重視測(cè)試時(shí)有原因的十拣,這些要素疊加的結(jié)果就是封拧,如果要求大量自動(dòng)化測(cè)試,比如增加開(kāi)發(fā)人員工作量夭问,降低單位時(shí)間產(chǎn)出泽西,而中國(guó)人力成本便宜,為什么不用堆人的人工測(cè)試呢缰趋? - 單元測(cè)試:
a. 區(qū)分單元測(cè)試捧杉、功能測(cè)試陕见。如果測(cè)試需要進(jìn)行復(fù)雜設(shè)置和運(yùn)行時(shí)依賴(lài),那么它就是功能測(cè)試味抖。
b. Junit概念:Test Runner评甜、Test Case、Test Fixtures仔涩、Test Suites忍坷、Test Execution、 Test Result Formatter熔脂、Assertions
c. Mock: Mockito
d. 測(cè)試覆蓋率: Cobertura佩研、Clover - 自動(dòng)化集成測(cè)試:
較少M(fèi)ock的測(cè)試,盡量模擬真實(shí)的生產(chǎn)環(huán)境霞揉。
a. 使用Docker模擬
b. Arquilian
c. 性能測(cè)試 Jmeter - 自動(dòng)化接受測(cè)試: BDD韧骗,先寫(xiě)一個(gè)Spec,再進(jìn)行編碼(我的天零聚,這么搞袍暴,把人折騰的)
- 自動(dòng)化UI測(cè)試: Selenium
- 測(cè)試驅(qū)動(dòng)開(kāi)發(fā): TDD
- 一個(gè)實(shí)例
第七章 部署代碼
重點(diǎn)關(guān)注二進(jìn)制數(shù)據(jù)包以及配置管理系統(tǒng)安裝它們的配置。
- 為什么有那么多部署系統(tǒng):場(chǎng)景復(fù)雜隶症,一個(gè)企業(yè)級(jí)應(yīng)用政模,比如有多套不同類(lèi)別的服務(wù)需要管理:
Web服務(wù)器、應(yīng)用服務(wù)器蚂会、數(shù)據(jù)庫(kù)淋样、不同操作系統(tǒng)。 - 配置基礎(chǔ)OS:Coller胁住、docker趁猴。
- 描述集群:
- 系統(tǒng)交付包:推薦基于文件的配置管理系統(tǒng)(例如spring cloud config)
- 虛擬化棧:
VMware、KVM彪见、Xen儡司、VirtualBox - 一些部署工具:
Puppet、Ansible余指、PalletOps捕犬、Chef、SaltStack - 云計(jì)算:Aws酵镜、Azure(國(guó)內(nèi)阿里云碉碉,騰訊云)
第八章 監(jiān)控代碼(監(jiān)控系統(tǒng))
- Nagios:始于1994年,用于監(jiān)視主機(jī)狀態(tài)淮韭。
- Munin:統(tǒng)計(jì)數(shù)據(jù)
- Ganglia:圖片看似不錯(cuò)垢粮,不過(guò)2016年以后無(wú)新版本
- Graphit:實(shí)時(shí)繪圖(Jhipster有用它)
a. Graphit Web:儀表盤(pán)界面
b. Garbon:收集指標(biāo)的后臺(tái)進(jìn)程
c. Whisper:時(shí)間序列的數(shù)據(jù)庫(kù)類(lèi)庫(kù) - 日志分析系統(tǒng):log4j -> ELK
第九章 問(wèn)題跟蹤器
- 工作流:
問(wèn)題的基本屬性:描述、報(bào)告者靠粪、指派蜡吧、狀態(tài)
問(wèn)題的額外屬性:到期日毫蚓、里程碑、附件斩跌、工作量估計(jì)绍些、額外狀態(tài) - 問(wèn)題跟蹤器選型考慮因素:
- 幾個(gè)問(wèn)題跟蹤系統(tǒng):Bugzilla、Trac耀鸦、Redmine柬批、GitLab、Jira
第十章 物聯(lián)網(wǎng)和DevOps
這章基本是作者的私貨袖订,著重介紹物聯(lián)網(wǎng)氮帐。
總結(jié)一下:
大致把DevOps涉及的部分介紹到了,對(duì)每個(gè)需要關(guān)注的地方做了一些分析洛姑,可能用到的工具也大致做了介紹上沐。可是感覺(jué)作者思維跳躍太大楞艾,章節(jié)內(nèi)部小知識(shí)點(diǎn)連貫性很差参咙,前言不搭后語(yǔ)的,很難跟上節(jié)奏硫眯,讀起來(lái)很累蕴侧。總的來(lái)說(shuō)两入,有一點(diǎn)收獲吧