2016年11月份的技術(shù)雷達(dá)中給出了一個(gè)簡(jiǎn)明的定義：流水線即代碼 (Pipeline as Code) 通過(guò)編碼而非配置持續(xù)集成/持續(xù)交付 (CI/CD) 運(yùn)行工具的方式定義部署流水線碗暗。
其實(shí)早在2015年11月份的技術(shù)雷達(dá)當(dāng)中就已經(jīng)有了類似的概念：
The way to avoid programming in your CI/CD tool is to extract the complexities of the build process from the guts of the tool and into a simple script which can be invoked by a single command. This script can then be executed on any developer workstation and therefore eliminates the privileged/singular status of the build environment
大意是將復(fù)雜的構(gòu)建流程納入一個(gè)簡(jiǎn)單的腳本文件膀藐，然后用一條命令調(diào)用。這樣，任意的開(kāi)發(fā)者都能在自己的工作區(qū)中執(zhí)行腳本重建一套一模一樣的構(gòu)建環(huán)境新症，從而消除 CI/CD 環(huán)境由于散亂配置腐化而成的特異性齐帚。這么做的原因很好理解速客，使用 CI/CD 工具是為了暴露產(chǎn)品代碼中的問(wèn)題的盈滴，如果它們自身已經(jīng)復(fù)雜到不穩(wěn)定的地步，我們還使用它就是自找麻煩撒汉。
從某種程度上看沟优，實(shí)施流水線即代碼是不證自明的。在 CI/CD 的時(shí)間過(guò)程中睬辐，凡是可以被編碼的東西都已經(jīng)被代碼化了挠阁，比如：構(gòu)建、測(cè)試溯饵、數(shù)據(jù)庫(kù)遷移侵俗、部署和基礎(chǔ)設(shè)施/環(huán)境配置 (Infrastruture as Code) 等。說(shuō)得爛俗點(diǎn)丰刊，流水線已經(jīng)是 CI/CD 實(shí)踐過(guò)程中的“最后一公里”隘谣，讓流水線變成軟件開(kāi)發(fā)中的“一等公民”（即代碼）是大勢(shì)所趨、民心所向啄巧。不過(guò)寻歧，這種論斷畢竟欠缺說(shuō)服力，我們接著從實(shí)踐的痛點(diǎn)出發(fā)總結(jié)當(dāng)前流水線遇到的問(wèn)題棵帽。
實(shí)踐中的痛點(diǎn)
我給客戶搭建和配置過(guò)不少 CI/CD 流水線（被同事戲謔地稱為“CI/CD搭建獸”），最大的痛苦莫過(guò)于每次都得從頭來(lái)過(guò)渣玲，即便大部分情況下所用的工具和配置都大同小異逗概。其次是手工操作產(chǎn)生的配置漂移 (configuration drift) 。以 Jenkins 為例忘衍，先不談 1.0 版本不支持流水線這一概念的問(wèn)題逾苫，我們?yōu)榱私鉀Q遇到的構(gòu)建卿城、測(cè)試和部署等問(wèn)題，一般會(huì)在多個(gè)文本框中粘貼大量 shell/batch 腳本铅搓；甚至?xí)ㄟ^(guò)這些文本框安裝各種插件或者依賴包瑟押、設(shè)置環(huán)境變量等等。久而久之（實(shí)際上不需要多久）星掰，這臺(tái) Jenkins 服務(wù)器就變得不可替代（特異化）了多望，因?yàn)闆](méi)人清楚到底對(duì)它做了哪些更改以及這些更改對(duì)承載它的系統(tǒng)產(chǎn)生哪些影響，這時(shí) Jenkins 服務(wù)器儼然腐化成了老馬所說(shuō)的雪花服務(wù)器 (snowflake server)氢烘。雪花服務(wù)器有兩點(diǎn)顯著的特征：
- 特別難以復(fù)現(xiàn)
- 幾乎無(wú)法理解
第一點(diǎn)是由于以往所做的更改并沒(méi)有被記錄下來(lái)怀偷，所以做過(guò)的操作都是七零八落的，沒(méi)有辦法復(fù)現(xiàn)同樣的操作播玖，也無(wú)法復(fù)制一個(gè)同樣的系統(tǒng)椎工。
第二點(diǎn)則是由于絕大部分情況下散亂的配置是沒(méi)有文檔描述的，哪部分是重要的已經(jīng)無(wú)從知曉蜀踏，改動(dòng)的風(fēng)險(xiǎn)很大维蒙。
這些問(wèn)題會(huì)在流水線的演化過(guò)程中惡化得越來(lái)越嚴(yán)重。一般來(lái)講果覆，除非不再使用颅痊，否則流水線不會(huì)保持一成不變。具體實(shí)施過(guò)程中随静，考慮到項(xiàng)目八千，尤其是遺留項(xiàng)目當(dāng)前的特點(diǎn)和團(tuán)隊(duì)成員的“產(chǎn)能”，我們會(huì)先將構(gòu)建和部署自動(dòng)化燎猛；部署節(jié)奏穩(wěn)定后恋捆，開(kāi)始將單元測(cè)試和代碼分析自動(dòng)化；接著可以指導(dǎo)測(cè)試人員將驗(yàn)收測(cè)試自動(dòng)化重绷；然后嘗試將發(fā)布自動(dòng)化沸停。在這之后，就要開(kāi)始持續(xù)優(yōu)化流水線昭卓，包括 CI 的速度和穩(wěn)定性等愤钾。換句話說(shuō)，流水線的演化其實(shí)是和項(xiàng)目的當(dāng)前進(jìn)展密切相關(guān)的候醒，保證這樣的對(duì)應(yīng)關(guān)系有時(shí)是有必要的能颁，比如：在版本控制下，多發(fā)布分支所需流水線和主干分支會(huì)存在不同倒淫。發(fā)布分支是主干分支某個(gè)時(shí)刻分出去的伙菊，它需要在那時(shí)的流水線上才能正常工作。由于前面所說(shuō)雪花服務(wù)器的特征，重建這樣一條流水線并不是一件容易的事情镜硕。
如何解決
其實(shí)运翼，流水線即代碼本身已經(jīng)回答這個(gè)問(wèn)題了。當(dāng)前實(shí)現(xiàn)了這一概念的工具大體遵循了兩種模式：
- 版本控制
- DSL（領(lǐng)域特定語(yǔ)言）
對(duì)于特別難以復(fù)現(xiàn)兴枯、沒(méi)有保證對(duì)應(yīng)關(guān)系的痛點(diǎn)血淌，我們就把流水線寫成代碼放到版本控制工具中管理起來(lái)。這樣一來(lái)财剖，每一次更改都能被記錄下來(lái)悠夯，而且它會(huì)始終和此時(shí)的項(xiàng)目進(jìn)展保持同步。
對(duì)于幾乎無(wú)法理解峰伙、沒(méi)有文檔支持的痛點(diǎn)疗疟，我們就選用領(lǐng)域特定語(yǔ)言描述整條流水線。舉個(gè) Jenkins 2.0 例子瞳氓，它允許我們?cè)陧?xiàng)目的特定目錄下放置一個(gè) Jenkinsfile 的文件策彤，內(nèi)容大致如下：
node('master') {
stage('Checkout') {…}
stage('Code Analysis') {…}
stage('Unit Test') {…}
stage('Packing') {…}
stage('Archive') {…}
stage('DEV') {…}
}
stage('SIT') {
timeout(time:4, unit:'HOURS') {
input "Deploy to SIT?"
}
node('master') {…}
}
stage('Acceptance Test') {
node('slave') {…}
}
Jenkins 2.0 使用Groovy實(shí)現(xiàn)了一套描述流水線的DSL，即便不了解Groovy語(yǔ)言匣摘，只要對(duì)流水線稍微熟悉店诗，就能按照例子和文檔編寫出符合要求的代碼。
類似的工具還有Concourse.ci音榜、λCD (LambdaCD) 等庞瘸。
Concourse.ci 使用了 yaml 實(shí)現(xiàn)了DSL，獨(dú)立抽象出Resource（外部依賴赠叼，如：git repo）擦囊、Job（函數(shù)， get 和 put Resource ）和 Task（純函數(shù)嘴办，必須明確定義 Input 和 Output ）模型瞬场。
而 λCD 則使用 Clojure 語(yǔ)言實(shí)現(xiàn)了 DSL，抽象出 Pipeline 和 Step 模型涧郊，使用了Lisp特有的宏 (macro) 和普通函數(shù)贯被，編寫起來(lái)簡(jiǎn)單明了。
(def pipeline-def
`(
(either
manualtrigger/wait-for-manual-trigger
wait-for-repo)
(with-workspace
clone
(in-parallel
run-some-tests
run-smokeing-tests)
run-package
deploy)))
上述的pipeline-def就是這條流水線的定義妆艘，極為優(yōu)雅得是彤灶，它的代碼和UI事實(shí)上構(gòu)成了一一映射的關(guān)系，簡(jiǎn)單到極致批旺。
值得一提的是幌陕，λCD 有別于其它同類型的工具，它本身就是一份用 Clojure 寫就的微服務(wù)汽煮。換句話說(shuō)搏熄，其它的工具可能需要借助基礎(chǔ)設(shè)施即代碼完成自身的安裝茅诱，但λCD不用，它完全可以采用其它微服務(wù)的部署方式搬卒，比如用 λCD 部署它自己，類似于編譯器的自舉 (bootstraping)翎卓。這個(gè)時(shí)候契邀，我們就需要兩套 λCD 服務(wù)，一套用于部署自身失暴，另一套部署開(kāi)發(fā)中的工程坯门。
小結(jié)
流水線即代碼是個(gè)新概念，也就意味著我們還需要花時(shí)間去探索與之相關(guān)的實(shí)踐逗扒，比如古戴，調(diào)試和測(cè)試（既然是代碼就需要測(cè)試）。一旦有了這些實(shí)踐矩肩，我們就可以把流水線本身作為產(chǎn)品放到流水線上運(yùn)作起來(lái)现恼，那時(shí)將會(huì)看到一種很好玩的現(xiàn)象——舊的流水線會(huì)構(gòu)建并部署新流水線，完成流水線的自舉 (pipeline bootstrap) 黍檩。此外叉袍，當(dāng)流水線成為代碼，它在最終的交付物中必然占據(jù)一席之地刽酱，其潛在的價(jià)值還等待我們挖掘喳逛，至少?gòu)木娴慕嵌龋魉€能做的事情還有很多棵里。
