基于gitlab、terraform芭商、aws搭建devops流水線

如果有說的不對的地方歡迎指正派草。

1.搭建gitlab-runner(以新版本為例-用authentication token)

初始化環(huán)境

如果你申請的ec2實(shí)例是aws linux instance,配置國內(nèi)的景象會(huì)有奇怪問題蓉坎。所以不必配置澳眷。

yum update后分別安裝docker openjdk python3 aws-cli

sudo yum install docker

sudo yum list | grep java

sudo yum install -y java-1.8.0-openjdk

AWS-cli2安裝教程


安裝gradle in linux:

wget ?https://services.gradle.org/distributions/gradle-8.3-bin.zip

unzip gradle-8.3-bin.zip? -d ?/path/to/extracted/folder

如果是在docker容器中胡嘿,需要先安裝unzip命令

apt-get update?

apt-get install -y unzip

安裝gitlab-runner

https://docs.gitlab.com/runner/install/osx.html

管理gitlab-runner服務(wù)的命令需要以sudo身份運(yùn)行蛉艾,比如:

gitlab-runner install/start/stop/status

注冊runner時(shí)要以普通user身份:gitlab-runner register.

注冊完成后要運(yùn)行gitlab-runner run, 否則gitlab控制臺(tái)顯示感嘆號(hào)。

刪除掉所有已注冊的runner命令:sudo gitlab-runner unregister --all-runners

2.用terraform來創(chuàng)建一個(gè)aws ecs cluster服務(wù)網(wǎng)絡(luò)衷敌,提供hello world請求處理勿侯。

參考文章:Create and manage an AWS ECS cluster with Terraform - Architect.io2

需要?jiǎng)?chuàng)建以下tf文件:

詳細(xì)內(nèi)容見我的gitlab:?gitlab-zhaoheting


下面對main.tf的內(nèi)容做詳細(xì)解釋。首先我先畫了個(gè)網(wǎng)絡(luò)架構(gòu)圖缴罗。


1->6 是Inbound請求流程助琐;7->是Outbound請求過程

1.對LB的域名發(fā)起請求。我們先對LB的域名地址做一個(gè)查詢面氓,發(fā)現(xiàn)當(dāng)前其public IP如圖兵钮。AWS官網(wǎng)的文檔說,不要直接使用LB的public IP舌界,因?yàn)闀?huì)隨著時(shí)間變化掘譬。可以在route53申請一個(gè)你喜歡的域名指向LB的域名呻拌。從我本機(jī)的域名解析截圖來看葱轩,第一次解析了1個(gè)IP,第二次解析了兩個(gè)IP。我猜測Lb背后也是一個(gè)集群靴拱,會(huì)隨訪問流量動(dòng)態(tài)變化垃喊。

2.DNS解析出來的IP交給main route table

3.顯然對該IP的請求會(huì)轉(zhuǎn)交給Internet gateway。接下來由其來做public IP到private IP的轉(zhuǎn)換袜炕。


4.private IP(10.32.****)經(jīng)過路由表查詢規(guī)則

5. 請求可直接交給load balance.

5.LB將請求轉(zhuǎn)發(fā)到private subnet的ecs cluster本谜。(到此位置為處理來自互聯(lián)網(wǎng)請求的全部過程,解下來介紹從ecs內(nèi)發(fā)起對internet資源的請求解析過程

6.請求的IP交給private route table。

7.到RT種查詢r(jià)ule

8.如果是訪問10.32**偎窘,則直接訪問耕突。

9.其他的交給nat gateway。

private subnet內(nèi)的服務(wù)如果需要訪問internet 需要借助nat IGW评架。所以創(chuàng)建Nat IGW并分配elastic IP眷茁。

從圖中可以看到NGW具有public IP和private IP。

EIP detail

10.已經(jīng)申請了EIP的nat gateway將請求轉(zhuǎn)發(fā)給IGW

IGW提供以下兩項(xiàng)功能:Subnet中的流量通過IGW訪問Internet纵诞;public IP到private IP的地址轉(zhuǎn)換上祈。

3.編寫gitlab-ci.yml, 在pipeline中通過terraform控制aws上的資源

gitlab的pipeline中需要到rf的文件路徑下,運(yùn)行以下命令浙芙。注意不能直接terraform apply登刺。因?yàn)樵撁钚枰脩糨斎難es來交互,會(huì)導(dǎo)致pipeline失敗嗡呼。除此之外也建議用plan命令預(yù)覽資源創(chuàng)建情況纸俭。

- terraform init

- terraform validate

- terraform plan -out="tfplan"

- terraform apply "tfplan"





坑:

1.執(zhí)行terraform HCL 來創(chuàng)建ECS時(shí),從ECR種拉取自己賬號(hào)下的image會(huì)報(bào)錯(cuò):

“Fargate requires task definition to have execution role ARN to support ECR images.”

解決方案:

stack overflow:?terraform-fargate-task-definition-requesting-execution-role

AWS official doc:?task_execution_IAM_role

2.每次運(yùn)行g(shù)radle publish時(shí)南窗,通過build.gradle內(nèi)的groovy腳本獲取token揍很,結(jié)果在push 包到code artifact時(shí)經(jīng)常無理由的報(bào)401⊥蛏耍可以修改獲取token的方法窒悔,在pipeline中先將token在runner主機(jī)上設(shè)置成環(huán)境變量,不要每次publish的時(shí)候通過groovy獲取新的token敌买,能解決掉這個(gè)問題简珠。

3. install runner時(shí),以root身份安裝gitlab-runner服務(wù)"sudo gitlab-runner install --user=root",否則如果pipeline中有docker命令會(huì)沒有執(zhí)行權(quán)限(docker好像必須以管理員身份安裝)

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末虹钮,一起剝皮案震驚了整個(gè)濱河市聋庵,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌芙粱,老刑警劉巖祭玉,帶你破解...
    沈念sama閱讀 217,185評論 6 503
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異宅倒,居然都是意外死亡攘宙,警方通過查閱死者的電腦和手機(jī)屯耸,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,652評論 3 393
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來蹭劈,“玉大人疗绣,你說我怎么就攤上這事∑倘停” “怎么了多矮?”我有些...
    開封第一講書人閱讀 163,524評論 0 353
  • 文/不壞的土叔 我叫張陵,是天一觀的道長哈打。 經(jīng)常有香客問我塔逃,道長,這世上最難降的妖魔是什么料仗? 我笑而不...
    開封第一講書人閱讀 58,339評論 1 293
  • 正文 為了忘掉前任湾盗,我火速辦了婚禮,結(jié)果婚禮上立轧,老公的妹妹穿的比我還像新娘格粪。我一直安慰自己,他們只是感情好氛改,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,387評論 6 391
  • 文/花漫 我一把揭開白布帐萎。 她就那樣靜靜地躺著,像睡著了一般胜卤。 火紅的嫁衣襯著肌膚如雪疆导。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,287評論 1 301
  • 那天葛躏,我揣著相機(jī)與錄音澈段,去河邊找鬼。 笑死紫新,一個(gè)胖子當(dāng)著我的面吹牛均蜜,可吹牛的內(nèi)容都是我干的李剖。 我是一名探鬼主播芒率,決...
    沈念sama閱讀 40,130評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼篙顺!你這毒婦竟也來了偶芍?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 38,985評論 0 275
  • 序言:老撾萬榮一對情侶失蹤德玫,失蹤者是張志新(化名)和其女友劉穎匪蟀,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體宰僧,經(jīng)...
    沈念sama閱讀 45,420評論 1 313
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡材彪,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,617評論 3 334
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片段化。...
    茶點(diǎn)故事閱讀 39,779評論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡嘁捷,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出显熏,到底是詐尸還是另有隱情雄嚣,我是刑警寧澤,帶...
    沈念sama閱讀 35,477評論 5 345
  • 正文 年R本政府宣布喘蟆,位于F島的核電站缓升,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏蕴轨。R本人自食惡果不足惜港谊,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,088評論 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望橙弱。 院中可真熱鬧封锉,春花似錦、人聲如沸膘螟。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,716評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽荆残。三九已至奴艾,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間内斯,已是汗流浹背蕴潦。 一陣腳步聲響...
    開封第一講書人閱讀 32,857評論 1 269
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留俘闯,地道東北人潭苞。 一個(gè)月前我還...
    沈念sama閱讀 47,876評論 2 370
  • 正文 我出身青樓,卻偏偏與公主長得像真朗,于是被迫代替她去往敵國和親此疹。 傳聞我的和親對象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,700評論 2 354

推薦閱讀更多精彩內(nèi)容