如何優(yōu)化CI中不斷優(yōu)化docker build速度

當(dāng)我們在完全使用gitlab runner敞贡,或者其他工具,借助完整的Dockerfile完成項目鏡像制作中時摄职,大大提高了我們的運維發(fā)布效率誊役,但是越來越長的docker build時間也成為快速發(fā)布上線的障礙了获列,我們就來總結(jié)一下有哪些優(yōu)化docker build的方法。

1. 充分利用docker build鏡像分層緩存策略

  • 這也是我們最常用的第一種加速構(gòu)建鏡像的方式蛔垢,以nodejs項目為例:
FROM node:12.18-alpine
LABEL maintainer="xxx<xx@xxx.com>"

# 安裝常用工具鏈
RUN \
  sed -i 's/dl-cdn.alpinelinux.org/mirrors.aliyun.com/g' /etc/apk/repositories && \
  apk add --no-cache \
    bash \
    vim \
    make \
    tzdata \
    git python make gcc g++ && \
    cp -r -f /usr/share/zoneinfo/Hongkong /etc/localtime

ENV NODE_ENV=production

WORKDIR /data/
# 先拷貝文件變化需要安裝依賴的文件击孩,例如nodejs的package.json,java項目的pom.xml等
COPY package.json ./
COPY yarn.lock ./
COPY .yarnrc ./

RUN yarn --no-cache

# 在完成依賴安裝后,我們在copy代碼進來鹏漆,如此一來
# 當(dāng)依賴未變化時巩梢,就不需要重復(fù)運行以來安裝過程了。
COPY ./ ./

EXPOSE 8080
ENTRYPOINT [ "/entrypoint.sh" ]
CMD ["yarn", "start"]

2. 使用多階段構(gòu)建鏡像

  • 以react前端項目為例
FROM node:12.16-alpine as builder
LABEL maintainer="xxx<xx@xxx.com>"

RUN \
    sed -i 's/dl-cdn.alpinelinux.org/mirrors.aliyun.com/g' /etc/apk/repositories && \
    apk add git python make gcc g++
ENV NODE_ENV development

WORKDIR /data/

COPY package.json ./
COPY .yarnrc ./
COPY yarn.lock ./

RUN yarn install --silent --no-cache

COPY ./ ./
RUN  NODE_ENV=production yarn build

FROM nginx:1.20.1-alpine
LABEL maintainer="xxx<xx@xxx.com>"

RUN \
    sed -i 's/dl-cdn.alpinelinux.org/mirrors.aliyun.com/g' /etc/apk/repositories

COPY ./docker/nginx.conf /etc/nginx/conf.d/default.conf
# 關(guān)鍵步驟艺玲,我們從上一階段的 node鏡像中且改,copy出我們需要的最終編譯好的前端靜態(tài)文件
# 放置到nginx鏡像中即可,最終景象將只包含nginx以及靜態(tài)文件
COPY --from=builder /data/dist /usr/share/nginx/html
RUN chown -R nginx:nginx /usr/share/nginx/html/

EXPOSE 80

3. 使用docker buildkit在build階段掛載緩存

  • 這是本文的重點板驳,做了很多的CI項目中后,大家都在思考碍拆,如果在docker build階段若治,能夠掛在上volume來做緩存,那該多好呀感混,那么端幼,現(xiàn)在,他來了
    在 docker 18.09以上版本弧满,有一個Experimental特性婆跑, buildkit工具,默認是沒有打開的庭呜,我們可以通過 export DOCKER_BUILDKIT=1 之后在進行docker build滑进,或者在 /etc/docker/daemon.json 中配置開啟:
{
  "log-driver": "json-file",
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-opts": {
    "max-size": "100m"
  },
  "storage-driver": "overlay2",
  "storage-opts": [
    "overlay2.override_kernel_check=true"
  ],
  "features": { "buildkit": true }
}

開啟之后我們就可以修改上面的Dockerfile,來完成一次速度的飛躍:

# syntax=docker/dockerfile:1.3
FROM node:12.16-alpine as builder
LABEL maintainer="xxx<xx@xxx.com>"

RUN \
    sed -i 's/dl-cdn.alpinelinux.org/mirrors.aliyun.com/g' /etc/apk/repositories && \
    apk add git python make gcc g++
ENV NODE_ENV development

WORKDIR /data/

COPY package.json ./
COPY .yarnrc ./
COPY yarn.lock ./

RUN yarn install --silent --no-cache

COPY ./ ./

# 需要開啟docker Experimental特性支持募谎,docker version >  18.09 , export DOCKER_BUILDKIT=1
RUN  --mount=type=cache,id=yarn_cache,sharing=shared,target=/usr/local/share/.cache \
     NODE_ENV=production yarn build

FROM nginx:1.20.1-alpine
LABEL maintainer="xxx<xx@xxx.com>"

RUN \
    sed -i 's/dl-cdn.alpinelinux.org/mirrors.aliyun.com/g' /etc/apk/repositories

COPY ./docker/nginx.conf /etc/nginx/conf.d/default.conf
COPY --from=builder /data/dist /usr/share/nginx/html
RUN chown -R nginx:nginx /usr/share/nginx/html/

EXPOSE 80

我們掛在了一個id為yarn_cache的卷到 yarn cache dir下扶关,那么每次安裝的依賴本地緩存文件接回寫入到緩存中,并在docker build完成之后從運行時中卸載并保存数冬,下載我們就有機會體驗擁有本地緩存的完美docker build了节槐。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末铜异,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子秸架,更是在濱河造成了極大的恐慌揍庄,老刑警劉巖,帶你破解...
    沈念sama閱讀 207,113評論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件咕宿,死亡現(xiàn)場離奇詭異币绩,居然都是意外死亡蜡秽,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,644評論 2 381
  • 文/潘曉璐 我一進店門缆镣,熙熙樓的掌柜王于貴愁眉苦臉地迎上來芽突,“玉大人,你說我怎么就攤上這事董瞻∧觯” “怎么了?”我有些...
    開封第一講書人閱讀 153,340評論 0 344
  • 文/不壞的土叔 我叫張陵钠糊,是天一觀的道長挟秤。 經(jīng)常有香客問我,道長抄伍,這世上最難降的妖魔是什么艘刚? 我笑而不...
    開封第一講書人閱讀 55,449評論 1 279
  • 正文 為了忘掉前任,我火速辦了婚禮截珍,結(jié)果婚禮上攀甚,老公的妹妹穿的比我還像新娘。我一直安慰自己岗喉,他們只是感情好秋度,可當(dāng)我...
    茶點故事閱讀 64,445評論 5 374
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著钱床,像睡著了一般荚斯。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上查牌,一...
    開封第一講書人閱讀 49,166評論 1 284
  • 那天事期,我揣著相機與錄音,去河邊找鬼僧免。 笑死刑赶,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的懂衩。 我是一名探鬼主播撞叨,決...
    沈念sama閱讀 38,442評論 3 401
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼浊洞!你這毒婦竟也來了牵敷?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 37,105評論 0 261
  • 序言:老撾萬榮一對情侶失蹤法希,失蹤者是張志新(化名)和其女友劉穎枷餐,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體苫亦,經(jīng)...
    沈念sama閱讀 43,601評論 1 300
  • 正文 獨居荒郊野嶺守林人離奇死亡毛肋,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,066評論 2 325
  • 正文 我和宋清朗相戀三年怨咪,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片润匙。...
    茶點故事閱讀 38,161評論 1 334
  • 序言:一個原本活蹦亂跳的男人離奇死亡诗眨,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出孕讳,到底是詐尸還是另有隱情匠楚,我是刑警寧澤,帶...
    沈念sama閱讀 33,792評論 4 323
  • 正文 年R本政府宣布厂财,位于F島的核電站芋簿,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏璃饱。R本人自食惡果不足惜与斤,卻給世界環(huán)境...
    茶點故事閱讀 39,351評論 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望荚恶。 院中可真熱鬧幽告,春花似錦、人聲如沸裆甩。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,352評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽嗤栓。三九已至,卻和暖如春箍邮,著一層夾襖步出監(jiān)牢的瞬間茉帅,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,584評論 1 261
  • 我被黑心中介騙來泰國打工锭弊, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留堪澎,地道東北人。 一個月前我還...
    沈念sama閱讀 45,618評論 2 355
  • 正文 我出身青樓味滞,卻偏偏與公主長得像樱蛤,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子剑鞍,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 42,916評論 2 344

推薦閱讀更多精彩內(nèi)容

  • 想要改進這個備忘單嗎昨凡?參見[貢獻](#貢獻)部分! 目錄 [為何選擇Docker](#why-docker) [先...
    iOSDevLog閱讀 2,069評論 0 3
  • 實例來源:tofar 摘錄來源:Docker — 從入門到實踐 歡迎大家添加自己的實例 (email: yun_...
    molscar閱讀 419評論 1 1
  • 原文地址:https://github.com/KeKe-Li/docker-directive docker 存...
    萌面菠蘿閱讀 498評論 0 0
  • 本章內(nèi)容 ◆ Docker簡介◆ Docker 鏡像與制作◆ Docker 數(shù)據(jù)管理◆ Docker 網(wǎng)絡(luò)◆ Do...
    Liang_JC閱讀 767評論 0 0
  • 前言 當(dāng)我們需要使用某個容器的時候蚁署,通常先從docker hub或其它源上下載對應(yīng)的鏡像便脊,然后通過一條命令就可以將...
    wanzhouyi閱讀 194評論 0 1