基于Terraform的bigquery infra搭建

本來是想邊做邊寫的這篇文章的辛掠,結果做完以后這么久才有時間寫鹤盒。就做一個簡單的總結吧

此次是針對bigquery infra as code国章。由于多人協(xié)作,所以需要指定backend芙盘,將tfstates文件放到了google storage bucket里面驯用。然后將代碼容器化,放到gocd pipeline上何陆。

本次目錄結構如下圖:


main.tf

terraform會執(zhí)行當前目錄下所有文件晨汹,并不是從main.tf開始執(zhí)行,會自動分析不同資源間的依賴贷盲。這里只是為了表示核心資源淘这,所以取名為main.tf

首先需要指定一個provider剥扣。credentials中是service account.一開始我是沒有指定credentials的,而是通過掛接gcloud sdk的默認配置到docker 鏡像中铝穷。但是service account可以讓每個擁有代碼庫權限額人都能執(zhí)行钠怯,這種方式也是谷歌推薦的。



接下來指定需要創(chuàng)建的資源曙聂。https://www.terraform.io/docs/providers/google/r/bigquery_dataset.html?這個里面有谷歌支持的所有資源詳細說明晦炊。

寫完以上資源,在本地就可以跑了宁脊。

容器化


dockerfile

下載gcloud sdk和 terraform并安裝断国。

entrypoint.sh

由于需要多人共享tfstates,所以需要一個大家都能訪問到的地方來存儲tfstates榆苞。這里采用bucket來存儲稳衬。所以需要配置terraform的backend。這里配置了三項內(nèi)容坐漏,分別是credentials薄疚,bucket,prefix 赊琳,具體配置可以在文檔中查街夭。


這里就踩到了一個坑。在執(zhí)行的過程中躏筏,會報錯板丽,原因是因為bucket需要指定template。所以這里還需要一個backend.tf

backend.tf


自動化

makefile


最后編輯于
?著作權歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
禁止轉(zhuǎn)載寸士,如需轉(zhuǎn)載請通過簡信或評論聯(lián)系作者檐什。
  • 序言:七十年代末碴卧,一起剝皮案震驚了整個濱河市弱卡,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌住册,老刑警劉巖婶博,帶你破解...
    沈念sama閱讀 211,948評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異荧飞,居然都是意外死亡凡人,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,371評論 3 385
  • 文/潘曉璐 我一進店門叹阔,熙熙樓的掌柜王于貴愁眉苦臉地迎上來挠轴,“玉大人,你說我怎么就攤上這事耳幢“痘蓿” “怎么了欧啤?”我有些...
    開封第一講書人閱讀 157,490評論 0 348
  • 文/不壞的土叔 我叫張陵,是天一觀的道長启上。 經(jīng)常有香客問我邢隧,道長,這世上最難降的妖魔是什么冈在? 我笑而不...
    開封第一講書人閱讀 56,521評論 1 284
  • 正文 為了忘掉前任倒慧,我火速辦了婚禮,結果婚禮上包券,老公的妹妹穿的比我還像新娘纫谅。我一直安慰自己,他們只是感情好溅固,可當我...
    茶點故事閱讀 65,627評論 6 386
  • 文/花漫 我一把揭開白布系宜。 她就那樣靜靜地躺著,像睡著了一般发魄。 火紅的嫁衣襯著肌膚如雪盹牧。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,842評論 1 290
  • 那天励幼,我揣著相機與錄音汰寓,去河邊找鬼。 笑死苹粟,一個胖子當著我的面吹牛有滑,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播嵌削,決...
    沈念sama閱讀 38,997評論 3 408
  • 文/蒼蘭香墨 我猛地睜開眼毛好,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了苛秕?” 一聲冷哼從身側(cè)響起肌访,我...
    開封第一講書人閱讀 37,741評論 0 268
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎艇劫,沒想到半個月后吼驶,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,203評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡店煞,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,534評論 2 327
  • 正文 我和宋清朗相戀三年蟹演,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片顷蟀。...
    茶點故事閱讀 38,673評論 1 341
  • 序言:一個原本活蹦亂跳的男人離奇死亡酒请,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出鸣个,到底是詐尸還是另有隱情羞反,我是刑警寧澤哮兰,帶...
    沈念sama閱讀 34,339評論 4 330
  • 正文 年R本政府宣布,位于F島的核電站苟弛,受9級特大地震影響喝滞,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜膏秫,卻給世界環(huán)境...
    茶點故事閱讀 39,955評論 3 313
  • 文/蒙蒙 一右遭、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧缤削,春花似錦窘哈、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,770評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至帅刀,卻和暖如春让腹,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背扣溺。 一陣腳步聲響...
    開封第一講書人閱讀 32,000評論 1 266
  • 我被黑心中介騙來泰國打工骇窍, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人锥余。 一個月前我還...
    沈念sama閱讀 46,394評論 2 360
  • 正文 我出身青樓腹纳,卻偏偏與公主長得像,于是被迫代替她去往敵國和親驱犹。 傳聞我的和親對象是個殘疾皇子嘲恍,可洞房花燭夜當晚...
    茶點故事閱讀 43,562評論 2 349

推薦閱讀更多精彩內(nèi)容

  • 1. 前言 目前IT設備對于大多數(shù)企業(yè)公司來說是必不可少的基礎設施,由于云計算的按需付費雄驹,便捷配置計算資源(資源包...
    liewuweifeng閱讀 9,012評論 0 6
  • 感謝光顧佃牛,簡書停更,遷移至sengmentfault: https://segmentfault.com/a/11...
    hanyouqing閱讀 3,365評論 0 2
  • 前言 最近在研究terraform荠医,采了一圈坑吁脱,記錄一下 什么是terraform terraform 通過代碼配...
    LinkinStar閱讀 1,930評論 2 1
  • 我爸媽離婚那年我上四年級桑涎,我妹剛上幼兒園彬向。因為我爸出軌了,為了他嬌滴滴的女朋友攻冷,他迫不及待地把我們娘仨掃地出門娃胆。我...
    清風朗月1105閱讀 14,746評論 132 435
  • 很多年前的我,不愛吃豆芽等曼, 每次媽媽路過豆制品的小攤里烦,只是買塊豆腐凿蒜,賣菜的大媽熱情地介紹自然生根的豆芽,媽媽總是搖...
    小西不見閱讀 325評論 0 0