Google Professional Data Engineer(PDE)考試

image.png

在國(guó)內(nèi)參加PDE考試的人比較少约郁,導(dǎo)致資料也很少缩挑。我在19年1月30號(hào)去上海參加PDE考試,參加前也是完全沒(méi)底鬓梅,因?yàn)闀r(shí)間短資料少供置,但幸運(yùn)的是順利通過(guò)了≌揽欤回過(guò)頭來(lái)看芥丧,其中有些技巧和重點(diǎn),在此做一些總結(jié)坊罢,希望可以給參加PDE考試的同學(xué)提供一些幫助续担。

收獲

1)對(duì)云有新的認(rèn)識(shí)
2)對(duì)大數(shù)據(jù)架構(gòu)、機(jī)器學(xué)習(xí)架構(gòu)設(shè)計(jì)有新的認(rèn)識(shí)
3)當(dāng)然最重要的是獲得google官方發(fā)的證書(shū)

說(shuō)說(shuō)我的準(zhǔn)備

1)花了5周的時(shí)間看完google官方提供的視頻艘绍,幾乎是完全脫產(chǎn)(只做一些事故處理)赤拒。
2)試做官方提供example,一共20道題诱鞠,我錯(cuò)了五道挎挖。我錯(cuò)的主要是安全和BigTable相關(guān)的。
3)google的同學(xué)建議是看concept的相關(guān)內(nèi)容航夺,但離考試也就剩三四天了蕉朵,不可能詳細(xì)復(fù)習(xí),concept是一定看不完的阳掐。那么就針對(duì)沒(méi)有掌握的知識(shí)進(jìn)行復(fù)習(xí)始衅,安全相關(guān)的官方視頻是沒(méi)有涉及的,所以必須自己找資料看缭保,別的資料也沒(méi)有汛闸,就只能看concept中涉及安全的方便,這個(gè)比較少艺骂,最多一天就全部看完诸老。BigTable看來(lái)我也是掌握不好,那么我就看BigTable的concept知識(shí)钳恕。
4)看完上面的就參加考試了别伏,也再?zèng)]做特別復(fù)習(xí)。

整體來(lái)看

google的產(chǎn)品大致涉及存儲(chǔ)(cloud storage忧额、SQL厘肮、spanner、memory睦番、BigTable类茂、datastore)、消息中間件Pub\Sub、計(jì)算(dataproc大咱、BigQuery恬涧、Dataflow)、機(jī)器學(xué)習(xí)ML Engine碴巾、API、DataLab以及可視化丑搔。各個(gè)產(chǎn)品的使用場(chǎng)景必須心里有數(shù)厦瓢,如果看完視頻忘了,必須重新復(fù)習(xí)啤月,最好和開(kāi)源對(duì)應(yīng)起來(lái)煮仇,因?yàn)殚_(kāi)源多多少少有點(diǎn)兒了解,不要從頭學(xué)習(xí)google cloud所有產(chǎn)品知識(shí)谎仲。


image.png

image.png

思維轉(zhuǎn)變

把自己定位為產(chǎn)品解決方案工程師浙垫,不是找最優(yōu)解,而是找最適合案例的解決方案郑诺。

產(chǎn)品詳情

Cloud SQL & spanner

Cloud SQL 就是mysql\postsql的單機(jī)版夹姥,google幫你做了安裝部署和管理(安全、備份等)辙诞,如果需要水平擴(kuò)展就是spanner了辙售,而且支持事務(wù),這兩個(gè)產(chǎn)品的應(yīng)用場(chǎng)景就是應(yīng)用交易記錄等飞涂。

cloud storage

就是存儲(chǔ)引擎旦部,什么都可以放,沒(méi)有大小文件较店、結(jié)構(gòu)化和非結(jié)構(gòu)化的限制士八,利用好存儲(chǔ)級(jí)別(正常、nearline(月級(jí)訪問(wèn))和cold(年級(jí)訪問(wèn)))可以節(jié)約成本梁呈。

BigTable

考試重點(diǎn)婚度。注意key值的設(shè)置,如何避免熱點(diǎn)問(wèn)題捧杉,時(shí)間序列的問(wèn)題大部分就是選BigTable存儲(chǔ)陕见,BigTable適用于時(shí)延性要求高的場(chǎng)景。

datastore

類似于mongodb味抖,通過(guò)屬性來(lái)查詢评甜,不是重點(diǎn)。

BigQuery

考試重點(diǎn)仔涩。注意安全和視圖相關(guān)知識(shí)忍坷,數(shù)據(jù)存儲(chǔ)在BigQuery和存儲(chǔ)在cloud storage的價(jià)錢差不多,根據(jù)使用情況,會(huì)自動(dòng)處理存儲(chǔ)介質(zhì)佩研,降低價(jià)格柑肴,一定要合理利用BigQuery。

Dataproc

主要是為了適應(yīng)客戶原來(lái)使用hadoop堆棧旬薯,現(xiàn)在不像修改代碼晰骑,就像上云的場(chǎng)景。

dataflow

是google大力推進(jìn)的產(chǎn)品绊序,是替代Dataproc的下一代計(jì)算引擎硕舆,實(shí)現(xiàn)自動(dòng)擴(kuò)縮容,并且流處理和批處理代碼保持一致骤公。題外話:dataflow和bigquery(秒級(jí)響應(yīng))是google大數(shù)據(jù)方面兩大殺傷性武器抚官,區(qū)別于其他云的地方。

Pub\Sub

Pub\Sub和dataflow配合使用處理事件流阶捆,延時(shí)性要求高選用BigTable存儲(chǔ)凌节,不高選用BigQuery。

ML Engine

tensorflow的云化版洒试,實(shí)現(xiàn)離線訓(xùn)練和在線服務(wù)的自動(dòng)化倍奢,配合dataprep可以實(shí)現(xiàn)離線數(shù)據(jù)的預(yù)處理,datalab(jupyter notebook)實(shí)現(xiàn)數(shù)據(jù)探索和離線訓(xùn)練儡司。

Auto ML

Auto ML是為了豐富API娱挨,容許用戶自己提供數(shù)據(jù),對(duì)模型進(jìn)行訓(xùn)練捕犬。

綜述

其實(shí)知識(shí)點(diǎn)也不那么難跷坝,最后難得可能是英語(yǔ)這一關(guān),視頻和考試全英語(yǔ)碉碉。祝大家順利通過(guò)考試柴钻。

如果有疑問(wèn)歡迎關(guān)注下面公眾號(hào)進(jìn)行交流。

datacube.jpg
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末垢粮,一起剝皮案震驚了整個(gè)濱河市贴届,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌蜡吧,老刑警劉巖毫蚓,帶你破解...
    沈念sama閱讀 207,248評(píng)論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異昔善,居然都是意外死亡元潘,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,681評(píng)論 2 381
  • 文/潘曉璐 我一進(jìn)店門君仆,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)翩概,“玉大人牲距,你說(shuō)我怎么就攤上這事≡勘樱” “怎么了牍鞠?”我有些...
    開(kāi)封第一講書(shū)人閱讀 153,443評(píng)論 0 344
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)评姨。 經(jīng)常有香客問(wèn)我难述,道長(zhǎng),這世上最難降的妖魔是什么吐句? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 55,475評(píng)論 1 279
  • 正文 為了忘掉前任龄广,我火速辦了婚禮,結(jié)果婚禮上蕴侧,老公的妹妹穿的比我還像新娘。我一直安慰自己两入,他們只是感情好净宵,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,458評(píng)論 5 374
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著裹纳,像睡著了一般择葡。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上剃氧,一...
    開(kāi)封第一講書(shū)人閱讀 49,185評(píng)論 1 284
  • 那天敏储,我揣著相機(jī)與錄音,去河邊找鬼朋鞍。 笑死已添,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的滥酥。 我是一名探鬼主播更舞,決...
    沈念sama閱讀 38,451評(píng)論 3 401
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼坎吻!你這毒婦竟也來(lái)了缆蝉?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 37,112評(píng)論 0 261
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤瘦真,失蹤者是張志新(化名)和其女友劉穎刊头,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體诸尽,經(jīng)...
    沈念sama閱讀 43,609評(píng)論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡原杂,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,083評(píng)論 2 325
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了弦讽。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片污尉。...
    茶點(diǎn)故事閱讀 38,163評(píng)論 1 334
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡膀哲,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出被碗,到底是詐尸還是另有隱情某宪,我是刑警寧澤,帶...
    沈念sama閱讀 33,803評(píng)論 4 323
  • 正文 年R本政府宣布锐朴,位于F島的核電站兴喂,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏焚志。R本人自食惡果不足惜衣迷,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,357評(píng)論 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望酱酬。 院中可真熱鬧壶谒,春花似錦、人聲如沸膳沽。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,357評(píng)論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)挑社。三九已至陨界,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間痛阻,已是汗流浹背菌瘪。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 31,590評(píng)論 1 261
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留阱当,地道東北人俏扩。 一個(gè)月前我還...
    沈念sama閱讀 45,636評(píng)論 2 355
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像斗这,于是被迫代替她去往敵國(guó)和親动猬。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,925評(píng)論 2 344

推薦閱讀更多精彩內(nèi)容

  • 緣起 最近研究Spanner表箭,發(fā)現(xiàn)國(guó)內(nèi)對(duì)Spanner論文的翻譯很多赁咙,但是美中不足的是,每個(gè)人都在做論文的搬運(yùn)工和...
    呂信閱讀 19,819評(píng)論 4 36
  • 當(dāng)前免钻,整個(gè)互聯(lián)網(wǎng)正在從IT時(shí)代向DT時(shí)代演進(jìn)彼水,大數(shù)據(jù)技術(shù)也正在助力企業(yè)和公眾敲開(kāi)DT世界大門。當(dāng)今“大數(shù)據(jù)”一詞的...
    吳瑞文閱讀 1,462評(píng)論 1 11
  • 本文由廈門大學(xué)計(jì)算機(jī)系教師林子雨翻譯极舔,翻譯質(zhì)量很高凤覆,本人只對(duì)極少數(shù)翻譯得不太恰當(dāng)?shù)牡胤竭M(jìn)行了修改。 【摘要】:Sp...
    Jeffbond閱讀 3,922評(píng)論 1 42
  • 今晚打了么女拆魏。打的時(shí)候孩子掙扎哭喊盯桦,撕心裂肺慈俯,淚流滿面,真夠可憐的拥峦。打人的是我贴膘,是她親娘,如假包換略号。打的時(shí)...
    Milla008閱讀 317評(píng)論 0 0
  • 為迎接黨的十九大刑峡、中國(guó)共產(chǎn)主義青年團(tuán)建立95周年,引領(lǐng)青年學(xué)生樹(shù)立和踐行社會(huì)主義核心價(jià)值觀玄柠、積極投身“十三五...
    悅月閱楽曰閱讀 252評(píng)論 0 1