阿里云maxcompute(原odps)歷險(xiǎn)記

1. MAXCOMPUTE(原odps)踩坑:

1锉罐、 在使用split_part(info, ‘|’, 1)函數(shù)切分?jǐn)?shù)據(jù)時(shí),要格外注意分隔符’|’践叠,尤其是涉及有非字母巧涧、數(shù)字的數(shù)據(jù),其中可能會(huì)夾雜’|’判哥,這樣就導(dǎo)致取出的數(shù)據(jù)不一致献雅;其實(shí)是應(yīng)該注意切分之前的字符串組裝concat()函數(shù),在組裝時(shí)使用的分隔字符塌计。

2挺身、 odps是一個(gè)數(shù)據(jù)倉(cāng)庫(kù),有分層的概念锌仅,它的dwd層類(lèi)型數(shù)據(jù)庫(kù)章钾,又有全量更新的dd類(lèi)型(即,每天更新歷史和最近一天新增一天數(shù)據(jù))和每天增量更新的ds類(lèi)型(即热芹,每天的數(shù)據(jù)存放在一個(gè)分區(qū))贱傀。dd表遇到一個(gè)坑是:有可能按前一天取數(shù)據(jù)仍然還沒(méi)有或沒(méi)更新,這樣可以利用max求最近一天數(shù)據(jù):

select * from table_name 
where partition_name IN (select max(partition_name) from table_name));

3伊脓、延伸2府寒,odps提交工作流任務(wù)有幾個(gè)概念:

1.  今天提交的任務(wù)明天到調(diào)度時(shí)間時(shí)才會(huì)運(yùn)行;
2.  今晚12點(diǎn)之前會(huì)使用最新提交的代碼生成明天要跑的實(shí)例报腔;
3. 實(shí)例生成之后就跟代碼沒(méi)有關(guān)系株搔;
4. 停止一個(gè)周期任務(wù)運(yùn)行只能通過(guò)刪除代碼的方式。

最好不要使用to_char(dateadd(getdate(), 0, 'dd'), 'yyyymmdd'),即getdate()獲取分區(qū)時(shí)間纯蛾,因?yàn)閛dps任務(wù)涉及幾類(lèi)時(shí)間:

1. 業(yè)務(wù)時(shí)間:運(yùn)行時(shí)間 - 1天(運(yùn)行時(shí)間減一天)邪狞;
2. 調(diào)度時(shí)間:阿里云周期調(diào)度時(shí)間,可能會(huì)存在排隊(duì)現(xiàn)象茅撞;
3. 運(yùn)行時(shí)間:任務(wù)被調(diào)度后獲得計(jì)算資源時(shí)間帆卓。(getdate()獲得的時(shí)間巨朦,
   這個(gè)時(shí)間可能和計(jì)算邏輯想要的時(shí)間有偏差)

4、odps select if()語(yǔ)句中支持like剑令,不支持in糊啡;

5、如果需要concat()數(shù)據(jù)吁津,需要將空值補(bǔ)一個(gè)值棚蓄,因?yàn)?concat('a', null, 'b') = NULL,一個(gè)null會(huì)導(dǎo)致所有值都失效碍脏。

2. 計(jì)算一個(gè)區(qū)域的流入流出梭依,直接上圖

區(qū)域流入流出算法

相當(dāng)于是兩張表join,假設(shè)A表為新表典尾,B表為舊表役拴,則黃色部分為流入,深藍(lán)色為流出钾埂,淺藍(lán)色為兩天都存在河闰。計(jì)算時(shí)可以先做一個(gè)full outer join, 然后當(dāng)B.key is null,則為流入;A.key is null,則為流出褥紫。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末姜性,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子髓考,更是在濱河造成了極大的恐慌部念,老刑警劉巖,帶你破解...
    沈念sama閱讀 218,204評(píng)論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件氨菇,死亡現(xiàn)場(chǎng)離奇詭異儡炼,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)门驾,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,091評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門(mén),熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)多柑,“玉大人奶是,你說(shuō)我怎么就攤上這事】⒐啵” “怎么了聂沙?”我有些...
    開(kāi)封第一講書(shū)人閱讀 164,548評(píng)論 0 354
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)初嘹。 經(jīng)常有香客問(wèn)我及汉,道長(zhǎng),這世上最難降的妖魔是什么屯烦? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,657評(píng)論 1 293
  • 正文 為了忘掉前任坷随,我火速辦了婚禮房铭,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘温眉。我一直安慰自己缸匪,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,689評(píng)論 6 392
  • 文/花漫 我一把揭開(kāi)白布类溢。 她就那樣靜靜地躺著凌蔬,像睡著了一般。 火紅的嫁衣襯著肌膚如雪闯冷。 梳的紋絲不亂的頭發(fā)上砂心,一...
    開(kāi)封第一講書(shū)人閱讀 51,554評(píng)論 1 305
  • 那天,我揣著相機(jī)與錄音蛇耀,去河邊找鬼辩诞。 笑死,一個(gè)胖子當(dāng)著我的面吹牛蒂窒,可吹牛的內(nèi)容都是我干的躁倒。 我是一名探鬼主播,決...
    沈念sama閱讀 40,302評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼洒琢,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼秧秉!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起衰抑,我...
    開(kāi)封第一講書(shū)人閱讀 39,216評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤象迎,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后呛踊,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體砾淌,經(jīng)...
    沈念sama閱讀 45,661評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,851評(píng)論 3 336
  • 正文 我和宋清朗相戀三年谭网,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了汪厨。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 39,977評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡愉择,死狀恐怖劫乱,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情锥涕,我是刑警寧澤衷戈,帶...
    沈念sama閱讀 35,697評(píng)論 5 347
  • 正文 年R本政府宣布,位于F島的核電站层坠,受9級(jí)特大地震影響殖妇,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜破花,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,306評(píng)論 3 330
  • 文/蒙蒙 一谦趣、第九天 我趴在偏房一處隱蔽的房頂上張望疲吸。 院中可真熱鬧,春花似錦蔚润、人聲如沸磅氨。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,898評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)烦租。三九已至,卻和暖如春除盏,著一層夾襖步出監(jiān)牢的瞬間叉橱,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,019評(píng)論 1 270
  • 我被黑心中介騙來(lái)泰國(guó)打工者蠕, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留窃祝,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 48,138評(píng)論 3 370
  • 正文 我出身青樓踱侣,卻偏偏與公主長(zhǎng)得像粪小,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子抡句,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,927評(píng)論 2 355