Hive SQL 日常工作使用總結(jié)

寫寫日常在使用Hive SQL做分析時經(jīng)常使用的一些函數(shù)或者方法

like

  • like用于指定特定的字符串,或結(jié)合正則做模糊匹配
select uid from dw.today where tunittype like '%wew.%'
  • rlike是hive中對like的擴展队橙,將原先多個like才能完成的任務(wù)戴而,使用一個rlike就可以搞定笋额。
select uid from dw.today where tunittype rlike '.*(you|me).*'

點號(.):表示和任意字符串匹配破婆,星號(*):表示重復(fù)“左邊的字符串”,(x|y)表示和x或者y匹配

  • 對like取反
    一般院究,like的語法形式是: A LIKE B,取反的語法形式:NOT A LIKE B
select uid from dw.today where not tunittype like '%wew.%'

時間區(qū)間

工作中本涕,需要查詢某個區(qū)間的用戶量业汰,這個時候就需要對時間做處理,以便快速搞定

  • 30分鐘作為一個區(qū)間段
SELECT DISTINCT FROM_UNIXTIME(60*30*CAST(UNIX_TIMESTAMP("2017-11-11 13:23:23")/(60*30) AS BIGINT), 'yyyy-MM-dd HH:mm:ss')
FROM test_table

這里便將時間轉(zhuǎn)化為13:00:00菩颖,記錄的是13:00:00至13:30:00這段時間的數(shù)據(jù)量

  • 10分鐘作為一個區(qū)間段
SELECT DISTINCT FROM_UNIXTIME(60*10*CAST(UNIX_TIMESTAMP("2017-11-11 13:23:23")/(60*10) AS BIGINT), 'yyyy-MM-dd HH:mm:ss')
FROM test_table

總結(jié):一個小時60分鐘样漆,一分鐘60秒,按照時間單位的秒來轉(zhuǎn)化為相應(yīng)的區(qū)間

排序

語法形式:

row_number() over (partition by 字段 a order by 計算項 b desc ) rank

rank 排序的名稱晦闰;partition by:類似 hive 的建表放祟,分區(qū)的意思;order by :排序呻右,默認是升序跪妥,加 desc 降序;這里按字段 a 分區(qū)声滥,對計算項 b 進行降序排序

當(dāng)前時間

SELECT from_unixtime(unix_timestamp())

類型轉(zhuǎn)換

cast() 函數(shù)將字符串轉(zhuǎn)換為整數(shù)眉撵、雙精度浮點數(shù)或執(zhí)行反向轉(zhuǎn)換

可參考這個博客:https://blog.csdn.net/xiaoshunzi111/article/details/54343291/

case .. when .. then句式

沒錯,在機器學(xué)習(xí)中給數(shù)據(jù)打標簽過程最常用到的sql語句,主要用于處理單個列的查詢結(jié)果

create table if not exists dw.huodong_uid_label as 
select uid,
  CASE 
     WHEN action=0 THEN 0
     ELSE  1
  END AS label from zhangxiang.huodong_action_0_2

未完待續(xù)纽疟。罐韩。。污朽。散吵。。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末膘壶,一起剝皮案震驚了整個濱河市错蝴,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌颓芭,老刑警劉巖顷锰,帶你破解...
    沈念sama閱讀 206,126評論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異亡问,居然都是意外死亡官紫,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,254評論 2 382
  • 文/潘曉璐 我一進店門州藕,熙熙樓的掌柜王于貴愁眉苦臉地迎上來束世,“玉大人,你說我怎么就攤上這事床玻』偕妫” “怎么了?”我有些...
    開封第一講書人閱讀 152,445評論 0 341
  • 文/不壞的土叔 我叫張陵锈死,是天一觀的道長贫堰。 經(jīng)常有香客問我,道長待牵,這世上最難降的妖魔是什么其屏? 我笑而不...
    開封第一講書人閱讀 55,185評論 1 278
  • 正文 為了忘掉前任,我火速辦了婚禮缨该,結(jié)果婚禮上偎行,老公的妹妹穿的比我還像新娘。我一直安慰自己贰拿,他們只是感情好蛤袒,可當(dāng)我...
    茶點故事閱讀 64,178評論 5 371
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著壮不,像睡著了一般汗盘。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上询一,一...
    開封第一講書人閱讀 48,970評論 1 284
  • 那天隐孽,我揣著相機與錄音癌椿,去河邊找鬼。 笑死菱阵,一個胖子當(dāng)著我的面吹牛踢俄,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播晴及,決...
    沈念sama閱讀 38,276評論 3 399
  • 文/蒼蘭香墨 我猛地睜開眼都办,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了虑稼?” 一聲冷哼從身側(cè)響起琳钉,我...
    開封第一講書人閱讀 36,927評論 0 259
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎蛛倦,沒想到半個月后歌懒,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 43,400評論 1 300
  • 正文 獨居荒郊野嶺守林人離奇死亡溯壶,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 35,883評論 2 323
  • 正文 我和宋清朗相戀三年及皂,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片且改。...
    茶點故事閱讀 37,997評論 1 333
  • 序言:一個原本活蹦亂跳的男人離奇死亡验烧,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出又跛,到底是詐尸還是另有隱情碍拆,我是刑警寧澤,帶...
    沈念sama閱讀 33,646評論 4 322
  • 正文 年R本政府宣布慨蓝,位于F島的核電站倔监,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏菌仁。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 39,213評論 3 307
  • 文/蒙蒙 一静暂、第九天 我趴在偏房一處隱蔽的房頂上張望济丘。 院中可真熱鬧,春花似錦洽蛀、人聲如沸摹迷。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,204評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽峡碉。三九已至,卻和暖如春驮审,著一層夾襖步出監(jiān)牢的瞬間鲫寄,已是汗流浹背吉执。 一陣腳步聲響...
    開封第一講書人閱讀 31,423評論 1 260
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留地来,地道東北人戳玫。 一個月前我還...
    沈念sama閱讀 45,423評論 2 352
  • 正文 我出身青樓,卻偏偏與公主長得像未斑,于是被迫代替她去往敵國和親咕宿。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 42,722評論 2 345