Hive 桶 區(qū)

分區(qū)

分區(qū)列其實(shí)在表中并不存在蜂科,每個(gè)分區(qū)鍵為表的存儲(chǔ)添加了一個(gè)目錄曼追,但是查詢會(huì)返回這一列窍仰,即使數(shù)據(jù)文件中沒有存儲(chǔ)這個(gè)數(shù)據(jù),相當(dāng)于返回了目錄名稱礼殊。

切忌對表過度分區(qū)驹吮,這樣會(huì)導(dǎo)致每個(gè)文件很小,從而導(dǎo)致hadoop存放較慢晶伦,而且分區(qū)會(huì)增加數(shù)據(jù)加載跟數(shù)據(jù)檢索的開銷碟狞。

分區(qū)表加字段必須使用casecade

參數(shù)

開啟支持動(dòng)態(tài)分區(qū)

set hive.exec.dynamic.partition=true;

set hive.exec.dynamic.partition.mode=nostrict;

默認(rèn):strict(至少有一個(gè)分區(qū)列是靜態(tài)分區(qū))

set hive.exec.max.dynamic.partitions:動(dòng)態(tài)分區(qū)的上限,默認(rèn)1000婚陪;

set hive.exec.max.dynamic.partitions.pernode 每個(gè)mapper/reducer節(jié)點(diǎn)可以創(chuàng)建的最大動(dòng)態(tài)分區(qū)數(shù)族沃,默認(rèn)100;

分桶

適合于非常小的分區(qū)近忙,分桶讓你可以為每個(gè)表的分桶列定義桶的最大數(shù)據(jù)竭业,每一個(gè)桶就是一個(gè)文件智润,分桶基于散列算法分割及舍,提升join性能,只關(guān)聯(lián)相同的桶窟绷。分桶不會(huì)為當(dāng)前表建立一個(gè)虛擬列锯玛。

clustered by (列) into n buckets 將列的值用于散列函數(shù)分發(fā)到n個(gè)桶中去,如果分桶的列的值是非傾斜的,那么數(shù)據(jù)會(huì)均衡分布攘残。

參數(shù):

set ?hive.enforce.bucketing = true;?開啟支持分桶拙友,自動(dòng)按照分桶表的bucket 進(jìn)行分桶,運(yùn)行時(shí)會(huì)根據(jù)bucket的個(gè)數(shù)自動(dòng)分配reduce task個(gè)數(shù)

抽樣語法

select * from bucket_table tablesample(bucket 1 out of 4 on columns);

TABLESAMPLE語法:

TABLESAMPLE(BUCKET x OUT OF y)

x:表示從哪個(gè)bucket開始抽取數(shù)據(jù)

y:必須為該表總bucket數(shù)的倍數(shù)或因子? (Y表示相隔多少個(gè)桶再次抽燃吖)

參考:https://www.cnblogs.com/cac2020/p/10383825.html

更多參數(shù)參考?https://www.cnblogs.com/skyl/p/4780340.html

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末遗契,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子病曾,更是在濱河造成了極大的恐慌牍蜂,老刑警劉巖,帶你破解...
    沈念sama閱讀 222,807評論 6 518
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件泰涂,死亡現(xiàn)場離奇詭異鲫竞,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)逼蒙,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,284評論 3 399
  • 文/潘曉璐 我一進(jìn)店門从绘,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人是牢,你說我怎么就攤上這事僵井。” “怎么了驳棱?”我有些...
    開封第一講書人閱讀 169,589評論 0 363
  • 文/不壞的土叔 我叫張陵驹沿,是天一觀的道長。 經(jīng)常有香客問我蹈胡,道長渊季,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 60,188評論 1 300
  • 正文 為了忘掉前任罚渐,我火速辦了婚禮却汉,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘荷并。我一直安慰自己合砂,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 69,185評論 6 398
  • 文/花漫 我一把揭開白布源织。 她就那樣靜靜地躺著翩伪,像睡著了一般。 火紅的嫁衣襯著肌膚如雪谈息。 梳的紋絲不亂的頭發(fā)上缘屹,一...
    開封第一講書人閱讀 52,785評論 1 314
  • 那天,我揣著相機(jī)與錄音侠仇,去河邊找鬼轻姿。 笑死犁珠,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的互亮。 我是一名探鬼主播犁享,決...
    沈念sama閱讀 41,220評論 3 423
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼豹休!你這毒婦竟也來了炊昆?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 40,167評論 0 277
  • 序言:老撾萬榮一對情侶失蹤威根,失蹤者是張志新(化名)和其女友劉穎窑眯,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體医窿,經(jīng)...
    沈念sama閱讀 46,698評論 1 320
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡磅甩,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,767評論 3 343
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了姥卢。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片卷要。...
    茶點(diǎn)故事閱讀 40,912評論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖独榴,靈堂內(nèi)的尸體忽然破棺而出僧叉,到底是詐尸還是另有隱情,我是刑警寧澤棺榔,帶...
    沈念sama閱讀 36,572評論 5 351
  • 正文 年R本政府宣布瓶堕,位于F島的核電站,受9級特大地震影響症歇,放射性物質(zhì)發(fā)生泄漏郎笆。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,254評論 3 336
  • 文/蒙蒙 一忘晤、第九天 我趴在偏房一處隱蔽的房頂上張望宛蚓。 院中可真熱鬧,春花似錦设塔、人聲如沸凄吏。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,746評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽痕钢。三九已至,卻和暖如春序六,著一層夾襖步出監(jiān)牢的瞬間任连,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,859評論 1 274
  • 我被黑心中介騙來泰國打工难咕, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留课梳,地道東北人距辆。 一個(gè)月前我還...
    沈念sama閱讀 49,359評論 3 379
  • 正文 我出身青樓余佃,卻偏偏與公主長得像暮刃,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個(gè)殘疾皇子爆土,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,922評論 2 361