Flume同步數(shù)據(jù)到hive

一.檢查flume/lib下是否有一下jar包:

libfb303-0.9.3.jar,
hive-exec-1.2.1000.2.5.3.0-37.jar,
hive-metastore-1.2.1000.2.5.3.0-37.jar瞄沙,
hive-hcatalog-streaming-1.2.1000.2.5.3.0-37.jar,
hive-hcatalog-streaming.jar,
hive-hcatalog-server-extensions-1.2.1000.2.5.3.0-37.jar,
hive-hcatalog-server-extensions.jar,
hive-hcatalog-pig-adapter-1.2.1000.2.5.3.0-37.jar,
hive-hcatalog-pig-adapter.jar,
hive-hcatalog-core-1.2.1000.2.5.3.0-37.jar,
hive-hcatalog-core.jar

沒有的話可以在服務器上find然后cp一波铐达,后面八個在同一個文件夾下
二.建表時一定滿足條件
1.分桶
2.orc格式
3.TBLPROPERTIES ('transactional'='true');
三.查詢時如果出現(xiàn)報錯呢堰,不管三七二十一直接

set hive.txn.manager=org.apache.hadoop.hive.ql.lockmgr.DbTxnManager;
set hive.support.concurrency=true
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末搓彻,一起剝皮案震驚了整個濱河市凛篙,隨后出現(xiàn)的幾起案子峦甩,更是在濱河造成了極大的恐慌赘来,老刑警劉巖,帶你破解...
    沈念sama閱讀 216,843評論 6 502
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件凯傲,死亡現(xiàn)場離奇詭異犬辰,居然都是意外死亡,警方通過查閱死者的電腦和手機冰单,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,538評論 3 392
  • 文/潘曉璐 我一進店門幌缝,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人诫欠,你說我怎么就攤上這事涵卵≡≡裕” “怎么了?”我有些...
    開封第一講書人閱讀 163,187評論 0 353
  • 文/不壞的土叔 我叫張陵轿偎,是天一觀的道長典鸡。 經(jīng)常有香客問我,道長坏晦,這世上最難降的妖魔是什么椿每? 我笑而不...
    開封第一講書人閱讀 58,264評論 1 292
  • 正文 為了忘掉前任,我火速辦了婚禮英遭,結(jié)果婚禮上间护,老公的妹妹穿的比我還像新娘。我一直安慰自己挖诸,他們只是感情好汁尺,可當我...
    茶點故事閱讀 67,289評論 6 390
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著多律,像睡著了一般痴突。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上狼荞,一...
    開封第一講書人閱讀 51,231評論 1 299
  • 那天辽装,我揣著相機與錄音,去河邊找鬼相味。 笑死拾积,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的丰涉。 我是一名探鬼主播拓巧,決...
    沈念sama閱讀 40,116評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼一死!你這毒婦竟也來了肛度?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 38,945評論 0 275
  • 序言:老撾萬榮一對情侶失蹤投慈,失蹤者是張志新(化名)和其女友劉穎承耿,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體伪煤,經(jīng)...
    沈念sama閱讀 45,367評論 1 313
  • 正文 獨居荒郊野嶺守林人離奇死亡加袋,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,581評論 2 333
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了带族。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片锁荔。...
    茶點故事閱讀 39,754評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡蟀给,死狀恐怖蝙砌,靈堂內(nèi)的尸體忽然破棺而出阳堕,到底是詐尸還是另有隱情,我是刑警寧澤择克,帶...
    沈念sama閱讀 35,458評論 5 344
  • 正文 年R本政府宣布恬总,位于F島的核電站,受9級特大地震影響肚邢,放射性物質(zhì)發(fā)生泄漏壹堰。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,068評論 3 327
  • 文/蒙蒙 一骡湖、第九天 我趴在偏房一處隱蔽的房頂上張望贱纠。 院中可真熱鬧,春花似錦响蕴、人聲如沸谆焊。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,692評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽辖试。三九已至,卻和暖如春劈狐,著一層夾襖步出監(jiān)牢的瞬間罐孝,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,842評論 1 269
  • 我被黑心中介騙來泰國打工肥缔, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留莲兢,地道東北人。 一個月前我還...
    沈念sama閱讀 47,797評論 2 369
  • 正文 我出身青樓续膳,卻偏偏與公主長得像怒见,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子姑宽,可洞房花燭夜當晚...
    茶點故事閱讀 44,654評論 2 354

推薦閱讀更多精彩內(nèi)容

  • 本文大致介紹通過flume與kafka的結(jié)合,將mysql數(shù)據(jù)抽取到hive中. 1.那么什么是flume呢? F...
    劍士66閱讀 3,233評論 1 3
  • 又是周五啦~ 分享完就回家過周末~_~ flume集成hive的筆記 1遣耍、 確定你的flume在哪臺主機上 2、 ...
    卿卿老祖閱讀 2,667評論 0 1
  • .Azkaban工作流引擎和Flume數(shù)據(jù)采集 Azkaban介紹 一炮车、Azkaban簡介 為什么需要工作流調(diào)度系...
    依天立業(yè)閱讀 2,078評論 0 2
  • 存在于真實和幻境之間舵变,流失于慌慌呼呼之中。真實在于現(xiàn)實的無法改變瘦穆,幻境在于無止境的夢境纪隙,擁有和失去都始終是...
    伴生魂閱讀 244評論 0 0
  • 雷素敏,焦點網(wǎng)絡中扛或,12期堅持原創(chuàng)绵咱,分享398天。昨天在教師進修學校聽了一堂河南大學王茝老師的講座教師的職業(yè)素養(yǎng)熙兔。...
    風雨之前閱讀 210評論 0 0