hive本地數(shù)據(jù)載入報錯invalid path

hive中用load data local inpath載入本地數(shù)據(jù)時出錯氧腰,報錯找不到路徑,原因:

我本地路徑用的是自己電腦上的路徑蝗敢,但是Hive本地裝載數(shù)據(jù)中的"本地"指的是服務器的本地,而非我們電腦所在的“本地”。

如果是學習hive慷妙,在自己電腦上搭建練習環(huán)境,可能需要了解如何將“本機”(電腦)上的數(shù)據(jù)載入到hive允悦。網(wǎng)上一些教程沒有說明本地指“服務器”的原因是因為分布式計算所用到的數(shù)據(jù)量非常大膝擂,在實際操作中不太可能存在自己的電腦上,因此本地默認指服務器是合理的隙弛。但是對于非計算機背景的初學者架馋,我們往往會把教程中的“本地”當做自己電腦上的本地。

折騰了半天全闷,想把整個過程寫出來叉寂,希望能幫助需要的人。

  1. 想好要把數(shù)據(jù)存儲在服務器的什么位置
    假設現(xiàn)在已經(jīng)啟動hadoop总珠,但是沒有進入hive屏鳍】贝浚可以在服務器界面輸入
ls /

看一下有哪些目錄,例如我的界面就是:


image

在服務器界面的所有操作都會用到linux代碼钓瞭,包括如何移動文件夾驳遵、創(chuàng)建文件夾、訪問文件山涡、修改保存文件等堤结,如果這方面不是很清楚,可以去百度下linux的常用代碼鸭丛。對于Mac用戶來說竞穷,平時在terminal中操作用到的代碼就是linux代碼)

看到目錄后,想好你想把數(shù)據(jù)存在服務器的哪個位置系吩。比如来庭,我想存儲在home這個文件夾中:


image

上面的代碼意思是,移動到home文件夾中的hadoop文件夾中穿挨,用ls指令看下該文件夾下有什么文件月弛,結(jié)果發(fā)現(xiàn)有datas怎么一個文件夾。我準備把數(shù)據(jù)存到這個文件夾下科盛。

2. 把本機文件上傳到服務器

打開terminal帽衙,輸入

scp '文件在計算機上的路徑' root@服務器IP:服務器中的存儲位置

例如,我要把電腦桌上上的csv文件存入到服務器的home/hadoop/datas文件夾中贞绵,我的服務器IP是111.112.113.114厉萝,那么我應該輸入:

scp '/Users/name/Desktop/model2_datas.csv' root@111.112.113.114:/home/hadoop/datas/

接下來會要求你輸入服務器的密碼,輸入就可以榨崩。如果成功加載數(shù)據(jù)會在界面顯示加載進度谴垫,例如:

image

3. 重新回到服務器界面,我們可以看到數(shù)據(jù)已經(jīng)加載成功

[hadoop@node100 data]$ cd /home/hadoop/datas 
[hadoop@node100 data]$ ls
model2_datas.csv  --返回的結(jié)果

上面可以看到datas文件夾中已經(jīng)有我們載入的csv數(shù)據(jù)

4. 將數(shù)據(jù)載入到hive表

1)首先進入hive的界面母蛛,進入你的數(shù)據(jù)庫翩剪,然后根據(jù)你的數(shù)據(jù)創(chuàng)建一個表

create table 表名
(字段 字段類型,
字段2 字段類型2彩郊,
....)
row format delimited fields terminated by ',' --指定字段間的分隔符
tblproperties(
"skip.header.line.count"="1" --跳過文件行首1行
)

2)將服務器本地的數(shù)據(jù)載入hive表

load data local inpath '服務器中的文件路徑' into table 表名

例如我剛才的例子前弯,代碼就是

load data local inpath '/home/hadoop/datas/model2_datas.csv' into table model2_datas.csv

參考資料

  1. 拉勾數(shù)據(jù)分析訓練營資料

  2. 百度linux代碼資料

  3. hive Invalid path xxxx: No files matching path file: xxxx

    1. Hive之 Hql語法解析

    2. 實戰(zhàn)Hive本地文件系統(tǒng)導入數(shù)據(jù)

    3. mac與虛擬機傳輸文件

    4. Mac終端連接虛擬機及傳輸文件

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市秫逝,隨后出現(xiàn)的幾起案子恕出,更是在濱河造成了極大的恐慌,老刑警劉巖违帆,帶你破解...
    沈念sama閱讀 218,941評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件浙巫,死亡現(xiàn)場離奇詭異,居然都是意外死亡刷后,警方通過查閱死者的電腦和手機的畴,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,397評論 3 395
  • 文/潘曉璐 我一進店門廉油,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人苗傅,你說我怎么就攤上這事抒线。” “怎么了渣慕?”我有些...
    開封第一講書人閱讀 165,345評論 0 356
  • 文/不壞的土叔 我叫張陵嘶炭,是天一觀的道長。 經(jīng)常有香客問我逊桦,道長眨猎,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,851評論 1 295
  • 正文 為了忘掉前任强经,我火速辦了婚禮睡陪,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘匿情。我一直安慰自己兰迫,他們只是感情好,可當我...
    茶點故事閱讀 67,868評論 6 392
  • 文/花漫 我一把揭開白布炬称。 她就那樣靜靜地躺著汁果,像睡著了一般。 火紅的嫁衣襯著肌膚如雪玲躯。 梳的紋絲不亂的頭發(fā)上据德,一...
    開封第一講書人閱讀 51,688評論 1 305
  • 那天,我揣著相機與錄音跷车,去河邊找鬼棘利。 笑死,一個胖子當著我的面吹牛朽缴,可吹牛的內(nèi)容都是我干的善玫。 我是一名探鬼主播,決...
    沈念sama閱讀 40,414評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼不铆,長吁一口氣:“原來是場噩夢啊……” “哼蝌焚!你這毒婦竟也來了裹唆?” 一聲冷哼從身側(cè)響起誓斥,我...
    開封第一講書人閱讀 39,319評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎许帐,沒想到半個月后劳坑,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,775評論 1 315
  • 正文 獨居荒郊野嶺守林人離奇死亡成畦,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,945評論 3 336
  • 正文 我和宋清朗相戀三年距芬,在試婚紗的時候發(fā)現(xiàn)自己被綠了涝开。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,096評論 1 350
  • 序言:一個原本活蹦亂跳的男人離奇死亡框仔,死狀恐怖舀武,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情离斩,我是刑警寧澤银舱,帶...
    沈念sama閱讀 35,789評論 5 346
  • 正文 年R本政府宣布,位于F島的核電站跛梗,受9級特大地震影響寻馏,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜核偿,卻給世界環(huán)境...
    茶點故事閱讀 41,437評論 3 331
  • 文/蒙蒙 一诚欠、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧漾岳,春花似錦轰绵、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,993評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至耀找,卻和暖如春翔悠,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背野芒。 一陣腳步聲響...
    開封第一講書人閱讀 33,107評論 1 271
  • 我被黑心中介騙來泰國打工蓄愁, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人狞悲。 一個月前我還...
    沈念sama閱讀 48,308評論 3 372
  • 正文 我出身青樓撮抓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親摇锋。 傳聞我的和親對象是個殘疾皇子丹拯,可洞房花燭夜當晚...
    茶點故事閱讀 45,037評論 2 355

推薦閱讀更多精彩內(nèi)容