Linux基本操作(包含hive和hadoop)

首先寇僧,創(chuàng)建一系列目錄巫湘,方便說明個命令娄猫。創(chuàng)建完后使用 tree命令查看目錄結(jié)構(gòu)


image.png

一、終端命令提示符

hostname

作用:查看主機(jī)名字

image.png
.表示當(dāng)前路徑外冀,..表示上級路徑寡键。此處的意思是顯示date目錄下的內(nèi)容,如果顯示date上級目錄則要輸入 ls ../data

二雪隧、查看文件信息:ls

ls是英文單詞list的簡寫西轩,其功能為列出目錄的內(nèi)容。

ls 
ls命令常用參數(shù)內(nèi)容

輸入方式:

ls -l 
ll
ll -h

第二行是第一行的簡寫膀跌,
作用:都可以查看目錄下的內(nèi)容(以及詳細(xì)信息以及人性化的現(xiàn)實詳細(xì)信息)


d開頭的是文件目錄遭商,-開頭的是具體文件.png

當(dāng)目錄的結(jié)構(gòu)比較復(fù)雜時,與通配符連用以進(jìn)行查找

image.png

三捅伤、切換工作目錄: cd

cd home/

作用:切換工作目錄劫流,home為工作目錄的名字,這里意思是切換到home目錄下丛忆。


image.png

命令  含義
cd      #切換到當(dāng)前用戶的主目錄(/home/用戶目錄)祠汇,用戶登陸的時候,默認(rèn)的目錄就是用戶的主目錄熄诡。
cd ~    #切換到當(dāng)前用戶的主目錄(/home/用戶目錄)
cd .    #切換到當(dāng)前目錄
cd ..   #切換到上級目錄
cd -    #可進(jìn)入上次所在的目錄

注意:如果路徑是從根路徑開始的可很,則路徑的前面需要加上 “ / ”,如 “ /mnt ”凰浮,通常進(jìn)入某個目錄里的文件夾我抠,前面不用加 “ / ”苇本。

四、創(chuàng)建目錄:mkdir

通過mkdir命令可以創(chuàng)建一個新的目錄菜拓。參數(shù)-p可遞歸創(chuàng)建目錄瓣窄。

mkdir -p a/b/c #當(dāng)前目錄下創(chuàng)建目錄a,a下有一級子目錄b和二級子目錄c

需要注意的是新建目錄的名稱不能與當(dāng)前目錄中已有的目錄或文件同名纳鼎,并且目錄創(chuàng)建者必須對當(dāng)前目錄具有寫權(quán)限俺夕。

ls、touch劝贸、mkdir

'mkdir -p a/b/c'意思是在a文件夾中創(chuàng)建b文件夾,在b文件夾中創(chuàng)建c文件夾逗宁。mkdir加上'-p'就可以實現(xiàn)遞歸的創(chuàng)建文件夾

五映九、創(chuàng)建文件: touch

touch hello.txt

注意:

  • 則會在當(dāng)前路徑下創(chuàng)建名字為hello.txt的空文件
  • Linux系統(tǒng)中沒有嚴(yán)格的后綴(格式),所以創(chuàng)建文件時可以命名為任意的文件名

六疙剑、拷貝命令:cp

cp命令的功能是將給出的文件或目錄復(fù)制到另一個文件或目錄中氯迂,相當(dāng)于DOS下的copy命令践叠。

常用選項說明: cp [options] 源文件 目標(biāo)位置


常用選項

強(qiáng)制執(zhí)行

cp強(qiáng)制執(zhí)行言缤,frog001.txt文件強(qiáng)制拷貝到frogdata目錄下并改名為frog002.txt

將frogdata目錄下的文件和目錄復(fù)制到frogdata2文件夾內(nèi)

七、移動/重命名:mv命令

常用選項

frog001.txt改名為frog002.txt

八禁灼、顯示當(dāng)前路徑:pwd

使用pwd命令可以顯示當(dāng)前的工作目錄管挟,該命令很簡單,直接輸入pwd即可弄捕,后面不帶參數(shù)僻孝。


'cd ../..' 表示返回當(dāng)前目錄的上上層目錄,這里正好到達(dá)根目錄守谓,通過'pwd'可以看出

九穿铆、tree:查看文件結(jié)構(gòu)

tree 查看路徑的所有文件夾結(jié)構(gòu),會把子層目錄也顯示出來


tree后面可以跟目錄也可以不跟

十斋荞、history:查看歷史命令

使用history命令下的已經(jīng)寫過的命令

十一荞雏、顯示當(dāng)前耗時進(jìn)程:top

top
ctrl+c #作用:結(jié)束當(dāng)前命令

十二、輸出重定向命令:> 平酿、>>

注意:>輸出重定向會覆蓋原來的內(nèi)容凤优,>>輸出重定向則會追加到文件的尾部。

如果> />>后面的文件不存在會首先創(chuàng)建

選擇當(dāng)前目錄下的frogdata目錄蜈彼,將查詢結(jié)果覆蓋到''../pos.txt''

十三筑辨、查看或者合并文件內(nèi)容

查看文件內(nèi)容

給frog001 .txt中寫一些內(nèi)容,vi命令Enter后按i幸逆,編寫完成后按Esc棍辕,再按Shift+z+z暮现,就完成編寫了

image.png
查看兩個文件內(nèi)容

合并成一個文件pos.txt:cat frog001.txt frog002.txt > pos.txt

十二、分屏查看:more

查看內(nèi)容時楚昭,在信息過長無法在一屏上顯示時送矩,會出現(xiàn)快速滾屏,使得用戶無法看清文件的內(nèi)容哪替,此時可以使用more命令栋荸,每次只顯示一頁,按下空格鍵可以顯示下一頁凭舶,按下q鍵退出顯示晌块,按下h鍵可以獲取幫助。


單個命令形成文件直接使用>即可帅霜,不需要使用cat >

按Enter顯示一行匆背,按空格顯示一行,按q退出

十三身冀、管道:|

管道:一個命令的輸出可以通過管道做為另一個命令的輸入钝尸。

管道我們可以理解現(xiàn)實生活中的管子,管子的一頭塞東西進(jìn)去搂根,另一頭取出來珍促,這里“ | ”的左右分為兩端,左端塞東西(寫)剩愧,右端取東西(讀)猪叙。


按Enter顯示一行,按空格顯示一行仁卷,按q退出

十四穴翩、建立鏈接文件:ln

Linux鏈接文件類似于Windows下的快捷方式。

  • 軟鏈接:軟鏈接不占用磁盤空間锦积,源文件刪除則軟鏈接失效芒帕。
  • 硬鏈接:硬鏈接只能鏈接普通文件,不能鏈接目錄丰介。

使用格式:

ln 源文件 鏈接文件
ln -s 源文件 鏈接文件
如果沒有-s選項代表建立一個硬鏈接文件背蟆,兩個文件占用相同大小的硬盤空間,即使刪除了源文件基矮,鏈接文件還是存在淆储,所以-s選項是更常見的形式。

注意:

  • 如果軟鏈接文件和源文件不在同一個目錄家浇,源文件要使用絕對路徑本砰,不能使用相對路徑。
  • 如果源文件和軟/硬鏈接文件的任意一個發(fā)生了修改钢悲,另一個也會自動修改点额。


    相對路徑軟鏈接的創(chuàng)建

    刪除源文件舔株,軟鏈接無效了

    創(chuàng)建硬鏈接

十五、文本搜索:grep

Linux系統(tǒng)中g(shù)rep命令是一種強(qiáng)大的文本搜索工具还棱,grep允許對文本文件進(jìn)行模式查找载慈。如果找到匹配模式, grep打印包含模式的所有行珍手。

grep一般格式為:
grep [-選項] ‘搜索內(nèi)容串’文件名

在grep命令中輸入字符串參數(shù)時办铡,最好引號或雙引號括起來。
例如:
grep 'a' 1.txt


常用選項

image.png

grep搜索內(nèi)容串可以是正則表達(dá)式琳要。

正則表達(dá)式是對字符串操作的一種邏輯公式寡具,就是用事先定義好的一些特定字符、及這些特定字符的組合稚补,組成一個“規(guī)則字符串”童叠,這個“規(guī)則字符串”用來表達(dá)對字符串的一種過濾邏輯。

grep常用正則表達(dá)式:


image.png

十六课幕、查找:find

常見用法

777權(quán)限就是所有用戶都有rwx權(quán)限

用來在特定的目錄下搜索符合條件的文件厦坛,也可以用來搜索特定用戶屬主的文件。

查找家目錄下的pos.txt文件名的文件
命令

結(jié)果

十七乍惊、壓縮:zip

通過zip壓縮文件的目標(biāo)文件不需要指定擴(kuò)展名杜秸,默認(rèn)擴(kuò)展名為zip。
[圖片上傳中...(image.png-36b9ee-1602936864166-0)]

壓縮文件:zip [-r] 目標(biāo)文件(沒有擴(kuò)展名) 源文件
解壓文件:unzip -d 解壓后目錄文件 壓縮文件

把pos.txt文件壓縮成pos.zip文件
把pos.zip文件解壓到pos目錄中污桦,得到pos.txt文件

十八亩歹、更改權(quán)限:zip

“rwx” 這些權(quán)限用數(shù)字來代替

chmod 751 file: rwx + r-x + --x
文件所有者:讀、寫凡橱、執(zhí)行權(quán)限
同組用戶:讀、執(zhí)行的權(quán)限
其它用戶:執(zhí)行的權(quán)限


編輯模式的提示

注意:如果想遞歸所有目錄加上相同權(quán)限亭姥,需要加上參數(shù)“ -R ”稼钩。 如:chmod 777 test/ -R 遞歸 test 目錄下所有文件加 777 權(quán)限

十九、編輯文件:vim

  • 命令模式:打開文件达罗,默認(rèn)進(jìn)入此模式坝撑,是通過命令的方式對文件進(jìn)行編輯


    常用選項
vi命令進(jìn)入命令模式

image.png
  • 插入模式,編輯模式:在命令模式中按i或者a進(jìn)入插入模式粮揉,可編輯文本巡李。? 按esc退出編輯模式,進(jìn)入命令模式


    image.png
  • 末行模式:命令模式按 : 進(jìn)入末行模式扶认,末行模式可在末行輸入命令來管理文件侨拦,比如保存和退出文件


    常用選項
進(jìn)入mysql數(shù)據(jù)庫需要輸入: 'mysql -u用戶名 -p'來驗證密碼進(jìn)入

退出

二十、hive命令以及 hadoop 命令

hadoop文件存儲系統(tǒng)辐宾,hive記錄表數(shù)據(jù)用什么方式解析變成表狱从,數(shù)據(jù)實際是放在hadoop系統(tǒng)中膨蛮。

作用:
hive命令:操作
hadoop命令:查看信息

1、hive

任意位置輸入 hive 即可進(jìn)入hive數(shù)據(jù)庫

hive
show databases; #注意和linux命令不同季研,一定要加分號
進(jìn)入hive數(shù)據(jù)庫

2敞葛、hadoop

hadoop fs -ls /
查看hdfs 文件系統(tǒng)的目錄結(jié)構(gòu)
hadoop fs -ls /user/hive/warehouse #找到了.db文件所在的位置,就代表數(shù)據(jù)庫存放在這里与涡。
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末惹谐,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子驼卖,更是在濱河造成了極大的恐慌豺鼻,老刑警劉巖,帶你破解...
    沈念sama閱讀 211,194評論 6 490
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件款慨,死亡現(xiàn)場離奇詭異儒飒,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)檩奠,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,058評論 2 385
  • 文/潘曉璐 我一進(jìn)店門桩了,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人埠戳,你說我怎么就攤上這事井誉。” “怎么了整胃?”我有些...
    開封第一講書人閱讀 156,780評論 0 346
  • 文/不壞的土叔 我叫張陵颗圣,是天一觀的道長。 經(jīng)常有香客問我屁使,道長在岂,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 56,388評論 1 283
  • 正文 為了忘掉前任蛮寂,我火速辦了婚禮蔽午,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘酬蹋。我一直安慰自己及老,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 65,430評論 5 384
  • 文/花漫 我一把揭開白布范抓。 她就那樣靜靜地躺著骄恶,像睡著了一般。 火紅的嫁衣襯著肌膚如雪匕垫。 梳的紋絲不亂的頭發(fā)上僧鲁,一...
    開封第一講書人閱讀 49,764評論 1 290
  • 那天,我揣著相機(jī)與錄音,去河邊找鬼悔捶。 笑死铃慷,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的蜕该。 我是一名探鬼主播犁柜,決...
    沈念sama閱讀 38,907評論 3 406
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼堂淡!你這毒婦竟也來了馋缅?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 37,679評論 0 266
  • 序言:老撾萬榮一對情侶失蹤绢淀,失蹤者是張志新(化名)和其女友劉穎萤悴,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體皆的,經(jīng)...
    沈念sama閱讀 44,122評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡覆履,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,459評論 2 325
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了费薄。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片硝全。...
    茶點故事閱讀 38,605評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖楞抡,靈堂內(nèi)的尸體忽然破棺而出伟众,到底是詐尸還是另有隱情,我是刑警寧澤召廷,帶...
    沈念sama閱讀 34,270評論 4 329
  • 正文 年R本政府宣布凳厢,位于F島的核電站,受9級特大地震影響竞慢,放射性物質(zhì)發(fā)生泄漏先紫。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 39,867評論 3 312
  • 文/蒙蒙 一梗顺、第九天 我趴在偏房一處隱蔽的房頂上張望泡孩。 院中可真熱鬧,春花似錦寺谤、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,734評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至意狠,卻和暖如春粟关,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背环戈。 一陣腳步聲響...
    開封第一講書人閱讀 31,961評論 1 265
  • 我被黑心中介騙來泰國打工闷板, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留澎灸,地道東北人璃搜。 一個月前我還...
    沈念sama閱讀 46,297評論 2 360
  • 正文 我出身青樓米同,卻偏偏與公主長得像杂瘸,于是被迫代替她去往敵國和親庶香。 傳聞我的和親對象是個殘疾皇子香璃,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 43,472評論 2 348