HDFS 設置回收站及誤刪數據恢復

HDFS會早每一個用戶目錄下創(chuàng)建一個回收站目錄惯退,即:/user/username/.Trash每一個被刪除的文件和目錄,都會有一個回收周期(fs.trash.interval)沦疾。在這個回收周期內箕般,文件實際上會被移動到這個回收站目錄下面辱匿,可以被用戶手動進行恢復灶泵。當回收周期到達時,HDFS就會將這個文件/目錄徹底刪除补箍。
在每個節(jié)點的core-site.xml上配置為1天:

<property>
  <name>fs.trash.interval</name>
  <value>1440</value>
  <description>minutes between trash checkpoints</description>
</property>

在HDFS內部的具體實現就是在NameNode中開啟了一個后臺線程Emptier(默認是org.apache.hadoop.fs.TrashPolicyDefault.Emptier改执,也可以通過fs.trash.classname指定TrashPolicy類)啸蜜,這個線程專門管理和監(jiān)控系統(tǒng)回收站下面的所有文件/目錄,對于已經超過生命周期的文件/目錄辈挂,這個線程就會自動的刪除它們衬横,不過這個管理的粒度很大。另外呢岗,用戶也可以手動清空回收站(通過hdfs dfs -expunge)冕香,也可以使用rm清空回收站,此時后豫,不會再觸發(fā)回收站操作悉尾。Emptier每隔fs.trash.interval分鐘就清空一次用戶回收站。即先檢查每個用戶回收站目錄挫酿,然后刪除壽命超過fs.trash.interval的目錄构眯,最后將當前存放刪除的文件/目錄的回收站目錄/user/用戶名/.Trash/current重命名為一個/user/用戶名/.Trash/yyMMddHHmm。也就是從理論上說早龟,在回收站里的目錄會保留fs.trash.interval – 2*fs.trash.interval時間區(qū)間惫霸。
如果使用rm命令時,啟用trash的fs.trash.interval參數不用重啟后臺進程葱弟。但要求在/user目錄下需要有對應用戶的home目錄壹店,否則會因為創(chuàng)建目錄失敗報錯。
rmr: Failed to move to trash: hdfs://test1:9000/tmp: Permission denied: user=root, access=WRITE, inode=”/user”:hdfs:supergroup:drwxr-xr-x
成功刪除會提示mv到trash目錄下芝加。

hdfs dfs -rmr /tmp
Moved: 'hdfs://test1:9000/tmp' to trash at: hdfs://test1:9000/user/hdfs/.Trash/Current
hdfs dfs -ls -R /user/hdfs
drwx------   - hdfs supergroup          0 2014-12-19 11:24 /user/hdfs/.Trash
drwx------   - hdfs supergroup          0 2014-12-19 11:24 /user/hdfs/.Trash/Current
drwxr-xr-x   - hdfs supergroup          0 2014-12-19 11:16 /user/hdfs/.Trash/Current/tmp
drwxr-xr-x   - hdfs supergroup          0 2014-12-19 11:16 /user/hdfs/.Trash/Current/tmp/txt
drwxr-xr-x   - hdfs supergroup          0 2014-12-19 11:16 /user/hdfs/.Trash/Current/tmp/txt/hello
-rw-r--r--   3 hdfs supergroup        137 2014-12-18 11:05 /user/hdfs/hello.txt
-rw-r--r--   3 hdfs supergroup        137 2014-12-18 11:05 /user/hdfs/hello.txt.bak
?#恢復回收站目錄:
hdfs dfs -mv /user/hdfs/.Trash/Current/tmp /
-bash-4.1$ hdfs dfs -ls -R /tmp
drwxr-xr-x   - hdfs supergroup          0 2014-12-19 11:16 /tmp/txt
drwxr-xr-x   - hdfs supergroup          0 2014-12-19 11:16 /tmp/txt/hello
#清空回收站硅卢,實際上是立即執(zhí)行了一次清理trash的checkpoint。
hdfs dfs -expunge
/12/19 17:31:29 INFO fs.TrashPolicyDefault: Created trash checkpoint: /user/hdfs/.Trash/141219173129
?著作權歸作者所有,轉載或內容合作請聯系作者
  • 序言:七十年代末藏杖,一起剝皮案震驚了整個濱河市将塑,隨后出現的幾起案子,更是在濱河造成了極大的恐慌蝌麸,老刑警劉巖点寥,帶你破解...
    沈念sama閱讀 219,110評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現場離奇詭異来吩,居然都是意外死亡敢辩,警方通過查閱死者的電腦和手機,發(fā)現死者居然都...
    沈念sama閱讀 93,443評論 3 395
  • 文/潘曉璐 我一進店門弟疆,熙熙樓的掌柜王于貴愁眉苦臉地迎上來责鳍,“玉大人,你說我怎么就攤上這事兽间。” “怎么了正塌?”我有些...
    開封第一講書人閱讀 165,474評論 0 356
  • 文/不壞的土叔 我叫張陵嘀略,是天一觀的道長恤溶。 經常有香客問我,道長帜羊,這世上最難降的妖魔是什么咒程? 我笑而不...
    開封第一講書人閱讀 58,881評論 1 295
  • 正文 為了忘掉前任,我火速辦了婚禮讼育,結果婚禮上帐姻,老公的妹妹穿的比我還像新娘。我一直安慰自己奶段,他們只是感情好饥瓷,可當我...
    茶點故事閱讀 67,902評論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著痹籍,像睡著了一般呢铆。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上蹲缠,一...
    開封第一講書人閱讀 51,698評論 1 305
  • 那天棺克,我揣著相機與錄音,去河邊找鬼线定。 笑死娜谊,一個胖子當著我的面吹牛,可吹牛的內容都是我干的斤讥。 我是一名探鬼主播纱皆,決...
    沈念sama閱讀 40,418評論 3 419
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼周偎!你這毒婦竟也來了抹剩?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 39,332評論 0 276
  • 序言:老撾萬榮一對情侶失蹤蓉坎,失蹤者是張志新(化名)和其女友劉穎澳眷,沒想到半個月后,有當地人在樹林里發(fā)現了一具尸體蛉艾,經...
    沈念sama閱讀 45,796評論 1 316
  • 正文 獨居荒郊野嶺守林人離奇死亡钳踊,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 37,968評論 3 337
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現自己被綠了勿侯。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片拓瞪。...
    茶點故事閱讀 40,110評論 1 351
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖助琐,靈堂內的尸體忽然破棺而出祭埂,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 35,792評論 5 346
  • 正文 年R本政府宣布蛆橡,位于F島的核電站舌界,受9級特大地震影響,放射性物質發(fā)生泄漏泰演。R本人自食惡果不足惜呻拌,卻給世界環(huán)境...
    茶點故事閱讀 41,455評論 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦晶疼、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,003評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽缔御。三九已至抬闷,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間耕突,已是汗流浹背笤成。 一陣腳步聲響...
    開封第一講書人閱讀 33,130評論 1 272
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留眷茁,地道東北人炕泳。 一個月前我還...
    沈念sama閱讀 48,348評論 3 373
  • 正文 我出身青樓,卻偏偏與公主長得像上祈,于是被迫代替她去往敵國和親培遵。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 45,047評論 2 355

推薦閱讀更多精彩內容