HDFS讀取append中文件發(fā)生異常can't locate block

問題現(xiàn)象

HDFS讀取文件偶現(xiàn)失敗，均為append中文件，拋出cant't locate block異常锡搜。

問題分析

HDFS2.7.2及以前版本對(duì)Append操作處理存在實(shí)現(xiàn)缺陷。Append數(shù)據(jù)在寫最后一個(gè)Block時(shí)，NameNode會(huì)刷新其Block Id苇侵，而DataNode會(huì)在寫完后才刷新Block Id，在此期間如果業(yè)務(wù)側(cè)同時(shí)讀取該文件企锌，并讀到該Block榆浓，且其處在DataNode還沒更新Block Id之前，則會(huì)出現(xiàn)該異常撕攒。

問題解決方案

調(diào)整業(yè)務(wù)邏輯陡鹃，避免讀取Append中文件末尾Block。

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
禁止轉(zhuǎn)載抖坪，如需轉(zhuǎn)載請(qǐng)通過簡(jiǎn)信或評(píng)論聯(lián)系作者萍鲸。
  • 人面猴
    序言：七十年代末，一起剝皮案震驚了整個(gè)濱河市擦俐，隨后出現(xiàn)的幾起案子脊阴，更是在濱河造成了極大的恐慌，老刑警劉巖蚯瞧，帶你破解...
    沈念sama閱讀 211,123評(píng)論 6贊 490
  • 死咒
    序言：濱河連續(xù)發(fā)生了三起死亡事件嘿期，死亡現(xiàn)場(chǎng)離奇詭異，居然都是意外死亡埋合，警方通過查閱死者的電腦和手機(jī)备徐，發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,031評(píng)論 2贊 384
  • 救了他兩次的神仙讓他今天三更去死
    文/潘曉璐 我一進(jìn)店門，熙熙樓的掌柜王于貴愁眉苦臉地迎上來甚颂，“玉大人蜜猾，你說我怎么就攤上這事≌裎埽” “怎么了蹭睡？”我有些...
    開封第一講書人閱讀 156,723評(píng)論 0贊 345
  • 道士緝兇錄：失蹤的賣姜人
    文/不壞的土叔 我叫張陵，是天一觀的道長(zhǎng)贷揽。 經(jīng)常有香客問我棠笑，道長(zhǎng)，這世上最難降的妖魔是什么禽绪？ 我笑而不...
    開封第一講書人閱讀 56,357評(píng)論 1贊 283
  • ?港島之戀（遺憾婚禮）
    正文 為了忘掉前任蓖救，我火速辦了婚禮洪规，結(jié)果婚禮上，老公的妹妹穿的比我還像新娘循捺。我一直安慰自己斩例，他們只是感情好，可當(dāng)我...
    茶點(diǎn)故事閱讀 65,412評(píng)論 5贊 384
  • 惡毒庶女頂嫁案：這布局不是一般人想出來的
    文/花漫 我一把揭開白布从橘。 她就那樣靜靜地躺著念赶，像睡著了一般。 火紅的嫁衣襯著肌膚如雪恰力。 梳的紋絲不亂的頭發(fā)上叉谜，一...
    開封第一講書人閱讀 49,760評(píng)論 1贊 289
  • 城市分裂傳說
    那天，我揣著相機(jī)與錄音踩萎，去河邊找鬼停局。 笑死，一個(gè)胖子當(dāng)著我的面吹牛香府，可吹牛的內(nèi)容都是我干的董栽。 我是一名探鬼主播，決...
    沈念sama閱讀 38,904評(píng)論 3贊 405
  • 雙鴛鴦連環(huán)套：你想象不到人心有多黑
    文/蒼蘭香墨 我猛地睜開眼企孩，長(zhǎng)吁一口氣：“原來是場(chǎng)噩夢(mèng)啊……” “哼锭碳！你這毒婦竟也來了？” 一聲冷哼從身側(cè)響起勿璃，我...
    開封第一講書人閱讀 37,672評(píng)論 0贊 266
  • 萬榮殺人案實(shí)錄
    序言：老撾萬榮一對(duì)情侶失蹤擒抛，失蹤者是張志新（化名）和其女友劉穎，沒想到半個(gè)月后蝗柔，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體闻葵，經(jīng)...
    沈念sama閱讀 44,118評(píng)論 1贊 303
  • ?護(hù)林員之死
    正文 獨(dú)居荒郊野嶺守林人離奇死亡民泵，尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,456評(píng)論 2贊 325
  • ?白月光啟示錄
    正文 我和宋清朗相戀三年癣丧，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片栈妆。...
    茶點(diǎn)故事閱讀 38,599評(píng)論 1贊 340
  • 活死人
    序言：一個(gè)原本活蹦亂跳的男人離奇死亡胁编，死狀恐怖，靈堂內(nèi)的尸體忽然破棺而出鳞尔，到底是詐尸還是另有隱情嬉橙，我是刑警寧澤，帶...
    沈念sama閱讀 34,264評(píng)論 4贊 328
  • ?日本核電站爆炸內(nèi)幕
    正文 年R本政府宣布寥假，位于F島的核電站市框，受9級(jí)特大地震影響，放射性物質(zhì)發(fā)生泄漏糕韧。R本人自食惡果不足惜枫振，卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,857評(píng)論 3贊 312
  • 男人毒藥：我在死后第九天來索命
    文/蒙蒙 一喻圃、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧粪滤，春花似錦斧拍、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,731評(píng)論 0贊 21
  • 一樁弒父案肆汹，背后竟有這般陰謀
    文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至予权，卻和暖如春昂勉，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背扫腺。 一陣腳步聲響...
    開封第一講書人閱讀 31,956評(píng)論 1贊 264
  • 情欲美人皮
    我被黑心中介騙來泰國(guó)打工硼啤， 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留，地道東北人斧账。 一個(gè)月前我還...
    沈念sama閱讀 46,286評(píng)論 2贊 360
  • 代替公主和親
    正文 我出身青樓谴返，卻偏偏與公主長(zhǎng)得像，于是被迫代替她去往敵國(guó)和親咧织。 傳聞我的和親對(duì)象是個(gè)殘疾皇子嗓袱，可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,465評(píng)論 2贊 348

推薦閱讀更多精彩內(nèi)容