多個分區(qū)表報錯:
Caused by: java.nio.channels.ClosedChannelException
at org.apache.hadoop.hdfs.DFSOutputStream.checkClosed(DFSOutputStream.java:1765)
at org.apache.hadoop.fs.FSOutputSummer.write(FSOutputSummer.java:108)
at org.apache.hadoop.fs.FSDataOutputStream$PositionCache.write(FSDataOutputStream.java:58)
at java.io.DataOutputStream.write(DataOutputStream.java:107)
at org.apache.hadoop.hive.ql.io.orc.WriterImpl$BufferedStream.spillTo(WriterImpl.java:401)
at org.apache.hadoop.hive.ql.io.orc.WriterImpl.flushStripe(WriterImpl.java:2071)
at org.apache.hadoop.hive.ql.io.orc.WriterImpl.close(WriterImpl.java:2289)
at org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat$OrcRecordWriter.close(OrcOutputFormat.java:106)
at org.apache.hadoop.hive.ql.exec.FileSinkOperator$FSPaths.closeWriters(FileSinkOperator.java:185)
... 15 more
org.apache.hadoop.hive.ql.metadata.HiveException: java.nio.channels.ClosedChannelException
at org.apache.hadoop.hive.ql.exec.FileSinkOperator$FSPaths.closeWriters(FileSinkOperator.java:188)
at org.apache.hadoop.hive.ql.exec.FileSinkOperator.closeOp(FileSinkOperator.java:958)
at org.apache.hadoop.hive.ql.exec.Operator.close(Operator.java:598)
at org.apache.hadoop.hive.ql.exec.Operator.close(Operator.java:610)
at org.apache.hadoop.hive.ql.exec.Operator.close(Operator.java:610)
at org.apache.hadoop.hive.ql.exec.Operator.close(Operator.java:610)
at org.apache.hadoop.hive.ql.exec.Operator.close(Operator.java:610)
at org.apache.hadoop.hive.ql.exec.mr.ExecMapper.close(ExecMapper.java:199)
at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:61)
at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:453)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:343)
at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:163)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1671)
at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)
Caused by: java.nio.channels.ClosedChannelException
at org.apache.hadoop.hdfs.DFSOutputStream.checkClosed(DFSOutputStream.java:1765)
at org.apache.hadoop.fs.FSOutputSummer.write(FSOutputSummer.java:108)
at org.apache.hadoop.fs.FSDataOutputStream$PositionCache.write(FSDataOutputStream.java:58)
at java.io.DataOutputStream.write(DataOutputStream.java:107)
at org.apache.hadoop.hive.ql.io.orc.WriterImpl$BufferedStream.spillTo(WriterImpl.java:401)
at org.apache.hadoop.hive.ql.io.orc.WriterImpl.flushStripe(WriterImpl.java:2071)
at org.apache.hadoop.hive.ql.io.orc.WriterImpl.close(WriterImpl.java:2289)
at org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat$OrcRecordWriter.close(OrcOutputFormat.java:106)
at org.apache.hadoop.hive.ql.exec.FileSinkOperator$FSPaths.closeWriters(FileSinkOperator.java:185)
... 15 more
解決方法:
set hive.optimize.sort.dynamic.partition=true
Caused by: java.nio.channels.ClosedChannelException
最后編輯于 :
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
- 文/潘曉璐 我一進(jìn)店門讥电,熙熙樓的掌柜王于貴愁眉苦臉地迎上來蹂窖,“玉大人,你說我怎么就攤上這事恩敌∷膊猓” “怎么了?”我有些...
- 文/不壞的土叔 我叫張陵,是天一觀的道長月趟。 經(jīng)常有香客問我灯蝴,道長,這世上最難降的妖魔是什么孝宗? 我笑而不...
- 正文 為了忘掉前任穷躁,我火速辦了婚禮,結(jié)果婚禮上碳褒,老公的妹妹穿的比我還像新娘折砸。我一直安慰自己,他們只是感情好沙峻,可當(dāng)我...
- 文/花漫 我一把揭開白布睦授。 她就那樣靜靜地躺著,像睡著了一般摔寨。 火紅的嫁衣襯著肌膚如雪去枷。 梳的紋絲不亂的頭發(fā)上,一...
- 文/蒼蘭香墨 我猛地睜開眼录粱,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了画拾?” 一聲冷哼從身側(cè)響起啥繁,我...
- 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎青抛,沒想到半個月后旗闽,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
- 正文 獨(dú)居荒郊野嶺守林人離奇死亡蜜另,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
- 正文 我和宋清朗相戀三年适室,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片蚕钦。...
- 正文 年R本政府宣布,位于F島的核電站整袁,受9級特大地震影響菠齿,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜坐昙,卻給世界環(huán)境...
- 文/蒙蒙 一绳匀、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧炸客,春花似錦疾棵、人聲如沸。這莊子的主人今日做“春日...
- 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至开仰,卻和暖如春拟枚,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背众弓。 一陣腳步聲響...
- 正文 我出身青樓脚乡,卻偏偏與公主長得像,于是被迫代替她去往敵國和親滨达。 傳聞我的和親對象是個殘疾皇子每窖,可洞房花燭夜當(dāng)晚...
推薦閱讀更多精彩內(nèi)容
- Spark SQL, DataFrames and Datasets Guide Overview SQL Dat...
- Spark SQL, DataFrames and Datasets Guide Overview SQL Dat...
- github鏈接 針對Hive的優(yōu)化主要有以下幾個方面: map reduce file format shuff...
- 首先,我們在使用前先看看HDFS是什麼弦悉?這將有助于我們是以后的運(yùn)維使用和故障排除思路的獲得。 HDFS采用mast...