發(fā)簡信
IP屬地：河南
-
SparkSQL讀取Hive數(shù)據(jù)插入Redis
（1）背景目前使用Python讀取Hive表裙椭，解析轉(zhuǎn)換之后并發(fā)插入Redis倔矾，使用fetchone方法讀取速度較慢困食，Python轉(zhuǎn)換處理的速度也...
-
javax.jdo.JDOFatalUserException: Class org.datanucleus.api.jdo.JDOPersistenceManagerFactory was not found
javax.jdo.JDOFatalUserException: Class org.datanucleus.api.jdo.JDOPersis...
-
Spark Yarn-cluster與Yarn-client在Spark中澄成，有Yarn-Client和Yarn-Cluster兩種模式可以運(yùn)行在Yarn上党觅，通常Yarn-cluster適用于生產(chǎn)環(huán)境谅海，而Y...
-
Caused by: java.nio.channels.ClosedChannelException
多個(gè)分區(qū)表報(bào)錯(cuò)：Caused by: java.nio.channels.ClosedChannelExceptionat org.apache...
-
Unable to close OrcFileMergeOperator
報(bào)錯(cuò)：Caused by: java.io.IOException: org.apache.hadoop.hive.ql.metadata.Hi...
-
Hive插入多個(gè)分區(qū)時(shí)OOM故障解決記錄
一萝玷、故障情景 基于Hive的數(shù)據(jù)倉庫中需要做一張累積快照表嫁乘，記錄了客戶發(fā)生各個(gè)行為的具體日期昆婿，比如激活日期、注冊(cè)日期蜓斧、申請(qǐng)日期仓蛆、創(chuàng)建訂單日期等等...
-
數(shù)據(jù)倉庫中如何做增量處理
為什么做增量數(shù)據(jù)量大，只需要增量最新被更改的數(shù)據(jù)挎春。 如何做增量（1）insert into比如行為數(shù)據(jù)看疙，發(fā)生一條記錄就插入一條，數(shù)據(jù)不會(huì)被upd...
-
在數(shù)據(jù)倉庫中如何做分桶
為什么分桶 （1）獲得更高的查詢處理效率直奋。桶為表加上了額外的結(jié)構(gòu)能庆，Hive在處理有些查詢時(shí)能利用這個(gè)結(jié)構(gòu)。具體而言脚线，連接兩個(gè)在（包含連接列的）相...
-
在數(shù)據(jù)倉庫中如何做分區(qū)表
為什么做分區(qū) 分區(qū)表將數(shù)據(jù)組織成分區(qū)搁胆，主要可以提高數(shù)據(jù)的查詢速度。 如果把一年或者一個(gè)月的日志文件存放在一個(gè)表下邮绿，那么數(shù)據(jù)量會(huì)非常的大渠旁，當(dāng)查詢這...