發(fā)簡信
IP屬地：廣東
-
Spark sql 解析原理引用：Spark SQL架構和原理[https://zhuanlan.zhihu.com/p/107904954]Spark SQL 性能優(yōu)化再...
-
關于SparkStreaming 緩存KafkaCosumer導致多個線程使用一個Cosumer對象報錯解決思路
現(xiàn)象 可以通過以上異常看到“Block rdd_722700_5 could not be removed as it was not foun...
-
Spark調優(yōu)
Spark參數(shù)調優(yōu)： num-executors建議：一般設置50~100左右 executors-memory建議:4G8G糜芳，不超過整個集群資...
-
Hive分析函數(shù)Hive分析函數(shù) Example: Ntile（分片） 使用場景：計算百分之幾的用戶的結果 給了用戶和每個用戶對應的消費信息表泌参， 計算花費前50...
-
Hbase面試題
1.Hbase的特點 分布式面向列存儲 主從結構 合適存儲半結構化數(shù)據(jù)或者非結構化數(shù)據(jù) Null不會存儲，沒有數(shù)據(jù)類型 cell存儲的是字節(jié)數(shù)組...
-
Kafka面試題1.Kafka定義 Kafka是分布式的發(fā)布訂閱消息系統(tǒng)，可劃分的，冗余備份的持久性日志服務 2.Kafka的作用 緩沖削峰 解耦可擴展 異步 ...
-
數(shù)倉初探’## 數(shù)倉特征： 面前主題：數(shù)據(jù)分析問題，一個主題對應一個分析領域宿崭，如：用戶行為 集成：面向企業(yè)級的數(shù)據(jù)，數(shù)據(jù)具有完整性才写，一致性葡兑，精準性 變化...
-
SparkStreaming限速
SparkStreaming限速 Spark端限速 調整spark.streaming.kafka.maxrateperpartiton參數(shù)，它...