發(fā)簡信
IP屬地：北京
-
spark開發(fā)調(diào)優(yōu)開發(fā)調(diào)優(yōu)原則一：避免創(chuàng)建重復的RDD原則二：盡可能復用同一個RDD原則三：對多次使用的RDD進行持久化Spark的持久化級別原則四：盡量避免使用...
-
HDFS架構
1.hadoop1.x hdfs架構圖 3.hdfs寫流程客戶端要向HDFS寫數(shù)據(jù)，首先要跟namenode通信以確認可以寫文件并獲得接收文件b...
-
HDFS簡介HDFS是傳統(tǒng)的Master-Slave架構：一個集群由一個Master節(jié)點和若干個Slave節(jié)點組成昌阿。在HDFS中梢夯，Master節(jié)點稱為Nam...
-
kafka 架構https://www.cnblogs.com/cyfonly/p/5954614.html 2.1 拓撲結構 2.2 相關概念 1.produ...
-
spark數(shù)據(jù)傾斜一言疗、數(shù)據(jù)傾斜 數(shù)據(jù)傾斜一般發(fā)生在對數(shù)據(jù)進行重新劃分以及聚合的處理過程中。執(zhí)行Spark作業(yè)時颂砸，數(shù)據(jù)傾斜一般發(fā)生在shuffle過程中噪奄，因為Spa...
-
hive的優(yōu)化點，能夠提升的效率差異比較重要是頭幾個和后幾個人乓，尤其是最后兩個勤篮，性能提升效果是最明顯的。但是會同時開啟更多的MR任務色罚，這就需要一個平衡了碰缔。 嵌套SQL并行執(zhí)行優(yōu)化: ...
-
SPARK優(yōu)化
1.1、 分配更多資源 1.1.1保屯、分配哪些資源手负？ Executor的數(shù)量 每個Executor所能分配的CPU數(shù)量 每個Executor所能分...
-
hbase大規(guī)模數(shù)據(jù)寫入的優(yōu)化歷程
業(yè)務背景：由于需要將ngix日志過濾出來的1億+條用戶行為記錄存入Hbase數(shù)據(jù)庫，以此根據(jù)一定的條件來提供近實時查詢姑尺，比如根據(jù)用戶id及一定的...
-
HBase工作原理學習
HBase工作原理學習 1 HBase簡介 HBase是一個高可靠性竟终、高性能、面向列切蟋、可伸縮的分布式存儲系統(tǒng)统捶，利用HBase技術可在廉價PC S...