發(fā)簡(jiǎn)信
IP屬地：北京
-
spark開(kāi)發(fā)調(diào)優(yōu)開(kāi)發(fā)調(diào)優(yōu)原則一：避免創(chuàng)建重復(fù)的RDD原則二：盡可能復(fù)用同一個(gè)RDD原則三：對(duì)多次使用的RDD進(jìn)行持久化Spark的持久化級(jí)別原則四：盡量避免使用...
-
HDFS架構(gòu)
1.hadoop1.x hdfs架構(gòu)圖 3.hdfs寫(xiě)流程客戶端要向HDFS寫(xiě)數(shù)據(jù)育苟，首先要跟namenode通信以確認(rèn)可以寫(xiě)文件并獲得接收文件b...
-
HDFS簡(jiǎn)介HDFS是傳統(tǒng)的Master-Slave架構(gòu)：一個(gè)集群由一個(gè)Master節(jié)點(diǎn)和若干個(gè)Slave節(jié)點(diǎn)組成逊桦。在HDFS中，Master節(jié)點(diǎn)稱(chēng)為Nam...
-
kafka 架構(gòu)https://www.cnblogs.com/cyfonly/p/5954614.html 2.1 拓?fù)浣Y(jié)構(gòu) 2.2 相關(guān)概念 1.produ...
-
spark數(shù)據(jù)傾斜一、數(shù)據(jù)傾斜 數(shù)據(jù)傾斜一般發(fā)生在對(duì)數(shù)據(jù)進(jìn)行重新劃分以及聚合的處理過(guò)程中。執(zhí)行Spark作業(yè)時(shí)，數(shù)據(jù)傾斜一般發(fā)生在shuffle過(guò)程中檐嚣，因?yàn)镾pa...
-
hive的優(yōu)化點(diǎn)，能夠提升的效率差異比較重要是頭幾個(gè)和后幾個(gè)啰扛，尤其是最后兩個(gè)嚎京，性能提升效果是最明顯的。但是會(huì)同時(shí)開(kāi)啟更多的MR任務(wù)侠讯，這就需要一個(gè)平衡了。 嵌套SQL并行執(zhí)行優(yōu)化: ...
-
SPARK優(yōu)化
1.1暑刃、 分配更多資源 1.1.1厢漩、分配哪些資源？ Executor的數(shù)量 每個(gè)Executor所能分配的CPU數(shù)量 每個(gè)Executor所能分...
-
hbase大規(guī)模數(shù)據(jù)寫(xiě)入的優(yōu)化歷程
業(yè)務(wù)背景：由于需要將ngix日志過(guò)濾出來(lái)的1億+條用戶行為記錄存入Hbase數(shù)據(jù)庫(kù)岩臣，以此根據(jù)一定的條件來(lái)提供近實(shí)時(shí)查詢(xún)溜嗜，比如根據(jù)用戶id及一定的...
-
HBase工作原理學(xué)習(xí)
HBase工作原理學(xué)習(xí) 1 HBase簡(jiǎn)介 HBase是一個(gè)高可靠性、高性能架谎、面向列炸宵、可伸縮的分布式存儲(chǔ)系統(tǒng)，利用HBase技術(shù)可在廉價(jià)PC S...