1. 控制reduce端緩沖大小以避免OOM 在Shuffle過程塘匣，reduce端task并不是等到map端task將其數(shù)據(jù)全部寫入磁盤后再去拉取齐媒，而是map端寫一點數(shù)據(jù)，r...
發(fā)簡信
IP屬地：四川
-
Spark故障排除
-
Spark 數(shù)據(jù)傾斜解決方案
Spark中的數(shù)據(jù)傾斜問題主要指shuffle過程中出現(xiàn)的數(shù)據(jù)傾斜問題往湿，是由于不同的key對應的數(shù)據(jù)量不同導致的不同task所處理的數(shù)據(jù)量不同的問題妖异。 例如惨好，reduce點一...
-
Spark調優(yōu)常規(guī)性能調優(yōu) 1. 最優(yōu)資源配置 Spark性能調優(yōu)的第一步，就是為任務分配更多的資源随闺，在一定范圍內，增加資源的分配與性能的提升是成正比的蔓腐，實現(xiàn)了最優(yōu)的資源配置后矩乐，在此基礎上...
-
Hive調優(yōu)Fetch抓取 Fetch抓取是指，Hive中對某些情況的查詢可以不必使用MapReduce計算回论。例如：SELECT * FROM employees; 在這種情況下散罕，Hiv...
-
SpringCloud Eureka Server配置優(yōu)化
1. Eureka的自我保護 默認情況下，如果EurekaServer在一定時間內（默認90秒）沒有接收到某個微服務實例的心跳傀蓉，Eureka Server將會移除該實例欧漱。但是...
-
Hbase數(shù)據(jù)模型及其架構原理HBase數(shù)據(jù)模型 邏輯上，HBase的數(shù)據(jù)模型同關系型數(shù)據(jù)庫很類似葬燎，數(shù)據(jù)存儲在一張表中误甚，有行有列。但從HBase的底層物理存儲結構（K-V）來看谱净，HBase更像是一個mul...
-
HDFS架構及其工作原理HDFS架構 NameNode: 就是Master窑邦，它就是一個主管，管理者（1）管理hdfs的名稱空間（2）配置副本策略（3）管理數(shù)據(jù)塊（Block）映射信息（4）處理客戶端...
-
Kafka介紹及其工作原理Kafka是一個分布式壕探，基于發(fā)布/訂閱模式的消息隊列冈钦，主要應用于大數(shù)據(jù)實時處理領域。 基礎架構 為了方便擴展李请，并提高吞吐量瞧筛，一個topic分為多個partition 配合分區(qū)...
-
RocketMQ介紹及其工作原理RocketMQ是一個開源的分布式消息中間件。 集群架構與角色 Producer先去NameServer請求导盅，NameServer分配一個Broker給Producer较幌，Pr...
-
Spring源碼剖析（二） - Bean對象的三級緩存前面講到Spring在創(chuàng)建Bean的過程中使用了三級緩存來對Bean對象進行緩存。這個三級緩存是用來解決對象的循環(huán)依賴問題认轨。 什么是對象的循環(huán)依賴绅络？ 舉個例子： class ...
-
Spring源碼分析（一） - 概述以及Bean的創(chuàng)建應用上下文創(chuàng)建流程概覽 源碼剖析 創(chuàng)建Spring應用程序上下文 進入ClassPathXmlApplicationContext構造函數(shù) （1）調用父類構造方法，創(chuàng)建Res...
-
FastDFS工作原理淺析什么是FastDFS FastDFS 是一個 C 語言實現(xiàn)的開源輕量級分布式文件系統(tǒng),作者余慶(happyfish100),支持 Linux嘁字、FreeBSD恩急、AID 等 Un...
-
ElasticSearch相關性算分
搜索的相關性算分，描述了一個文檔和查詢語句匹配的程度纪蜒。ES會對每個匹配查詢條件結果進行算分_score. 打分的本質是排序衷恭，需要把最符合用戶需求的文檔排在前面。ES5之前纯续，算...
-
ElasticSearch倒排索引及其原理正排索引：文檔ID到文檔內容和單詞的關聯(lián) 倒排索引：單詞到文檔ID的關系備注：ES對文檔每個字段都有自己的倒排索引随珠，可以指定某些字段不做索引灭袁，這樣可以節(jié)省存儲空間，缺點是這個...
-
Redis-Cluster淺析簡述 redis cluster是Redis的分布式解決方案窗看，在3.0版本推出后有效地解決了redis分布式方面的需求. 自動將數(shù)據(jù)進行分片茸歧，每個master上放一部分數(shù)據(jù)，...
-
Redis內存淘汰策略
當Redis內存超過最大允許的內存之后显沈，Redis就會觸發(fā)內存淘汰策略(閾值可配置) 早期Redis版本：allkeys-random：在所有的緩存中隨機刪除（不推薦）all...
-
Redis緩存穿透软瞎，擊穿，雪崩緩存穿透 緩存穿透是指緩存和數(shù)據(jù)庫中都沒有的數(shù)據(jù)拉讯，而用戶不斷發(fā)起請求涤浇。由于緩存是不命中時被動寫的，并且出于容錯考慮魔慷，如果從存儲層查不到數(shù)據(jù)則不寫入緩存只锭，這將導致這個不存在的數(shù)...
-
Redis跳表，壓縮表院尔，quicklist跳表(skiplist) 跳表由多層鏈表組成蜻展，通過先比較上一層的大小，就可以很快找到該值在下一層的區(qū)間范圍邀摆。時間復雜度為log(n). Redis的zset铺呵，有序集合，是字典...
-
Redis持久化機制一隧熙，RDB 每隔一段時間片挂，把內存中的數(shù)據(jù)寫入磁盤的臨時文件，作為快照贞盯，恢復的時候把快照文件讀進內存音念。 優(yōu)勢 每隔一段時間備份，全量備份 災備簡單躏敢，可以遠程傳輸 子進程備份的時...
-
Redis線程模型在Redis啟動及初始化的時候,Redis會(預先)將連接應答處理器跟"AE_READABLE"事件關聯(lián)起來,接著如果一個客戶端向Redis發(fā)起連接,此時就會產(chǎn)生一個"AE_...