本博客所有內(nèi)容均適用知識共享-署名-相同方式共享（CC-BY-SA）4.0協(xié)議眷茁。
發(fā)簡信
IP屬地：寧夏
-
-
Spark 動態(tài)資源失效問題排查
也可以看我CSDN的博客：https://blog.csdn.net/u013332124/article/details/89417086 一纵诞、問題描述 最近開啟動態(tài)資源后...
-
Spark寫入es：EsHadoopRemoteException: version_conflict_engine_exception
背景介紹 業(yè)務(wù)場景：spark批量寫入es，基于es-hadoop組件實現(xiàn) 批處理任務(wù)定時調(diào)度 cdh5.5.3集群，spark2.3登刺，elasticsearch6.4.3 ...
-
優(yōu)秀
TasksetManager沖突導(dǎo)致SparkContext異常關(guān)閉
背景介紹 當(dāng)正在悠閑敲著代碼的時候，業(yè)務(wù)方兄弟反饋接收到大量線上運行的spark streaming任務(wù)的告警短信纸俭，查看應(yīng)用的web頁面信息皇耗，發(fā)現(xiàn)spark應(yīng)用已經(jīng)退出了揍很，第...
-
樓主您好郎楼，閱讀了您的《自定義Spark Partitioner提升es-hadoop Bulk效率》
受益匪淺
我也遇到大量寫入es緩慢的問題了
已經(jīng)重寫ESShardPartitioner了
我將數(shù)據(jù)分為24000個partition窒悔，實際上我們有240個shard呜袁，我的每100個partition對應(yīng)es的一個分片
實際上開始寫的時候qps挺高的
到了后面會出現(xiàn)一種很怪的現(xiàn)象
還剩下200個左右的task，他們的數(shù)據(jù)都是某幾個分片简珠，比如shard1阶界，2聋庵，3這3個分片
就會導(dǎo)致后期集群只有3個節(jié)點有寫入膘融，然后運行非常長的時間
現(xiàn)在有點猜測是這3臺節(jié)點的性能略差，不知道還有沒有可能是其它原因呢
希望能賜教祭玉，不勝感激自定義Spark Partitioner提升es-hadoop Bulk效率
前言 之前寫過一篇文章，如何提高ElasticSearch 索引速度脱货。除了對ES本身的優(yōu)化以外岛都，我現(xiàn)在大體思路是盡量將邏輯外移到Spark上,Spark的分布式計算能力強，c...
-
新博客地址： <a href="https://links.jianshu.com/go?to=https%3A%2F%2Fwww.zhihu.com%2Fpeople%2Fallwefantasy" target="_blank">https://www.zhihu.com/people/allwefantasy</a>
-
樓主我想問下你說的重寫分區(qū)器提高性能的部分，是用的spark-es包的saveToEs么缓淹，我在spark-es的源碼里面沒有看到你說的TransportBulkAction進行兩重for循環(huán)的部分哈打，如果spark-es包的具體實現(xiàn)和es原生不一樣的話，能否告知spark-es在哪里對數(shù)據(jù)做的路由到shard所在機器的呢讯壶，多謝
如何提高ElasticSearch 索引速度
我Google了下，大致給出的答案如下： 使用bulk API 初次索引的時候伏蚊，把 replica 設(shè)置為 0 增大 threadpool.index.queue_size ...
-
樓主好，想問下bulkDelete的原理和bulkLoad是否相近，實際運行過程中如果bulkDelete運行緩慢是可能與什么有關(guān)呢氛改？
Spark 操作hbase(構(gòu)建一個支持更新和快速檢索的數(shù)據(jù)庫)
一帐萎、背景 在用戶畫像的系統(tǒng)中，需要將用戶ID的拉通結(jié)果表和用戶標(biāo)簽的結(jié)果表存入Hbase中胜卤。組件如下： 因而提出以下幾個問題： Spark 作為內(nèi)存計算引擎強于計算，Hbas...
-
Hbase-Spark BulkLoad 解析
一葛躏、背景 項目中有需求澈段，要頻繁地舰攒、快速地向一個表中初始化數(shù)據(jù)败富。因此如何加載數(shù)據(jù)，如何提高速度是需要解決的問題芒率。一般來說囤耳，作為數(shù)據(jù)存儲系統(tǒng)會分為檢索和存儲兩部分。檢索是對外暴露...
-
-
@Kent_Yao 哦椎麦！原來是這樣，多謝多謝
如何避免Spark SQL做數(shù)據(jù)導(dǎo)入時產(chǎn)生大量小文件
什么是小文件材彪？ 生產(chǎn)上观挎，我們往往將Spark SQL作為Hive的替代方案，來獲得SQL on Hadoop更出色的性能段化。因此嘁捷，本文所講的是指存儲于HDFS中小文件，即指文件...
-
@Kent_Yao 請問如何保證呢雄嚣？
如何避免Spark SQL做數(shù)據(jù)導(dǎo)入時產(chǎn)生大量小文件
什么是小文件？ 生產(chǎn)上喘蟆，我們往往將Spark SQL作為Hive的替代方案，來獲得SQL on Hadoop更出色的性能蕴轨。因此港谊，本文所講的是指存儲于HDFS中小文件，即指文件...
-
有個問題請教一下橙弱，比如寫入動態(tài)分區(qū)表的分區(qū)字段叫做a歧寺，然后distribute by a,rand() *700,在shuffle的時候一定能保證相同分區(qū)的數(shù)據(jù)被shuffle到相同task么燥狰？假設(shè)相同的hash函數(shù)為hash，hash(a)相同的數(shù)據(jù)hash(a,rand)也一定相同么成福？
如何避免Spark SQL做數(shù)據(jù)導(dǎo)入時產(chǎn)生大量小文件
什么是小文件碾局？ 生產(chǎn)上，我們往往將Spark SQL作為Hive的替代方案奴艾，來獲得SQL on Hadoop更出色的性能净当。因此，本文所講的是指存儲于HDFS中小文件像啼，即指文件...
-
-
Articles about Apache Kafka
