參考項目： https://github.com/LiShuMing/spark-demos 疑惑一籍胯、Spark提交任務依賴包問題品洛？ 使用Spa...
投稿
收錄了21篇文章 · 11人關注
-
基于Yarn集群Spark Streaming 提交任務解惑
-
Spark支持kerberos環(huán)境下的Kafka吊洼、Hbase傳輸一玻蝌、準備環(huán)境： 創(chuàng)建Kafka Topic和HBase表 1. 在kerberos環(huán)境下創(chuàng)建Kafka Topic 1.1 因為kafka默認使...
-
spark網絡通信-RPC的實現(xiàn)本文基于spark源碼2.11 1. 概要 spark中網絡通信無處不在万俗，例如 driver和master的通信膏萧，比如driver會想maste...
-
pyspark與py4j線程模型簡析
事由 上周工作中遇到一個bug漓骚，現(xiàn)象是一個spark streaming的job會不定期地hang住，不退出也不繼續(xù)運行榛泛。這個job經是用pys...
-
Spark Streaming使用場景及優(yōu)化總結
SparkStreaming適合場景 Storm 流式計算（扶梯）優(yōu)點： 數(shù)據(jù)延遲度很低蝌蹂，Storm的事務機制要比SparkStreaming的...
-
Facebook Spark 60TB Spark應用場景總結
可用性調優(yōu) SPARK-13793 之前的PipedRDD實現(xiàn)容錯性較差，只要發(fā)生fetch錯誤時曹锨，整個job就會失敗孤个，該PR改進了PipedR...
-
Spark下使用火焰圖分析工具
準備 Java honest profiler工具： https://github.com/jvm-profiling-tools/honest...
-
Spark 2.1.0 - Shuffle邏輯分析
網上有很多文章，發(fā)現(xiàn)跟當前的版本有很多沖突艘希，看起來一知半解的硼身；當前討論的版本為spark2.1.0，之前的版本不再考慮覆享；而其命名方式也很奇怪佳遂，可...
-
CarbonData 1.2.0集成Spark 2.1.0調研
編譯 carbondata1.2已經支持hive+presto，carbon生態(tài)圈基本健全撒顿。 基于git checkout到branch-1.2...
-
Spark Streaming一致性丑罪、容錯機制分析
Spark Streaming容錯機制保障 參考https://databricks.com/blog/2015/01/15/improved-...
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/488634/IMG_1292.JPG', '推薦專題《一步一步學習Spark》（ 分享自 @簡書 ）','http://www.reibang.com/c/39d04484d630?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','頁面編碼gb2312|utf-8默認gb2312'));){kind=link}