spark - 專題

投稿

spark

收錄了9篇文章 · 16人關(guān)注

spark mllib支持哪些機器學(xué)習(xí)算法责掏？
Spark 2.1 Mllib考慮到spark選型做mllib的人抛姑，最關(guān)心問題趁矾，就是spark mllib能夠支持多少機器學(xué)習(xí)的算法呢瓮具？問題很簡...

HxLiang 0 5
Spark蓋中蓋（一篇頂五篇）-3 DAG詳解
前方高能收奔，減速慢行掌呜！看過了Spark的核心RDD和RDD算子以后，感覺Spark是不是很神奇筹淫，竟然可以減少計算次數(shù)站辉，優(yōu)化計算。對于窄依賴是這樣...

0.4 HxLiang 3 15

Spark蓋中蓋（一篇頂五篇）-2 RDD算子詳解
前方高能減速慢行损姜！在上一篇RDD結(jié)構(gòu)已經(jīng)介紹完了饰剥。雖然RDD結(jié)構(gòu)是spark設(shè)計思想最重要的組成，但是沒有輔助的功能只有結(jié)構(gòu)又不能獨立使用摧阅。真...

0.1 HxLiang 0 11
Spark蓋中蓋（一篇頂五篇）-1 RDD的數(shù)據(jù)結(jié)構(gòu)模型
前言：自Google發(fā)表三大論文GFS汰蓉、MapReduce、BigTable以來棒卷，衍生出的開源框架越來越多顾孽，其中Hadoop更是以高可用、高擴(kuò)展...

0.9 HxLiang 4 18
誰將是MapReduce的繼承人
We’ve pointed out that [Apache Spark and Hadoop MapReduce] are two diffe...

HxLiang 0 0
Spark start all 啟動
前言：通過啟動腳本日志很容易找到spark部署的問題比规。 spark啟動腳本如圖（standalone模式）：運行start all 腳本加載 ...

HxLiang 0 1
spark源碼調(diào)試Debug環(huán)境搭建
運行環(huán)境 java 1.8 scala 2.11.0 maven 3.3.9 idea 2016 spark 2.0.2 1完成以下配置 jav...

HxLiang 0 4

spark master和spark worker掛掉application恢復(fù)問題
首先分5中情況： 1若厚，spark master進(jìn)程掛掉了 2，spark master在執(zhí)行中掛掉了 3蜒什，spark worker提交任務(wù)前全部...

HxLiang 0 3
spark源碼中為什么有java scala python代碼
新手很迷茫的一個問題测秸，spark源碼中為什么有java scala python代碼當(dāng)看過源碼就會發(fā)現(xiàn)，spark框架雖然是scala實現(xiàn)的，...

HxLiang 0 2