Spark - 文集 - 簡(jiǎn)書

Shuffle Read 在 Task 實(shí)例化的時(shí)候就會(huì)調(diào)用 runTask() 方法運(yùn)行任務(wù)则酝，runTask() 方法中會(huì)調(diào)用 RDD.get...

0.1 702 0 1

Shuffle Write TaskRunner 在啟動(dòng) Driver 端發(fā)送過來的 Task 的時(shí)候，調(diào)用的是 Task.run() 方法闰集，T...

394 0 0

Executor 和 Task Executor 是在 Worker 上啟動(dòng)的為某個(gè) Application 提供專屬服務(wù)的進(jìn)程沽讹，Task 為 ...

1778 0 0

Master 與 Worker 在 Standalone 模式下 Spark 使用 Master 來進(jìn)行資源的分配與管理，Worker 為具體執(zhí)...

0.1 1644 0 1

SparkContext SparkContext 是應(yīng)用程序的入口武鲁，程序的運(yùn)行是在 SparkContext 的指揮下進(jìn)行的爽雄，我們也可以通過 ...

87 0 0

TaskScheduler TaskScheduler 負(fù)責(zé)對(duì) DAGScheduler 提交過來的 Task 與最佳位置的 Executor ...

609 0 0

SparkEnv 與 RpcEnv SparkEnv 保存著 Application 運(yùn)行時(shí)的環(huán)境信息，包括 RpcEnv沐鼠、Serializer...

857 0 0

DAGScheduler DAGScheduler 的主要工作包括：創(chuàng)建 Job挚瘟、劃分 Stage、最后將 Stage 封裝成 TaskSet ...

443 0 0

SchedulerBackend SparkContext 使用 SchedulerBackend 來與不同資源管理系統(tǒng)對(duì)接饲梭，并維護(hù)著 Exec...

728 0 0