在windows7環(huán)境下，對(duì)spark源碼以maven為基礎(chǔ)構(gòu)建，并進(jìn)行代碼調(diào)試。本文記錄環(huán)境搭建和調(diào)試過(guò)程和遇到問(wèn)題。 當(dāng)前github上Sp...

本章將學(xué)習(xí)相關(guān)的抽象，可應(yīng)用函子，雖然沒(méi)有Monad強(qiáng)大拦耐，但是更普遍（因此通用）。在尋找可應(yīng)用函子的過(guò)程中屋摇，也展示了如何發(fā)現(xiàn)這種抽象并利用這種方...

函子：對(duì)map函數(shù)的泛化在第一部分和第二部分實(shí)現(xiàn)了一些不同組合子庫(kù)揩魂。這些組合子的相似性是值得注意的，比如為每個(gè)數(shù)據(jù)類型都實(shí)現(xiàn)了map函數(shù)炮温，用于提...

什么是monoid一個(gè)monoid有如下構(gòu)成1火脉、一個(gè)類型A2、一個(gè)可結(jié)合的二元操作op柒啤，它接收兩個(gè)參數(shù)然后返回相同類型的值倦挂，對(duì)于任何x: A，y...

打破法則：一個(gè)微妙的bug在上篇博文的實(shí)現(xiàn)中担巩，實(shí)際上會(huì)有一個(gè)相當(dāng)微妙的問(wèn)題出現(xiàn)在大多數(shù)folk的實(shí)現(xiàn)上方援，當(dāng)使用固定大小的線程池作為Executo...

選擇數(shù)據(jù)類型和函數(shù)“創(chuàng)建并行計(jì)算”具體是指什么？我們可以從一個(gè)相對(duì)簡(jiǎn)單的例子入手——求一組整數(shù)的和涛癌。例如下面就是利用左折疊的方法計(jì)算求和： 除了...

spark on yarn共有兩種提交方式犯戏，1 是yarn-client送火，此時(shí)driver節(jié)點(diǎn)就是spark作業(yè)的提交節(jié)點(diǎn)2 是yarn-clu...

更為通用的狀態(tài)行為數(shù)據(jù)類型我們寫(xiě)過(guò)的函數(shù)——unit、map先匪、map2种吸、flatMap和sequence都不是專門(mén)為隨機(jī)數(shù)使用的。它們都是處理狀...

想讓狀態(tài)更新恢復(fù)引用透明的關(guān)鍵是讓狀態(tài)更新是顯示的呀非。不要以副作用方式更新?tīng)顟B(tài)坚俗，而是連同生成值一起返回一個(gè)新的狀態(tài)。純函數(shù)式隨機(jī)數(shù)生成器： 練習(xí) ...