發(fā)簡(jiǎn)信
IP屬地：河北
-
Spark學(xué)習(xí)（十）：DataFrame
DataFrame能夠方便處理大規(guī)模結(jié)構(gòu)化數(shù)據(jù)嗦哆。在Scala API中场绿，DataFrame只是Dataset [Row]的類型別名。(參考原文)...
-
Spark學(xué)習(xí)（九）：分布式矩陣
十余天沒有學(xué)習(xí)Spark了榔幸，不是我在偷懶奏路，而是前段時(shí)間一直在研究形態(tài)學(xué)算法提取波形的問題“牛現(xiàn)在算法差不多搞定啦阵幸，但是用Python開發(fā)的花履，有空有...
-
Spark學(xué)習(xí)（八）：scala矩陣的基本操作
Breeze是scala用的數(shù)值處理庫，spark的底層的向量和矩陣是基于Breeze的挚赊。本文對(duì)矩陣的基本操作做簡(jiǎn)單介紹诡壁，代碼主要參考博文，根據(jù)...
-
Spark學(xué)習(xí)（七）：數(shù)據(jù)繪圖工具Breeze-Viz因?yàn)橐M(jìn)行數(shù)據(jù)分析荠割，開發(fā)原型的過程中最好能繪圖妹卿，上網(wǎng)查了一下，Spark或scala中比較常用的繪圖工具是Breeze-Viz蔑鹦，于是參考博文上手...
-
Spark學(xué)習(xí)（六）：map & mapPartitions
對(duì)于一些沒有用過的函數(shù)或者操作纽帖，看文字描述總是覺得很晦澀，很難理解举反，所以學(xué)習(xí)的時(shí)候我比較傾向于先從小例程入手，以便有直觀的理解扒吁。關(guān)于這兩個(gè)函數(shù)網(wǎng)...
-
Spark學(xué)習(xí)（五）：協(xié)同過濾
因?yàn)橐恢痹诟闼惴ㄩ_發(fā)火鼻，所以還是對(duì)算法比較感興趣，學(xué)習(xí)Spark的過程雕崩，也順帶練習(xí)一下自己沒用過的小算法魁索。沒有Java經(jīng)驗(yàn)，沒有Hadoop經(jīng)驗(yàn)盼铁，...
-
Spark學(xué)習(xí)（四）：Array和ArrayBuffer
主要內(nèi)容摘自博文粗蔚，點(diǎn)擊閱讀原文 Array定義定長(zhǎng)數(shù)組，ArrayBuffer定義變長(zhǎng)數(shù)組 上代碼饶火，一看就懂：
-
Spark學(xué)習(xí)（二）：SparkConf和SparkContext
通過創(chuàng)建SparkConf對(duì)象來配置應(yīng)用鹏控，然后基于這個(gè)SparkConf創(chuàng)建一個(gè)SparkContext對(duì)象。驅(qū)動(dòng)器程序通過SparkConte...
-
Spark學(xué)習(xí)（一）：第一個(gè)Spark程序
之前一直在做算法開發(fā)肤寝，程序都是面向過程的（python当辐，matlab），為了讓自己離程序媛的夢(mèng)想更進(jìn)一步鲤看，開始學(xué)習(xí)Spark缘揪，打算在簡(jiǎn)書上記錄自...