發(fā)簡信
IP屬地：河北
-
Spark學(xué)習(xí)（十）：DataFrame
DataFrame能夠方便處理大規(guī)模結(jié)構(gòu)化數(shù)據(jù)鲫尊。在Scala API中郑临，DataFrame只是Dataset [Row]的類型別名瞭吃。(參考原文)...
-
Spark學(xué)習(xí)（九）：分布式矩陣
十余天沒有學(xué)習(xí)Spark了区赵，不是我在偷懶，而是前段時間一直在研究形態(tài)學(xué)算法提取波形的問題。現(xiàn)在算法差不多搞定啦页徐，但是用Python開發(fā)的，有空有...
-
Spark學(xué)習(xí)（八）：scala矩陣的基本操作
Breeze是scala用的數(shù)值處理庫银萍，spark的底層的向量和矩陣是基于Breeze的变勇。本文對矩陣的基本操作做簡單介紹，代碼主要參考博文贴唇，根據(jù)...
-
Spark學(xué)習(xí)（七）：數(shù)據(jù)繪圖工具Breeze-Viz因為要進行數(shù)據(jù)分析搀绣，開發(fā)原型的過程中最好能繪圖，上網(wǎng)查了一下戳气，Spark或scala中比較常用的繪圖工具是Breeze-Viz链患，于是參考博文上手...
-
Spark學(xué)習(xí)（六）：map & mapPartitions
對于一些沒有用過的函數(shù)或者操作，看文字描述總是覺得很晦澀瓶您，很難理解锣险，所以學(xué)習(xí)的時候我比較傾向于先從小例程入手，以便有直觀的理解览闰。關(guān)于這兩個函數(shù)網(wǎng)...
-
Spark學(xué)習(xí)（五）：協(xié)同過濾
因為一直在搞算法開發(fā)芯肤，所以還是對算法比較感興趣，學(xué)習(xí)Spark的過程压鉴，也順帶練習(xí)一下自己沒用過的小算法崖咨。沒有Java經(jīng)驗，沒有Hadoop經(jīng)驗油吭，...
-
Spark學(xué)習(xí)（四）：Array和ArrayBuffer
主要內(nèi)容摘自博文击蹲，點擊閱讀原文 Array定義定長數(shù)組，ArrayBuffer定義變長數(shù)組 上代碼婉宰，一看就懂：
-
Spark學(xué)習(xí)（二）：SparkConf和SparkContext
通過創(chuàng)建SparkConf對象來配置應(yīng)用歌豺，然后基于這個SparkConf創(chuàng)建一個SparkContext對象。驅(qū)動器程序通過SparkConte...
-
Spark學(xué)習(xí)（一）：第一個Spark程序
之前一直在做算法開發(fā)心包，程序都是面向過程的（python类咧，matlab），為了讓自己離程序媛的夢想更進一步蟹腾，開始學(xué)習(xí)Spark痕惋，打算在簡書上記錄自...