240 發(fā)簡(jiǎn)信
IP屬地：河北
  • Spark學(xué)習(xí)（十）：DataFrame

    DataFrame能夠方便處理大規(guī)模結(jié)構(gòu)化數(shù)據(jù)芋浮。在Scala API中国拇，DataFrame只是Dataset [Row]的類型別名誊爹。(參考原文)下面展示幾個(gè)DataFrame...

  • Spark學(xué)習(xí)（九）：分布式矩陣

    十余天沒有學(xué)習(xí)Spark了挖腰，不是我在偷懶鹦马，而是前段時(shí)間一直在研究形態(tài)學(xué)算法提取波形的問(wèn)題∶Ω桑現(xiàn)在算法差不多搞定啦辕翰，但是用Python開發(fā)的藐守，有空有能力時(shí)再補(bǔ)上Spark的程序挪丢。...

  • Spark學(xué)習(xí)（八）：scala矩陣的基本操作

    Breeze是scala用的數(shù)值處理庫(kù)，spark的底層的向量和矩陣是基于Breeze的卢厂。本文對(duì)矩陣的基本操作做簡(jiǎn)單介紹乾蓬，代碼主要參考博文，根據(jù)自己的習(xí)慣做了一些修改慎恒。 輸出結(jié)果：

  • 120
    Spark學(xué)習(xí)（七）：數(shù)據(jù)繪圖工具Breeze-Viz

    因?yàn)橐M(jìn)行數(shù)據(jù)分析任内，開發(fā)原型的過(guò)程中最好能繪圖，上網(wǎng)查了一下融柬，Spark或scala中比較常用的繪圖工具是Breeze-Viz死嗦，于是參考博文上手Breeze-Viz。 Bre...

  • Spark學(xué)習(xí)（六）：map & mapPartitions

    對(duì)于一些沒有用過(guò)的函數(shù)或者操作粒氧，看文字描述總是覺得很晦澀越除，很難理解，所以學(xué)習(xí)的時(shí)候我比較傾向于先從小例程入手外盯，以便有直觀的理解摘盆。關(guān)于這兩個(gè)函數(shù)網(wǎng)上的介紹很多，但找了很久才找到...

  • Spark學(xué)習(xí)（五）：協(xié)同過(guò)濾

    因?yàn)橐恢痹诟闼惴ㄩ_發(fā)门怪，所以還是對(duì)算法比較感興趣骡澈，學(xué)習(xí)Spark的過(guò)程，也順帶練習(xí)一下自己沒用過(guò)的小算法掷空。沒有Java經(jīng)驗(yàn)肋殴，沒有Hadoop經(jīng)驗(yàn)囤锉，沒有SQL經(jīng)驗(yàn)，對(duì)一些運(yùn)行機(jī)制...

  • Spark學(xué)習(xí)（四）：Array和ArrayBuffer

    主要內(nèi)容摘自博文护锤，點(diǎn)擊閱讀原文 Array定義定長(zhǎng)數(shù)組官地，ArrayBuffer定義變長(zhǎng)數(shù)組 上代碼，一看就懂：

  • Spark學(xué)習(xí)（二）：SparkConf和SparkContext

    通過(guò)創(chuàng)建SparkConf對(duì)象來(lái)配置應(yīng)用烙懦，然后基于這個(gè)SparkConf創(chuàng)建一個(gè)SparkContext對(duì)象驱入。驅(qū)動(dòng)器程序通過(guò)SparkContext對(duì)象來(lái)訪問(wèn)Spark。這個(gè)...

  • Spark學(xué)習(xí)（一）：第一個(gè)Spark程序

    之前一直在做算法開發(fā)氯析，程序都是面向過(guò)程的（python亏较，matlab），為了讓自己離程序媛的夢(mèng)想更進(jìn)一步掩缓，開始學(xué)習(xí)Spark雪情，打算在簡(jiǎn)書上記錄自己超級(jí)菜菜菜菜菜鳥的學(xué)習(xí)歷程，...

  • Spark學(xué)習(xí)（三）：迭代器Iterator

    本文內(nèi)容主要參考網(wǎng)上一篇博文你辣，對(duì)原文程序做了一點(diǎn)點(diǎn)改動(dòng)巡通，點(diǎn)擊閱讀原文。 迭代器Iterator提供了一種訪問(wèn)集合的方法舍哄，可以通過(guò)while或者for循環(huán)來(lái)實(shí)現(xiàn)對(duì)迭代器的遍歷 ...

亚洲A日韩AV无卡,小受高潮白浆痉挛av免费观看,成人AV无码久久久久不卡网站,国产AV日韩精品