Programmer，ACGer罢洲，熱愛自由。<br>在這里主要是學(xué)習(xí)筆記、ACG相關(guān)安利，以及傳播一些好的想法拧烦。<br>同時歡迎關(guān)注我的公眾號imfanny<br>
發(fā)簡信
IP屬地：黑龍江
-
關(guān)注Java開發(fā)相關(guān)技術(shù)
-
大數(shù)據(jù)涮瞻，收錄大數(shù)據(jù)相關(guān)技術(shù)的文章曹傀。
-
誠招管理員艇抠！聯(lián)系我~ 本專題專注于大數(shù)據(jù)技術(shù)幕庐，包括但不限于：分布式系統(tǒng)，hadoop家淤，spark异剥，storm，mesos絮重，hbase冤寿，zookeeper。青伤。督怜。 Tips:如果是自己學(xué)習(xí)這些技術(shù)，通過社區(qū)學(xué)習(xí)是一個不錯的方式狠角。 JIRA:https://issues.apache.org/jira/browse/SPARK/?selectedTab=com.atlassian.jira.jira-projects-plugin:summary-panel
-
(課程)基于Spark的機(jī)器學(xué)習(xí)經(jīng)驗
這篇內(nèi)容基于我去年的一些感悟?qū)懙暮鸥埽墙衲瓴旁赟tuq 的微信群做的分享。從技術(shù)角度而言丰歌，對Spark的掌握和使用還是顯得很手生的姨蟋。但是今天一位做數(shù)據(jù)分析相關(guān)的朋友說，受這篇...
-
【Spark】Spark基本概念
Spark專用名詞 RDD ---- resillient distributed dataset 彈性分布式數(shù)據(jù)集 Operation ---- 作用于RDD的各種操作分為...
-
大數(shù)據(jù)三重門這篇文章對大數(shù)據(jù)未來的發(fā)展趨勢做了一個推演立帖，如能對大家有所啟發(fā)更好眼溶，否則權(quán)當(dāng)做一篇碎片化時代產(chǎn)生的快速消費品一看而過即可。 大數(shù)據(jù)第一重 這是大數(shù)據(jù)的第一階段晓勇，也是大數(shù)據(jù)當(dāng)前...
-
[源碼剖析]Spark讀取配置Spark讀取配置 我們知道堂飞，有一些配置可以在多個地方配置。以配置executor的memory為例宵蕉，有以下三種方式： spark-submit的--executor-mem...
-
Spark 多個Stage執(zhí)行是串行執(zhí)行的么酝静？上次在做內(nèi)部培訓(xùn)的時候，我講了這么一句： 一個Job里的Stage都是串行的羡玛，前一個Stage完成后下一個Stage才會進(jìn)行别智。 顯然上面的話是不嚴(yán)謹(jǐn)?shù)摹?看如下的代碼： 這里...
-
Spark 1.6 內(nèi)存管理模型( Unified Memory Management)分析
2016年1月4號 Spark 1.6 發(fā)布。提出了一個新的內(nèi)存管理模型： Unified Memory Management稼稿。這篇文章會詳細(xì)分析新的內(nèi)存管理模型薄榛，方便大家做...
-
Spark集群啟動后進(jìn)程的簡單介紹
剛開始學(xué)習(xí)Spark，首先看一下Spark集群啟動之后都會產(chǎn)生哪些進(jìn)程让歼，方便查看集群是否啟動正常敞恋。首先介紹下我的Spark集群是以Hadoop的HDFS作為分布式文件存儲系統(tǒng)...
-
快學(xué)Scala第18章----高級類型本章要點 單例類型可用于方法串接和帶對象參數(shù)的方法。 類型投影對所有外部類型的對象都包含了其內(nèi)部類的實例谋右。 類型別名給類型指定一個短小的名稱硬猫。 結(jié)構(gòu)類型等效于“鴨子類型”。 ...
-
快學(xué)Scala第17章----類型參數(shù)
本章要點 類、特質(zhì)啸蜜、方法和函數(shù)都可以有類型參數(shù) 將類型參數(shù)放置在名稱之后坑雅，以方括號括起來。 類型界定的語法為 T <: UpperBound衬横、 T >: LowerBound...
-
快學(xué)Scala第15章----注解
本章要點 你可以為類裹粤、方法、字段蜂林、局部變量遥诉、參數(shù)、表達(dá)式噪叙、類型參數(shù)以及各種類型定義添加注解矮锈。 對于表達(dá)式和類型，注解跟在被注解的條目之后 注解的形式有： @Annotatio...
-
快學(xué)Scala第14章----模式匹配和樣例類本章要點 match表達(dá)式是一個更好的switch构眯，不會有意外掉入到下一個分支的問題愕难。 如果沒有模式能夠匹配，會拋出MatchError惫霸∶ㄧ裕可以用case _ 模式來避免。 模...
-
快學(xué)Scala第12章----高階函數(shù)
本章要點 在Scala中函數(shù)是“頭等公民”壹店，就和數(shù)字一樣猜丹； 你可以創(chuàng)建匿名函數(shù)，通常還會把它們交給其他函數(shù)硅卢； 函數(shù)參數(shù)可以給出需要稍后執(zhí)行的行為射窒； 許多集合方法都接受函數(shù)參數(shù)...
-
快學(xué)Scala第13章----集合本章要點 所有集合都擴(kuò)展自Iterable特質(zhì) 集合有三大類：序列脉顿、集、映射 對于幾乎所有集合類点寥，Scala都同時提供了可變的和不可變的版本 Scala列表要么是空的艾疟，要么擁...
