- 綜述
- 開發(fā)
- 1.下載BigDL
- 2.導(dǎo)入項目到IDEA
- 3.配置IDEA
綜述
BigDL 是一種面向 Apache Spark* 的分布式深度學(xué)習(xí)庫导绷。用戶可以通過 BigDL 將深度學(xué)習(xí)應(yīng)用編寫為標(biāo)準的 Spark程序车吹，可以直接在現(xiàn)有的 Spark 或 Hadoop* 集群上運行去扣。
</br>
一些文章將BigDL描述為“Non GPU on Spark”淡诗。BigDL依靠Spark并行計算框架，實現(xiàn)快速的深度學(xué)習(xí)計算。Intel2016年末開源BigDL深度學(xué)習(xí)框架抬纸，到目前為止（2017.04）BigDL支持scala帮掉、java和python語言弦悉，框架里面包含了許多網(wǎng)絡(luò)model，并且相關(guān)的內(nèi)容不斷更新蟆炊，功能不斷完善中稽莉。
</br>
官方介紹：https://software.intel.com/zh-cn/articles/bigdl-distributed-deep-learning-on-apache-spark
BigDL github：https://github.com/intel-analytics/BigDL
wiki：https://github.com/intel-analytics/BigDL/wiki
開發(fā)
官方的wiki里面給出了在linux/macos下面Build Page的方法，并且在Getting-Started中給出運行實例代碼的方法盅称，這些方式適合運行實例肩祥，對于開發(fā)者來說并不方便，本文給出了用IDEA開發(fā)BigDL的方法缩膝。
環(huán)境：
- macos
- IntelliJ IDEA
- jdk-1.8
- scala-2.11
- maven-3.3.9
- spark-2.1
- Git
</br>
本文默認你的電腦已經(jīng)安裝好了jdk混狠、scala、maven和spark等環(huán)境疾层，不在此贅述将饺。
1. 下載BigDL
Intel將BigDL源碼放在github上面，首先將源碼下載到本地電腦痛黎。你可以直接在BigDL主頁右側(cè)的Clone or download選擇Download ZIP然后解壓到本地目標(biāo)目錄予弧，或者在本地目標(biāo)目錄使用git命令
git clone https://github.com/intel-analytics/BigDL.git
2.導(dǎo)入項目到IDEA
</br>
2.1 打開IDEA，選擇Import Project
</br>
2.2選擇上一步的BigDL目錄
</br>
2.3選擇Maven
</br>
2.4直接點擊下一步
</br>
2.5選擇版本湖饱，圖中的mac是本文環(huán)境用macos開發(fā)選擇的掖蛤，all-in-one是根據(jù)官方文檔給出選擇的
</br>
2.6然后點擊下一步即可，等待IDEA將pom.xml中的依賴等下載好井厌；
</br>
3.配置IDEA
下面配置環(huán)境變量蚓庭。選擇Run->Edit Configuration致讥，如果沒有紅框里面的就點+新建一個；
在這里面需要更改Main class/VM options/Program arguments/Working directory/Environment variables器赞，其中垢袱，
Main class：需要運行的文件
VM options:
-Dspark.master=local[1]
-Dspark.executor.cores=1
-Dspark.total.executor.cores=1
-Dspark.executor.memory=1g
-Dspark.driver.memory=1g
-Xmx1024m
-Xms1024m
Program arguments：
--folder ./mnist
--batchSize 4
--maxEpoch 8
--checkpoint ./model
Program arguments 參數(shù)解釋：
-f <value> | --folder <value>
where you put the MNIST data
--model <value>
model snapshot location
--state <value>
state snapshot location
--checkpoint <value>
where to cache the model and state
-b <value> | --batchSize <value>(batchSize屬性有些問題)
batch size
-e <value> | --maxEpoch <value>
max epoch
Working directory：選擇工程根目錄
Environment variables：
DL_ENGINE_TYPE=mklblas
MP_NUM_THREADS=1
KMP_BLOCKTIME=0
OMP_WAIT_POLICY=passive
MKL_DISABLE_FAST_MM=1
OMP_NUM_THREADS=1
在mnist網(wǎng)站上下載手寫體數(shù)據(jù)庫放到./mnist目錄下面（具體文件目錄結(jié)構(gòu)參考2.2圖），打開./spark/dl/main/scala/com.intel.analytics.bigdl/models/autoencoder/Train.scala點擊運行即可港柜。
</br>
</br>
</br>
</br>
</br>
北京師范大學(xué)
圖形圖像與模式識別實驗室
sibofeng@mail.bnu.edu.cn
- 文/潘曉璐 我一進店門肠槽，熙熙樓的掌柜王于貴愁眉苦臉地迎上來，“玉大人奢啥，你說我怎么就攤上這事秸仙。” “怎么了桩盲？”我有些...
- 文/不壞的土叔 我叫張陵寂纪，是天一觀的道長。 經(jīng)常有香客問我赌结，道長捞蛋，這世上最難降的妖魔是什么？ 我笑而不...
- 正文 為了忘掉前任柬姚，我火速辦了婚禮拟杉，結(jié)果婚禮上，老公的妹妹穿的比我還像新娘量承。我一直安慰自己搬设，他們只是感情好，可當(dāng)我...
- 文/花漫 我一把揭開白布撕捍。 她就那樣靜靜地躺著拿穴，像睡著了一般。 火紅的嫁衣襯著肌膚如雪忧风。 梳的紋絲不亂的頭發(fā)上默色，一...
- 文/蒼蘭香墨 我猛地睜開眼昧绣，長吁一口氣：“原來是場噩夢啊……” “哼规肴！你這毒婦竟也來了？” 一聲冷哼從身側(cè)響起夜畴，我...
- 正文 年R本政府宣布，位于F島的核電站攻走，受9級特大地震影響殷勘，放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜昔搂，卻給世界環(huán)境...
- 文/蒙蒙 一玲销、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧巩趁，春花似錦痒玩、人聲如沸。這莊子的主人今日做“春日...
- 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至别凹，卻和暖如春草讶，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背炉菲。 一陣腳步聲響...
推薦閱讀更多精彩內(nèi)容
- Spark SQL, DataFrames and Datasets Guide Overview SQL Dat...
- Spark SQL, DataFrames and Datasets Guide Overview SQL Dat...
- 概要 目前Spark官方提供Java,Scala,Python三種語言的API汁政。因為Spark是用Scala開發(fā)，...
- 本文主要參考了如下兩篇博文： Windows下IntelliJ IDEA中調(diào)試Spark Standalone 怎...
- 做了好多嘗試缀旁，最后放棄了ECLIPSE開發(fā)SCALA记劈，決定用IDEA，當(dāng)然激活碼百度下即可以找到并巍。 安裝SCA...
