現(xiàn)在 BAT 都在走向 開(kāi)源社區(qū)掷酗,確實(shí) 大家從 商業(yè)或者個(gè)人實(shí)現(xiàn)上來(lái)看,開(kāi)源運(yùn)動(dòng) 分享 是一門(mén)非常棒的好的Business
騰訊現(xiàn)在專(zhuān)門(mén) 開(kāi)設(shè)很多流量 做開(kāi)源分享,僅僅今年 騰訊各方面開(kāi)源的組件有十多余件
Angel 是騰訊開(kāi)源的一個(gè)機(jī)器學(xué)習(xí)平臺(tái) ,說(shuō)實(shí)話(huà) 很親民搓劫,非常適合國(guó)內(nèi)的互聯(lián)網(wǎng)場(chǎng)景瞧哟,而且對(duì)動(dòng)不動(dòng)就上億維特征的數(shù)據(jù)來(lái)說(shuō)是個(gè)非常不錯(cuò)的訓(xùn)練容器混巧。
首先還是老樣子 我們要先安裝他,在Angel的github 中有詳細(xì)的編譯安裝步驟 勤揩,按道理不算難,Angel 依賴(lài) jdk protobuf maven 咧党,這些 比較好安裝 ,jdk maven 記得配置環(huán)境變量和path
本來(lái) protobuf 我在 python pip 安裝了 protobuf的3.0,發(fā)現(xiàn)好像 在環(huán)境變量沒(méi)有配置陨亡,不管了在編譯 angel 報(bào)錯(cuò) 意思是protobuf沒(méi)有安裝傍衡,我就 又重新安裝的protobuf 2.5 版本的,要先安裝 bzip2,來(lái)解壓 protobuf的 tar.bz2包负蠕,不然報(bào)錯(cuò)蛙埂,沒(méi)有安裝 protobuf
Cannot execute 'protoc': Cannot run program "protoc": error=2, No such file
另外 下載可能 會(huì)被墻,建議使用迅雷先下載好了遮糖,在scp 傳到服務(wù)器上
$ yum -y install bzip2
$ wget https://protobuf.googlecode.com/files/protobuf-2.5.0.tar.bz2
$ tar jxvf protobuf-2.5.0.tar.bz2
$ ./configure
$ make
$ make install
$ protoc --version
libprotoc 2.5.0
angel 編譯安裝 https://github.com/Tencent/angel/blob/master/docs/deploy/source_compile.md
`
編譯環(huán)境依賴(lài)
Jdk >= 1.8
Maven >= 3.0.5
Protobuf >= 2.5.0 需要和hadoop環(huán)境自帶的protobuf版本保持一致绣的。目前hadoop官方發(fā)布包使用的是2.5.0版本,所以推薦使用2.5.0版本,除非你自己使用更新的protobuf版本編譯了hadoop屡江。
源碼下載
git clone https://github.com/Tencent/angel
編譯
進(jìn)入源碼根目錄芭概,執(zhí)行命令:
mvn clean package -Dmaven.test.skip=true
編譯完成后,在源碼根目錄dist/target目錄下會(huì)生成一個(gè)發(fā)布包:angel-1.0.0-bin.zip
發(fā)布包
發(fā)布包解壓后惩嘉,根目錄下有四個(gè)子目錄:
bin:Angel任務(wù)提交腳本
conf:系統(tǒng)配置文件
data:簡(jiǎn)單測(cè)試數(shù)據(jù)
lib:Angel jar包 & 依賴(lài)jar包
`
其中 mvn package 打包需要一些時(shí)間罢洲,完事就可以使用了 angel單例模式了,不過(guò)Angel 分布式 還沒(méi)有找到可行模式文黎,等我 找到后 在補(bǔ)更