centos 搭建 Tencent-Angel 集群

image.png

現(xiàn)在 BAT 都在走向 開(kāi)源社區(qū)掷酗,確實(shí) 大家從 商業(yè)或者個(gè)人實(shí)現(xiàn)上來(lái)看,開(kāi)源運(yùn)動(dòng) 分享 是一門(mén)非常棒的好的Business
騰訊現(xiàn)在專(zhuān)門(mén) 開(kāi)設(shè)很多流量 做開(kāi)源分享,僅僅今年 騰訊各方面開(kāi)源的組件有十多余件
Angel 是騰訊開(kāi)源的一個(gè)機(jī)器學(xué)習(xí)平臺(tái) ,說(shuō)實(shí)話(huà) 很親民搓劫,非常適合國(guó)內(nèi)的互聯(lián)網(wǎng)場(chǎng)景瞧哟,而且對(duì)動(dòng)不動(dòng)就上億維特征的數(shù)據(jù)來(lái)說(shuō)是個(gè)非常不錯(cuò)的訓(xùn)練容器混巧。
首先還是老樣子 我們要先安裝他,在Angel的github 中有詳細(xì)的編譯安裝步驟 勤揩,按道理不算難,Angel 依賴(lài) jdk protobuf maven 咧党,這些 比較好安裝 ,jdk maven 記得配置環(huán)境變量和path

本來(lái) protobuf 我在 python pip 安裝了 protobuf的3.0,發(fā)現(xiàn)好像 在環(huán)境變量沒(méi)有配置陨亡,不管了在編譯 angel 報(bào)錯(cuò) 意思是protobuf沒(méi)有安裝傍衡,我就 又重新安裝的protobuf 2.5 版本的,要先安裝 bzip2,來(lái)解壓 protobuf的 tar.bz2包负蠕,不然報(bào)錯(cuò)蛙埂,沒(méi)有安裝 protobuf
Cannot execute 'protoc': Cannot run program "protoc": error=2, No such file
另外 下載可能 會(huì)被墻,建議使用迅雷先下載好了遮糖,在scp 傳到服務(wù)器上
$ yum -y install bzip2
$ wget https://protobuf.googlecode.com/files/protobuf-2.5.0.tar.bz2
$ tar jxvf protobuf-2.5.0.tar.bz2
$ ./configure
$ make
$ make install
$ protoc --version
libprotoc 2.5.0

angel 編譯安裝 https://github.com/Tencent/angel/blob/master/docs/deploy/source_compile.md
`
編譯環(huán)境依賴(lài)

Jdk >= 1.8
Maven >= 3.0.5
Protobuf >= 2.5.0 需要和hadoop環(huán)境自帶的protobuf版本保持一致绣的。目前hadoop官方發(fā)布包使用的是2.5.0版本,所以推薦使用2.5.0版本,除非你自己使用更新的protobuf版本編譯了hadoop屡江。
源碼下載

git clone https://github.com/Tencent/angel

編譯

進(jìn)入源碼根目錄芭概,執(zhí)行命令:

mvn clean package -Dmaven.test.skip=true

編譯完成后,在源碼根目錄dist/target目錄下會(huì)生成一個(gè)發(fā)布包:angel-1.0.0-bin.zip

發(fā)布包

發(fā)布包解壓后惩嘉,根目錄下有四個(gè)子目錄:

bin:Angel任務(wù)提交腳本
conf:系統(tǒng)配置文件
data:簡(jiǎn)單測(cè)試數(shù)據(jù)
lib:Angel jar包 & 依賴(lài)jar包
`
其中 mvn package 打包需要一些時(shí)間罢洲,完事就可以使用了 angel單例模式了,不過(guò)Angel 分布式 還沒(méi)有找到可行模式文黎,等我 找到后 在補(bǔ)更

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末惹苗,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子臊诊,更是在濱河造成了極大的恐慌鸽粉,老刑警劉巖,帶你破解...
    沈念sama閱讀 218,858評(píng)論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件抓艳,死亡現(xiàn)場(chǎng)離奇詭異触机,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)玷或,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,372評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門(mén)儡首,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人偏友,你說(shuō)我怎么就攤上這事蔬胯。” “怎么了位他?”我有些...
    開(kāi)封第一講書(shū)人閱讀 165,282評(píng)論 0 356
  • 文/不壞的土叔 我叫張陵氛濒,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我鹅髓,道長(zhǎng)舞竿,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,842評(píng)論 1 295
  • 正文 為了忘掉前任窿冯,我火速辦了婚禮骗奖,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘醒串。我一直安慰自己执桌,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,857評(píng)論 6 392
  • 文/花漫 我一把揭開(kāi)白布芜赌。 她就那樣靜靜地躺著仰挣,像睡著了一般。 火紅的嫁衣襯著肌膚如雪缠沈。 梳的紋絲不亂的頭發(fā)上膘壶,一...
    開(kāi)封第一講書(shū)人閱讀 51,679評(píng)論 1 305
  • 那天违柏,我揣著相機(jī)與錄音,去河邊找鬼香椎。 笑死漱竖,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的畜伐。 我是一名探鬼主播馍惹,決...
    沈念sama閱讀 40,406評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼玛界!你這毒婦竟也來(lái)了万矾?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 39,311評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤慎框,失蹤者是張志新(化名)和其女友劉穎良狈,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體笨枯,經(jīng)...
    沈念sama閱讀 45,767評(píng)論 1 315
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡薪丁,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,945評(píng)論 3 336
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了馅精。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片严嗜。...
    茶點(diǎn)故事閱讀 40,090評(píng)論 1 350
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖洲敢,靈堂內(nèi)的尸體忽然破棺而出漫玄,到底是詐尸還是另有隱情,我是刑警寧澤压彭,帶...
    沈念sama閱讀 35,785評(píng)論 5 346
  • 正文 年R本政府宣布睦优,位于F島的核電站,受9級(jí)特大地震影響壮不,放射性物質(zhì)發(fā)生泄漏汗盘。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,420評(píng)論 3 331
  • 文/蒙蒙 一忆畅、第九天 我趴在偏房一處隱蔽的房頂上張望衡未。 院中可真熱鬧尸执,春花似錦家凯、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,988評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至褪贵,卻和暖如春掂之,著一層夾襖步出監(jiān)牢的瞬間抗俄,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,101評(píng)論 1 271
  • 我被黑心中介騙來(lái)泰國(guó)打工世舰, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留动雹,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 48,298評(píng)論 3 372
  • 正文 我出身青樓跟压,卻偏偏與公主長(zhǎng)得像胰蝠,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子震蒋,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,033評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容

  • http://geek.csdn.net/news/detail/210469http://www.36dsj.c...
    Albert陳凱閱讀 5,164評(píng)論 1 21
  • 由于工程項(xiàng)目中擬采用一種簡(jiǎn)便高效的數(shù)據(jù)交換格式查剖,百度了一下發(fā)現(xiàn)除了采用 xml钾虐、JSON 還有 ProtoBuf(...
    黃海佳閱讀 48,649評(píng)論 1 23
  • 周一早上 前百度 的leader 問(wèn)我 周日發(fā)在群里的 說(shuō)什么在測(cè)試機(jī)安裝好了 paddle 是什么,我說(shuō)就是...
    Helen_Cat閱讀 1,216評(píng)論 0 1
  • 體驗(yàn): 再過(guò)一個(gè)多小時(shí)就是中國(guó)傳統(tǒng)中秋佳節(jié)笋庄,獨(dú)在異鄉(xiāng)為異客效扫,每逢佳節(jié)倍思親。 精進(jìn): 百善孝為先直砂。孝是人們與生俱來(lái)...
    summerzsf閱讀 145評(píng)論 0 0
  • 數(shù)組中常用的方法 增加荡短、刪除、替換 1)push:向數(shù)組末尾增加內(nèi)容 參數(shù)(要增加的內(nèi)容) 返回值:數(shù)組的長(zhǎng)度 原...
    劉曉洋閱讀 249評(píng)論 0 1