起因 最近信息流推薦的業(yè)務(wù)方在使用tensorflow進(jìn)行分布式訓(xùn)練時,反饋說程序有內(nèi)存泄露的情況。詳細(xì)了解之后,現(xiàn)場情況是這樣的: 數(shù)據(jù)從hd...
0. 寫在前面 tensorflow分布式訓(xùn)練時鸠踪,grpc的慢一直都被很多人所詬病。在早期的版本中,由于實現(xiàn)的一些原因天梧,的確存在一些性能問題(可...
寫在前面 借著公司內(nèi)和其他小組的一個分享,把自己幾年來C++開發(fā)的一點思考總結(jié)一下霞丧。全篇沒有高屋建瓴的觀點呢岗,基本都是些細(xì)節(jié)方面的注意事項。希望能...
背景 在開發(fā)系統(tǒng)的時候蛹尝,我們可能會有把數(shù)據(jù)備份到HDFS的需求后豫。如果我們自身的系統(tǒng)是用Java開發(fā)的,那么直接用HDFS的Java API就可以...
原理介紹 kerberos主要是用來做網(wǎng)絡(luò)通信時候的身份認(rèn)證突那,最主要的特點就是“復(fù)雜”挫酿。所以在入坑kerberos之前,最好先熟悉一下其原理愕难。這...
經(jīng)濟激勵:挖礦 有了這幾個規(guī)則后早龟,我們似乎可以松口氣了:這么變態(tài)的考試,也算也有點眉目了猫缭〈械埽可深究下去后,卻會發(fā)現(xiàn)大家很容易陷入“三個和尚沒水喝”...
維持人群賬本的一致 接下來我們看如何使分散在世界各地的計算機節(jié)點維持賬戶余額保持一致饵骨。 回到最開始的理想模型翘悉,大家的記賬過程是這樣的: 在最開始...
寫在前面 寫這篇文章的動機,緣于一次對比特幣原理科普性質(zhì)的分享居触。講的過程中發(fā)現(xiàn)妖混,想把比特幣真正講明白,是非常困難的轮洋。所以決定把分享的內(nèi)容記錄下來...
最近在公司的分布式項目pegasus中用到了zookeeper的c客戶端制市,在此記錄下使用zookeeper c client時的一些心得。 zo...