起因 最近信息流推薦的業(yè)務(wù)方在使用tensorflow進(jìn)行分布式訓(xùn)練時(shí),反饋說(shuō)程序有內(nèi)存泄露的情況。詳細(xì)了解之后琴许,現(xiàn)場(chǎng)情況是這樣的: 數(shù)據(jù)從hd...
0. 寫(xiě)在前面 tensorflow分布式訓(xùn)練時(shí),grpc的慢一直都被很多人所詬病。在早期的版本中,由于實(shí)現(xiàn)的一些原因憎账,的確存在一些性能問(wèn)題(可...
寫(xiě)在前面 借著公司內(nèi)和其他小組的一個(gè)分享,把自己幾年來(lái)C++開(kāi)發(fā)的一點(diǎn)思考總結(jié)一下卡辰。全篇沒(méi)有高屋建瓴的觀點(diǎn)胞皱,基本都是些細(xì)節(jié)方面的注意事項(xiàng)。希望能...
背景 在開(kāi)發(fā)系統(tǒng)的時(shí)候九妈,我們可能會(huì)有把數(shù)據(jù)備份到HDFS的需求反砌。如果我們自身的系統(tǒng)是用Java開(kāi)發(fā)的,那么直接用HDFS的Java API就可以...
原理介紹 kerberos主要是用來(lái)做網(wǎng)絡(luò)通信時(shí)候的身份認(rèn)證萌朱,最主要的特點(diǎn)就是“復(fù)雜”于颖。所以在入坑kerberos之前,最好先熟悉一下其原理嚷兔。這...
經(jīng)濟(jì)激勵(lì):挖礦 有了這幾個(gè)規(guī)則后,我們似乎可以松口氣了:這么變態(tài)的考試做入,也算也有點(diǎn)眉目了冒晰。可深究下去后竟块,卻會(huì)發(fā)現(xiàn)大家很容易陷入“三個(gè)和尚沒(méi)水喝”...
維持人群賬本的一致 接下來(lái)我們看如何使分散在世界各地的計(jì)算機(jī)節(jié)點(diǎn)維持賬戶(hù)余額保持一致壶运。 回到最開(kāi)始的理想模型,大家的記賬過(guò)程是這樣的: 在最開(kāi)始...
寫(xiě)在前面 寫(xiě)這篇文章的動(dòng)機(jī)浪秘,緣于一次對(duì)比特幣原理科普性質(zhì)的分享蒋情。講的過(guò)程中發(fā)現(xiàn)埠况,想把比特幣真正講明白,是非常困難的棵癣。所以決定把分享的內(nèi)容記錄下來(lái)...
最近在公司的分布式項(xiàng)目pegasus中用到了zookeeper的c客戶(hù)端辕翰,在此記錄下使用zookeeper c client時(shí)的一些心得。 zo...