發(fā)簡(jiǎn)信
IP屬地：浙江
-
讓關(guān)系型數(shù)據(jù)庫(kù)查詢?cè)亠w一會(huì)兒
背景 有一個(gè)系統(tǒng)的業(yè)務(wù)正在膨脹中，某一些報(bào)表（報(bào)表數(shù)據(jù)在mysql中）數(shù)據(jù)量增長(zhǎng)比較厲害伞梯，報(bào)表頁(yè)面已經(jīng)處于卡爆了的狀態(tài)抱冷。中間經(jīng)過(guò)mysql本身的...
-
讓Spark MLlib的預(yù)測(cè)性能再飛一會(huì)兒
背景介紹 我們的系統(tǒng)有一小部分機(jī)器學(xué)習(xí)模型識(shí)別需求呜笑，因?yàn)榉N種原因袜腥，最終選用了Spark MLlib來(lái)進(jìn)行訓(xùn)練和預(yù)測(cè)漆腌。MLlib的Pipeline...
-
上帝的骰子游戲
概率是一個(gè)很有意思的東西畔派，通過(guò)上帝投擲出來(lái)的骰子槐沼，你能猜到上帝的意圖曙蒸。這是一篇白話瞎文，并不是特別嚴(yán)謹(jǐn)岗钩。 概率的兩大學(xué)派 概率有兩大學(xué)派：概率學(xué)...
-
word2vec在學(xué)歷造假中的探索
前言 如果你想了解word2vec的原理逸爵，這篇文章并不適合你，出門右轉(zhuǎn)用google凹嘲。 這篇文章的東西含金量不高师倔，希望搞NLP，ML周蹭，DL的專業(yè)...
-
變參調(diào)用：scala和java的一個(gè)不同點(diǎn)
scala和java幾乎沒(méi)有區(qū)別趋艘，可以互相調(diào)用。注意這里說(shuō)的是幾乎凶朗，總有那么少數(shù)瓷胧，出人意料的驚喜在告訴你，scala就是scala棚愤。 一個(gè)例子 ...
-
Graphx 源碼剖析-圖的生成
Graphx的實(shí)現(xiàn)代碼并不多搓萧，這得益于Spark RDD niubility的設(shè)計(jì)。眾所周知宛畦，在分布式上做圖計(jì)算需要考慮點(diǎn)瘸洛、邊的切割。而RDD本...
-
Flume介紹聲明 我對(duì)Flume的研究并不深次和，這一篇文章來(lái)源于2016年3月的某一個(gè)下午對(duì)Flume的調(diào)研反肋，僅有一個(gè)下午，所以可能有一些觀點(diǎn)是不對(duì)的踏施。另外石蔗，...
-
Spark OFF_HEAP
在文章的開(kāi)頭，安利一下我自己的github上的一個(gè)項(xiàng)目：AlluxioBlockManager畅形，同時(shí)還有我的github上的博客：blog這個(gè)項(xiàng)...
-
spark streaming應(yīng)用一個(gè)越跑越慢的bug題記： 這是我的第一篇技術(shù)博文养距，寫得不好請(qǐng)多提意見(jiàn)。然后日熬，感謝張志斌老師棍厌，畢業(yè)之前張老師幫助我解一些“神奇的bug”，現(xiàn)在畢業(yè)一個(gè)月，我終于自己...