發(fā)簡信
IP屬地：浙江
-
讓關(guān)系型數(shù)據(jù)庫查詢再飛一會兒
背景 有一個系統(tǒng)的業(yè)務(wù)正在膨脹中，某一些報表（報表數(shù)據(jù)在mysql中）數(shù)據(jù)量增長比較厲害，報表頁面已經(jīng)處于卡爆了的狀態(tài)世蔗。中間經(jīng)過mysql本身的...
-
讓Spark MLlib的預(yù)測性能再飛一會兒
背景介紹 我們的系統(tǒng)有一小部分機器學(xué)習(xí)模型識別需求汇竭，因為種種原因箭窜，最終選用了Spark MLlib來進行訓(xùn)練和預(yù)測彩郊。MLlib的Pipeline...
-
上帝的骰子游戲
概率是一個很有意思的東西讥耗，通過上帝投擲出來的骰子毒坛，你能猜到上帝的意圖望伦。這是一篇白話瞎文，并不是特別嚴謹煎殷。 概率的兩大學(xué)派 概率有兩大學(xué)派：概率學(xué)...
-
word2vec在學(xué)歷造假中的探索
前言 如果你想了解word2vec的原理屯伞，這篇文章并不適合你，出門右轉(zhuǎn)用google豪直。 這篇文章的東西含金量不高劣摇，希望搞NLP，ML弓乙，DL的專業(yè)...
-
變參調(diào)用：scala和java的一個不同點
scala和java幾乎沒有區(qū)別末融，可以互相調(diào)用。注意這里說的是幾乎暇韧，總有那么少數(shù)勾习，出人意料的驚喜在告訴你，scala就是scala锨咙。 一個例子 ...
-
Graphx 源碼剖析-圖的生成
Graphx的實現(xiàn)代碼并不多语卤，這得益于Spark RDD niubility的設(shè)計。眾所周知酪刀，在分布式上做圖計算需要考慮點粹舵、邊的切割。而RDD本...
-
Flume介紹聲明 我對Flume的研究并不深骂倘，這一篇文章來源于2016年3月的某一個下午對Flume的調(diào)研眼滤，僅有一個下午，所以可能有一些觀點是不對的历涝。另外诅需，...
-
Spark OFF_HEAP
在文章的開頭，安利一下我自己的github上的一個項目：AlluxioBlockManager荧库，同時還有我的github上的博客：blog這個項...
-
spark streaming應(yīng)用一個越跑越慢的bug題記： 這是我的第一篇技術(shù)博文堰塌，寫得不好請多提意見。然后分衫，感謝張志斌老師场刑，畢業(yè)之前張老師幫助我解一些“神奇的bug”，現(xiàn)在畢業(yè)一個月蚪战，我終于自己...