接到一個有趣的作業(yè)催什，就是分析豆瓣用戶關(guān)注的小組雕薪，通過小組標(biāo)簽給這個用戶畫像狂丝。任務(wù)主要有這幾部分：1.通過爬取的數(shù)據(jù)腻扇，利用Spark Graphx對這些數(shù)據(jù)構(gòu)圖2.將這個圖進行...
發(fā)簡信
IP屬地：北京
-
Spark Graphx分析豆瓣用戶及小組 -
spark graphx 圖計算寫在前面 態(tài)度決定高度屑墨！讓優(yōu)秀成為一種習(xí)慣夹纫！ 世界上沒有什么事兒是加一次班解決不了的减俏，如果有，就加兩次４堋（- - -茂強） 什么是一個圖 一個網(wǎng)絡(luò)Network 一個樹Tre...
-
基于用戶畫像的實時異步化視頻推薦系統(tǒng)前言 這個月做的事情還是蠻多的沼琉。上線了一個百臺規(guī)模的ES集群，還設(shè)計開發(fā)了一套實時推薦系統(tǒng)桩匪。 標(biāo)題有點長打瘪，其實是為了突出該推薦系統(tǒng)的三個亮點，一個是實時吸祟，一個是基于用戶畫像去...
-
Kafka Zero-Copy 使用分析
之前有聽過Zero-Copy 技術(shù)瑟慈，而Kafka是典型的使用者。網(wǎng)上找了找屋匕，竟然沒有找到合適的介紹文章葛碧。正好這段時間正在閱讀Kafka的相關(guān)代碼，于是有了這篇內(nèi)容过吻。這篇文章會...
-
某互聯(lián)網(wǎng)大廠kafka最佳實踐
前言： 上手kafka已有2年的時間进泼，我們的數(shù)據(jù)處理量也從最初的300g/day發(fā)展到今天的T量級在這個過程中也踩了不少坑，在這里分享出來和大家共勉纤虽。 一乳绕、硬件考量 1.1、...
-
Kafka 客戶端TimeoutException問題之坑
各種TimeoutException問題 會拋出org.apache.kafka.common.errors.TimeoutException:message可能為各種： B...
-
kerberos體系下的應(yīng)用(yarn,spark on yarn)kerberos 介紹 閱讀本文之前建議先預(yù)讀下面這篇博客kerberos認證原理---講的非常細致逼纸，易懂 Kerberos實際上一個基于Ticket的認證方式洋措。Client...
-
http to https升級記
最近準(zhǔn)備搞一個小程序玩玩，到配置服務(wù)器域名的時候發(fā)現(xiàn)只支持https協(xié)議杰刽，迫于無奈菠发，我不得不再次跳出自己的思維舒適區(qū)王滤，發(fā)起了一次http向https的沖擊在這方面我也了解的不...
-
Kafka學(xué)習(xí)之路kafka當(dāng)前的版本是0.10.1新增加的新特性還是很多的，使用0.8.×的同學(xué)滓鸠，可以多關(guān)注下了雁乡。原文地址：http://www.cnblogs.com/huxi2b/p/6...
