技術(shù)01期:圖計算恬叹,讓數(shù)據(jù)間的關(guān)系無處可藏【社區(qū)分切篇】

作者:王釗? ?編輯:小普

社區(qū)绽昼,即一群擁有相似特征的點须蜗,社區(qū)內(nèi)的點連接緊密目溉,社區(qū)間稀疏連接缭付。

我們可以把同一公司的同事看作是一個社區(qū)內(nèi)的點循未,他們從事同一行業(yè)只厘,可能有相似的教育背景,由于 工作需要河咽,他們之間要進(jìn)行頻繁的溝通赋元。

而不同的公司就像是兩個不同的社區(qū)搁凸,他們之間可能存在著業(yè)務(wù)往來,但關(guān)系遠(yuǎn)沒有公司內(nèi)部連接緊密褥芒。


什么是社區(qū)切分锰扶?

那么發(fā)現(xiàn)這些社區(qū)對我們有什么用呢坷牛?

對于一家需要做廣告宣傳的公司很澄,他一定是想花最少的錢,吸引最多的客戶蹂楣,通過廣告的在某一社群的精準(zhǔn)投放可以達(dá)到這一期望捐迫。

同理施戴,對于銀行信貸業(yè)務(wù),如何才能降低逾期還款風(fēng)險赞哗,審批時的篩選環(huán)節(jié)非常重要肪笋。

如果一個人所在的社區(qū)大多數(shù)人出現(xiàn)過多次逾期還款記錄,那么這個申請人很有可能就不是一個優(yōu)質(zhì)的客戶猜揪。

社區(qū)是若干社會群體或社會組織聚集在某一個領(lǐng)域里所形成的一個生活上相互關(guān)聯(lián)的大集體而姐,是社會有機體最基本的內(nèi)容划咐,是宏觀社會的縮影。

下面讓我們來一起看看如何進(jìn)行社區(qū)切分

一種快速迭代社區(qū)劃分方法:Louvain Algorithm

Louvain算法是一種貪婪算法褐缠,運行時間是O(nlogn)队魏,算是非常的快了。

而且類似層級聚類算法俐载,可以提供不同尺度的社區(qū)發(fā)現(xiàn),這點對于一些定性分析是很有吸引力的挖炬。

Louvain算法分兩個步驟:

1.?對本地節(jié)點轉(zhuǎn)換社區(qū),并計算Modularity的變化馅巷,從而優(yōu)化網(wǎng)絡(luò)整體的Q钓猬;

2.?把相同社區(qū)的節(jié)點聚合成一個超級節(jié)點敞曹,從而形成一個新的圖。

然后在重復(fù)1局齿,直到最后整個網(wǎng)絡(luò)的Q?不再增加抓歼。

這個算法比較好理解,其中的主要需要解決的就是如何計算第一步中的節(jié)點變換時Q的變化拢锹。

這里就從網(wǎng)絡(luò)最初的原始形式開始谣妻,每個節(jié)點自己就是一個單獨的社區(qū)

進(jìn)行如下兩步計算:

1.?計算ΔQ?卒稳,這個差距是把節(jié)點i劃歸到它的鄰居節(jié)點j?所在的社區(qū)后Q?的變化值拌禾。

2.?選擇把節(jié)i 劃歸到一個使得ΔQ?最大的鄰居j?所在的社區(qū)。

具體的ΔQ?的計算公式如下:


其中展哭,

對上面這個式子的進(jìn)一步解釋是:

1.?前面大括號里面的部分是把i 加入到社區(qū)C?后的Modularity湃窍。

2.?后面大括號里面的部分是不把i 加入到社區(qū)C?前的Modularity。

與此同時匪傍,需要計算

的值您市,即把節(jié)點i?移除社區(qū)D造成的Modularity的差值役衡。

計算整體的Q的差值:

通過計算這個Modularity的差值,就獲得了一個局部最優(yōu)的社區(qū)集合钉鸯。

則進(jìn)入第二步

算法的psudo-code見下圖:


上面提到的模塊度是一種衡量社區(qū)劃分的指標(biāo),可以利用模塊度Modularity Q來衡量社區(qū)劃分的效果捕儒。

模塊度的定義為:


其中,表示節(jié)點i和節(jié)點j的權(quán)重净薛,為所有和節(jié)點i相連的權(quán)重和,m為所有邊權(quán)重之和燃领,是節(jié)點i所屬社區(qū)灵寺,當(dāng)節(jié)點i毁枯,j屬于同一個社區(qū)時,?否則為0赂韵。


模塊度的范圍[-1,1],當(dāng)模塊度大于0.3-0.7時绍移,社區(qū)劃分效果已經(jīng)很好了恩敌。

模塊度是衡量社區(qū)劃分效果的纠炮,所以希望在社區(qū)內(nèi)部邊的個數(shù),要遠(yuǎn)大于一個隨機圖中這個社區(qū)內(nèi)部邊的個數(shù)因妇,表達(dá)式上就是:

對于一個隨機圖,它要和真實圖有相同的度分布址芯,對于節(jié)點i和節(jié)點j禀挫,它們的度數(shù)分別是

,則節(jié)點i和節(jié)點j期望的邊數(shù)為:?

(其中m為所有邊權(quán)重和)


那么模塊度

等價于上文所提到的模塊度定義。


最后蜜另,有一個很有趣的現(xiàn)象,小普想分享給大家。

通過調(diào)查研究發(fā)現(xiàn)耸序,人們在找工作時罢坝,往往可以通過一般的熟人戈钢,而不是好朋友獲取更多的信息殉了。

弱連接(一般熟人)或許是我們認(rèn)識多元世界的一個很重要的渠道,對于強連接(好朋友)谓娃,往往因為足夠了解俯艰,可以獲得的額外信息并不多。

這樣的發(fā)現(xiàn)也可以啟示我們谓传,多多走出去,認(rèn)識新的人吧~

參考文獻(xiàn):

http://web.stanford.edu/class/cs224w/slides/04-communities.pdf

https://www.youtube.com/watch?v=pnYwvN8TCio&list=PL1OaWjIc3zJ4xhom40qFY5jkZfyO5EDOZ&index=3

https://blog.csdn.net/infovisthinker/article/details/104724677

https://zhuanlan.zhihu.com/p/138824980

- 完 -

想了解更多關(guān)于人工智能的資訊

歡迎關(guān)注公眾號:普適極客

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末贬媒,一起剝皮案震驚了整個濱河市肘习,隨后出現(xiàn)的幾起案子脖含,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 221,635評論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件归露,死亡現(xiàn)場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,543評論 3 399
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人现喳,你說我怎么就攤上這事灸促。” “怎么了典鸡?”我有些...
    開封第一講書人閱讀 168,083評論 0 360
  • 文/不壞的土叔 我叫張陵间护,是天一觀的道長。 經(jīng)常有香客問我狼荞,道長丰涉,這世上最難降的妖魔是什么投慈? 我笑而不...
    開封第一講書人閱讀 59,640評論 1 296
  • 正文 為了忘掉前任,我火速辦了婚禮锁荔,結(jié)果婚禮上阳堕,老公的妹妹穿的比我還像新娘恬总。我一直安慰自己贱纠,他們只是感情好辖试,可當(dāng)我...
    茶點故事閱讀 68,640評論 6 397
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著酣溃,像睡著了一般绵咱。 火紅的嫁衣襯著肌膚如雪碘饼。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,262評論 1 308
  • 那天悲伶,我揣著相機與錄音艾恼,去河邊找鬼。 笑死麸锉,一個胖子當(dāng)著我的面吹牛钠绍,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播花沉,決...
    沈念sama閱讀 40,833評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼柳爽,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了碱屁?” 一聲冷哼從身側(cè)響起磷脯,我...
    開封第一講書人閱讀 39,736評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎娩脾,沒想到半個月后赵誓,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,280評論 1 319
  • 正文 獨居荒郊野嶺守林人離奇死亡晦雨,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,369評論 3 340
  • 正文 我和宋清朗相戀三年架曹,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片闹瞧。...
    茶點故事閱讀 40,503評論 1 352
  • 序言:一個原本活蹦亂跳的男人離奇死亡绑雄,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出奥邮,到底是詐尸還是另有隱情万牺,我是刑警寧澤,帶...
    沈念sama閱讀 36,185評論 5 350
  • 正文 年R本政府宣布洽腺,位于F島的核電站脚粟,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏蘸朋。R本人自食惡果不足惜核无,卻給世界環(huán)境...
    茶點故事閱讀 41,870評論 3 333
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望藕坯。 院中可真熱鬧团南,春花似錦噪沙、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,340評論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間类茂,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,460評論 1 272
  • 我被黑心中介騙來泰國打工萄唇, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人赌厅。 一個月前我還...
    沈念sama閱讀 48,909評論 3 376
  • 正文 我出身青樓穷绵,卻偏偏與公主長得像,于是被迫代替她去往敵國和親特愿。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,512評論 2 359