Trustworthy Online Controlled Experiments Part 5 Chap 22
你的理論有多么美麗并不重要拯刁，你的聰明程度也無關(guān)緊要炼幔。如果你不敢用實(shí)驗(yàn)驗(yàn)證你的理論括勺，那它就是錯(cuò)的结序。 – Richard Feynman
為什么重要
在大多數(shù)實(shí)驗(yàn)分析中宴猾，我們假設(shè)實(shí)驗(yàn)中每個(gè)樣本的行為不受其他樣本的影響酌住。在大多數(shù)實(shí)際應(yīng)用中，這是一個(gè)合理的假設(shè)刃麸。但是醒叁，在許多情況下，此假設(shè)也會(huì)不成立泊业。
在本書的大部分討論中把沼，我們都假設(shè)使用魯賓因果模型（Imbens and Rubin 2015），這是用于分析對(duì)照實(shí)驗(yàn)的標(biāo)準(zhǔn)框架吁伺。在本章中饮睬，我們討論了該模型用到的假設(shè)，假設(shè)失敗的場(chǎng)景以及解決這些問題的方法篮奄。
魯賓因果模型中的一個(gè)關(guān)鍵假設(shè)是穩(wěn)定的樣本干預(yù)價(jià)值假設(shè)（SUTVA）捆愁，該假設(shè)指出實(shí)驗(yàn)中每個(gè)樣本的行為均不受其他樣本變化的影響（Rubin 1990，Cox 1958窟却，Imbens和Rubin 2015 ）昼丑，如公式22.1所示：
（22.1）
。
在大多數(shù)實(shí)際應(yīng)用中茬腿，這是一個(gè)合理的假設(shè)呼奢。例如，喜歡第2章中描述的新結(jié)帳流程的用戶更有可能購買商品切平，并且該行為獨(dú)立于其他用戶握础。但是，如果SUTVA假設(shè)不成立（請(qǐng)參閱本章后面的示例）悴品，則該分析會(huì)得出可能不正確的結(jié)論弓候。我們將干擾定義為違反SUTVA郎哭，有時(shí)稱為溢出或泄漏。
干擾有兩種產(chǎn)生方式：直接或間接 菇存。例如夸研，如果兩個(gè)用戶是社交網(wǎng)絡(luò)上的朋友，或者他們同時(shí)訪問了相同的物理空間依鸥，這是直接連接亥至。間接連接是由于某些潛在變量或共享資源而存在的連接，例如贱迟，“干預(yù)和控制組”中的樣本共享相同的廣告預(yù)算姐扮。這兩種類別的相似之處在于，在兩種情況下衣吠，都有一種媒介將治療組和控制組聯(lián)系起來并允許它們進(jìn)行交互茶敏。媒體可以是社交網(wǎng)絡(luò)上的物化友誼連接，也可以是根據(jù)“干預(yù)”和“控制”用戶的點(diǎn)擊付費(fèi)的共享廣告預(yù)算缚俏。重要的是要理解干擾可以通過其表現(xiàn)出來的機(jī)制惊搏，因?yàn)榻鉀Q這些干擾的最佳解決方案可能會(huì)有所不同。
為了使問題更具體忧换，一下是詳細(xì)討論恬惯。
例子
直接連接
如果兩個(gè)用戶是社交網(wǎng)絡(luò)上的朋友，或者他們同時(shí)訪問了相同的物理空間亚茬，則可以直接連接兩個(gè)單元酪耳。直接連接的兩個(gè)單元可能分別被分在“處理”和“控制”組，因此會(huì)導(dǎo)致變體之間的干擾刹缝。
Facebook / LinkedIn碗暗。在Facebook或LinkedIn等社交網(wǎng)絡(luò)中，用戶行為可能會(huì)受到其社交社區(qū)行為的影響（Eckles梢夯，Karrer和Ugander言疗，2017； Gui等厨疙，2015）。隨著更多鄰居的使用疑务，用戶發(fā)現(xiàn)新的社交參與功能更有價(jià)值沾凄，因此更有可能自己使用它。例如知允，從用戶角度來看：
如果我的朋友使用它撒蟀，我更有可能在Facebook上使用視頻聊天。
如果我的朋友給我發(fā)消息温鸽，我更有可能在LinkedIn上給他們發(fā)消息保屯。
如果我的網(wǎng)絡(luò)中的朋友在LinkedIn上發(fā)帖手负，則我更有可能在LinkedIn上發(fā)帖。
在A / B實(shí)驗(yàn)中姑尺，這意味著竟终，如果“干預(yù)”對(duì)用戶產(chǎn)生重大影響，則該效果可能會(huì)擴(kuò)散到他們的社交圈切蟋，而不管鄰居是否處于“治療”或“控制”狀態(tài)统捶。例如，LinkedIn上的“可能認(rèn)識(shí)的人”算法中的一種更好的推薦算法鼓勵(lì)用戶發(fā)送更多的聯(lián)系邀請(qǐng)柄粹。但是喘鸟，收到這些邀請(qǐng)的用戶可能處于Control變體中，并且當(dāng)他們?cè)L問LinkedIn接受邀請(qǐng)時(shí)驻右，他們可能會(huì)發(fā)現(xiàn)更多與之聯(lián)系的人什黑。如果主要關(guān)注指標(biāo)是已發(fā)送邀請(qǐng)的總數(shù)，則“處理”和“控制”邀請(qǐng)都可能會(huì)增加堪夭，因此差異會(huì)向下偏移愕把，并且無法完全利用新算法的優(yōu)勢(shì)。同樣茵瘾，如果“干預(yù)”鼓勵(lì)用戶發(fā)送更多消息礼华，則“控制組”也將看到隨著用戶答復(fù)而發(fā)送的消息有所增加。參見圖22.1拗秘。
當(dāng)Treatment中的用戶向他們的網(wǎng)絡(luò)發(fā)送更多消息時(shí)圣絮，Control中的用戶在回復(fù)這些消息時(shí)也會(huì)發(fā)送更多消息。
Skype通話雕旨。作為一種通信工具扮匠，Skype上的每個(gè)呼叫至少涉及兩個(gè)參與方。顯然凡涩，如果用戶決定在Skype上呼叫朋友棒搜，則該朋友最終會(huì)更多地使用Skype，至少要接聽此呼叫活箕。朋友可能還會(huì)使用Skype打電話給他們的朋友力麸。在A / B設(shè)置中，假定Skype改善了Treatment的呼叫質(zhì)量育韩，增加了Treatment組的呼叫克蚂。這些呼叫可以轉(zhuǎn)到處于“治療”或“控制”狀態(tài)的用戶。結(jié)果是筋讨，使用Skype進(jìn)行通話的Control用戶也有所增加埃叭，因此低估了Treatment和Control之間的差異。
間接聯(lián)系
由于某些潛在變量或共享資源悉罕，兩個(gè)單元可以具有間接連接赤屋。像直接連接一樣立镶，這些間接連接也會(huì)導(dǎo)致干擾和對(duì)治療效果的估計(jì)偏差。
Airbnb如果AirBnB的房屋出租市場(chǎng)站點(diǎn)改善了Treatment用戶的轉(zhuǎn)化流量类早，從而導(dǎo)致更多的預(yù)訂媚媒，那么自然會(huì)導(dǎo)致Control用戶的可選房源減少。這意味著從對(duì)照組獲得的收入少于沒有治療組的情況下的收入莺奔。從而導(dǎo)致高估干預(yù)效果（Holtz 2018）欣范。 Uber / Lyft。想象一下令哟，Uber想要測(cè)試一種非常棒的“激增價(jià)格”算法恼琼，以至于“治療”中的騎手更有可能選擇騎車。現(xiàn)在道路上的駕駛員越來越少屏富，控制組的價(jià)格上漲了晴竞，導(dǎo)致了更少的騎手。結(jié)果狠半，比較了治療組和對(duì)照組的差額被高估了（Chamandy 2016）噩死。
易趣。假設(shè)針對(duì)買家的待遇鼓勵(lì)提高出價(jià)神年，例如回扣或促銷已维。由于治療和控制用戶正在爭(zhēng)奪相同的物品，因此干預(yù)組的較高出價(jià)無疑會(huì)使控制用戶贏得拍賣的可能性降低。如果感興趣的指標(biāo)是交易總數(shù)，則治療和控制之間的差異就被高估了（Blake和Coey 2014夹界，Kohavi，Longbotham等堂鲜，2009）。
廣告活動(dòng)护奈〉蘖考慮一個(gè)實(shí)驗(yàn)，該實(shí)驗(yàn)向用戶顯示相同廣告的不同排名霉旗。如果“待遇”鼓勵(lì)增加廣告點(diǎn)擊次數(shù)痴奏，則會(huì)更快地用盡廣告系列預(yù)算。由于給定活動(dòng)的預(yù)算由治療組和控制組共享厌秒，因此控制組最終會(huì)獲得較小的預(yù)算读拆。結(jié)果，治療和控制之間的差異被高估了简僧。同樣建椰，由于預(yù)算限制雕欺，影響廣告收入的實(shí)驗(yàn)在月初（或季度）與月末（或季度）的結(jié)果往往會(huì)有所不同（Blake和Coey 2014岛马，Kohavi棉姐，Longbotham等人。 2009）啦逆。
相關(guān)性模型訓(xùn)練伞矩。相關(guān)性模型通常嚴(yán)重依賴用戶參與度數(shù)據(jù)來了解什么是相關(guān)的，什么是不相關(guān)的夏志。只是為了解釋這個(gè)概念乃坤，請(qǐng)想象一個(gè)使用簡(jiǎn)單的基于點(diǎn)擊的相關(guān)性模型進(jìn)行排名的搜索引擎。在這種情況下沟蔑，如果有更多的用戶在搜索“鞋”時(shí)單擊target.com湿诊，則搜索引擎將為target“ com”學(xué)習(xí)關(guān)鍵字“鞋”并將其排名更高。此學(xué)習(xí)過程是模型訓(xùn)練瘦材，并且隨著新數(shù)據(jù)的流入而連續(xù)發(fā)生厅须。考慮“干預(yù)相關(guān)性”模型食棕，該模型可以更好地預(yù)測(cè)用戶喜歡單擊的內(nèi)容朗和。如果我們使用從所有用戶收集的數(shù)據(jù)來訓(xùn)練“干預(yù)”和“控制”模型，則實(shí)驗(yàn)運(yùn)行的時(shí)間越長簿晓，來自“干預(yù)”的“良好”點(diǎn)擊就越多眶拉。
中央處理器。當(dāng)用戶在網(wǎng)站上執(zhí)行某項(xiàng)操作（例如將商品添加到購物車或單擊搜索結(jié)果）時(shí)憔儿，通常會(huì)導(dǎo)致對(duì)網(wǎng)站服務(wù)器的請(qǐng)求忆植。簡(jiǎn)化后，請(qǐng)求由服務(wù)器計(jì)算機(jī)處理皿曲，并將信息返回給用戶唱逢。在A / B設(shè)置中，來自“干預(yù)”和“控制”的請(qǐng)求通常由同一臺(tái)機(jī)器處理屋休。我們已經(jīng)遇到了一些例子坞古，其中“干預(yù)”中的錯(cuò)誤意外占用了計(jì)算機(jī)上的CPU和內(nèi)存，結(jié)果劫樟，“處理”和“控制”雙方的請(qǐng)求都需要花費(fèi)更長的時(shí)間來處理痪枫。如果我們進(jìn)行通常的“治療和對(duì)照”比較，那么對(duì)實(shí)驗(yàn)中的負(fù)面治療效果將被低估叠艳。
子用戶實(shí)驗(yàn)單位奶陈。正如我們?cè)诘?4章中討論的那樣，即使用戶是更常用的實(shí)驗(yàn)單位附较，在某些情況下吃粒，實(shí)驗(yàn)也會(huì)以不同的單位隨機(jī)化，例如頁面訪問或會(huì)話拒课。如果“干預(yù)”有很強(qiáng)的學(xué)習(xí)效果徐勃，則小于用戶的實(shí)驗(yàn)單位（例如綜合瀏覽量）可能會(huì)導(dǎo)致同一用戶的單位之間潛在的泄漏事示。在這種情況下，“用戶”是潛在連接僻肖。舉例來說肖爵，假設(shè)我們進(jìn)行了“干預(yù)”，顯著改善了延遲臀脏，并且我們對(duì)頁面瀏覽量進(jìn)行了隨機(jī)化處理劝堪，因此，同一用戶在“干預(yù)”和“控制”中都會(huì)體驗(yàn)到頁面瀏覽揉稚。更快的頁面加載時(shí)間通趁肜玻可以帶來更多的點(diǎn)擊和更多的收入（請(qǐng)參閱第5章）。但是搀玖，由于用戶體驗(yàn)混合的體驗(yàn)帝蒿，因此他們?cè)诳焖夙撁嫔系男袨榭赡軙?huì)受到慢速頁面的行為的影響，反之亦然巷怜。同樣葛超，干預(yù)效果被低估了。
現(xiàn)實(shí)解決方案
盡管這些示例中的干擾可能是由不同的原因引起的延塑，但它們都可能導(dǎo)致結(jié)果有偏差绣张。例如，在一個(gè)廣告系列中关带，可能會(huì)在實(shí)驗(yàn)過程中看到收入的正增量侥涵，但是當(dāng)“治療方案”面向所有用戶推出時(shí)，由于預(yù)算限制宋雏，其影響可能是中性的芜飘。當(dāng)我們進(jìn)行實(shí)驗(yàn)時(shí)，我們想要估計(jì)兩個(gè)平行的之間的差額：每個(gè)單元都在“干預(yù)”中的宇宙磨总，以及每個(gè)單元都在“控制”中的宇宙嗦明。治療和控制單元之間的泄漏會(huì)使估計(jì)值產(chǎn)生偏差。我們?nèi)绾晤A(yù)防或糾正它蚪燕？
解決受控實(shí)驗(yàn)中的干擾有幾種實(shí)用方法娶牌。 Gupta等。 （2019）也對(duì)其中一些方法進(jìn)行了很好的討論馆纳。
經(jīng)驗(yàn)法則：行為的系統(tǒng)價(jià)值
并非所有用戶操作都從“處理”擴(kuò)散到“控制”诗良。可以確定可能會(huì)溢出的操作鲁驶，并且僅在這些操作在實(shí)驗(yàn)中受到實(shí)質(zhì)影響時(shí)才擔(dān)心干擾鉴裹。這通常不僅意味著一階動(dòng)作，而且還意味著對(duì)動(dòng)作的潛在反應(yīng)。例如径荔，為社交網(wǎng)絡(luò)上的實(shí)驗(yàn)考慮以下指標(biāo)
已發(fā)送的郵件總數(shù)以及已回復(fù)的郵件
創(chuàng)建的帖子總數(shù)以及收到的喜歡/評(píng)論總數(shù)
喜歡和評(píng)論的總數(shù)葛作，以及收到這些喜歡和評(píng)論的創(chuàng)建者的總數(shù)。
這些指標(biāo)可以表明對(duì)后續(xù)實(shí)驗(yàn)的影響猖凛。衡量響應(yīng)可以估算出一階行動(dòng)對(duì)生態(tài)系統(tǒng)潛在影響的深度和廣度（Barrilleaux and Wang 2018）。對(duì)一階行動(dòng)產(chǎn)生積極影響而對(duì)下游指標(biāo)沒有影響的實(shí)驗(yàn)不太可能產(chǎn)生可衡量的溢出效應(yīng)绪穆。
一旦確定了指示下游影響的指標(biāo)辨泳，就可以為每個(gè)行動(dòng)如何轉(zhuǎn)化為整個(gè)生態(tài)系統(tǒng)的價(jià)值或參與度建立一般指導(dǎo)。例如玖院，來自用戶A的消息轉(zhuǎn)化為多少而來自A及其鄰居的會(huì)話菠红？建立此經(jīng)驗(yàn)法則的一種方法是使用歷史實(shí)驗(yàn)證明其具有下游影響，并使用工具變量法將這種影響外推至行動(dòng)X / Y / Z的下游影響（Tutterow和Saint Jacques 2019）难菌。
這種經(jīng)驗(yàn)法則方法相對(duì)易于實(shí)施试溯，因?yàn)樗枰淮涡缘墓ぷ鱽泶_定生態(tài)系統(tǒng)價(jià)值，然后將其應(yīng)用于任何Bernoulli隨機(jī)實(shí)驗(yàn)郊酒。它比其他方法更敏感遇绞，因?yàn)樗揽坎S機(jī)數(shù)來衡量對(duì)下游指標(biāo)的重大影響。但是燎窘，該方法確實(shí)有局限性摹闽。本質(zhì)上，經(jīng)驗(yàn)法則只是一個(gè)近似值褐健，可能不適用于所有情況付鹿。例如，某些處理產(chǎn)生的其他消息可能會(huì)對(duì)系統(tǒng)造成的影響要大于平均值蚜迅。
隔離
干擾通過連接治療組和控制組的介質(zhì)發(fā)生舵匾。可以通過識(shí)別介質(zhì)并隔離每個(gè)變體來消除潛在的干擾谁不。經(jīng)驗(yàn)法則使用伯努利隨機(jī)化設(shè)計(jì)坐梯，是的你可以在分析過程中估計(jì)對(duì)系統(tǒng)的影響。要?jiǎng)?chuàng)建隔離刹帕，必須考慮其他實(shí)驗(yàn)設(shè)計(jì)烛缔，以確保將治療和控制單元很好地分開。這里有一些實(shí)用的隔離方法轩拨。
- 拆分共享資源践瓷。如果共享資源引起干擾，則將其分為治療和控制是顯而易見的首選亡蓉。例如晕翠，可以根據(jù)變體分配來劃分廣告預(yù)算，并且只允許分配20％的流量的版本消耗20％的預(yù)算。同樣淋肾，在相關(guān)性算法訓(xùn)練案例中硫麻，可以根據(jù)從中收集訓(xùn)練數(shù)據(jù)的變體對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行拆分。
應(yīng)用此方法時(shí)需要注意兩點(diǎn)：
1.是否可以根據(jù)版本分配的流量樊卓，準(zhǔn)確分配資源拿愧？對(duì)于預(yù)算或培訓(xùn)數(shù)據(jù)而言，這很容易實(shí)現(xiàn)碌尔。但對(duì)于其他實(shí)驗(yàn)浇辜，這通常是不可能的。例如唾戚，對(duì)于共享的機(jī)器柳洋，由于各個(gè)機(jī)器之間存在異質(zhì)性，不同的機(jī)器會(huì)引入太多其他難以糾正的混淆因素叹坦。
- 流量分配（資源分割大行芰汀）是否會(huì)帶來偏差？對(duì)于訓(xùn)練數(shù)據(jù)募书，模型性能會(huì)隨著獲得更多訓(xùn)練數(shù)據(jù)而提高绪囱。如果“干預(yù)”模型僅獲得5％的數(shù)據(jù)進(jìn)行訓(xùn)練，而“對(duì)照”模型獲得了95％的數(shù)據(jù)莹捡，則這會(huì)導(dǎo)致對(duì)“對(duì)照”模型的偏見毕箍。這是我們建議將流量分配為50/50的原因之一。
基于地理位置的隨機(jī)化道盏。有很多示例而柑，其中兩個(gè)單位在地理位置上接近時(shí)會(huì)發(fā)生干擾，例如荷逞，兩個(gè)旅館在爭(zhēng)奪同一名游客媒咳，或者兩輛出租車在爭(zhēng)奪同一名騎手。合理地假設(shè)來自不同地區(qū)的單位（酒店种远，出租車涩澡，騎士等）是相互隔離的。這使我們可以在區(qū)域級(jí)別進(jìn)行隨機(jī)化坠敷，以隔離治療和控制之間的干擾（Vaver和Koehler妙同，2011年，2012年）膝迎。一個(gè)警告：在地理位置級(jí)別隨機(jī)化會(huì)限制可用地理位置的數(shù)量粥帚，從而限制樣本數(shù)量。這導(dǎo)致A / B測(cè)試的差異更大且Power更低限次。有關(guān)減少方差和提高功率的討論芒涡，請(qǐng)參見第18章柴灯。
基于時(shí)間的隨機(jī)化》丫。可以使用時(shí)間創(chuàng)建隔離赠群。在任何時(shí)候，都可以擲硬幣并決定是要給予所有用戶治療還是給予所有用戶控制權(quán)（Bojinov和Shephard旱幼，2017年查描； Hohnhold，O'Brien和Tang柏卤，2015年）冬三。當(dāng)然，要使其正常工作闷旧，同一用戶隨時(shí)間推移可能引起的干擾就無關(guān)緊要了（請(qǐng)參閱上面的子用戶實(shí)驗(yàn)單元討論）。時(shí)間單位可以短（秒）或長（周）钧唐，具體取決于實(shí)際情況以及所需的采樣點(diǎn)數(shù)忙灼。例如，如果以“天”為單位钝侠，則一周只能收集七個(gè)采樣點(diǎn)该园，這可能不夠快。要記住的一件事是通常存在強(qiáng)烈的時(shí)間變化帅韧，例如一周中的一天或一天中的一個(gè)小時(shí)里初。通常，通過在配對(duì)t檢驗(yàn)或協(xié)變量調(diào)整中利用此信息忽舟，有助于減少方差双妨。有關(guān)更多詳細(xì)信息，請(qǐng)參見第18章叮阅。在第11章中討論了一種類似的技術(shù)刁品，稱為中斷時(shí)間序列（ITS）。
網(wǎng)絡(luò)集群隨機(jī)化浩姥。類似于基于地理的隨機(jī)化挑随，在社交網(wǎng)絡(luò)上，我們根據(jù)節(jié)點(diǎn)的相互干擾可能性構(gòu)造彼此接近的節(jié)點(diǎn)“集群”勒叠。我們將每個(gè)簇作為“巨型”單位使用兜挨，并將它們獨(dú)立地隨機(jī)分為治療組或?qū)φ战M（Gui等，2015眯分； Backstrom和Kleinberg拌汇，2011； Cox 1958弊决； Katzir担猛，Liberty和Somekh，2012）。
這種方法有兩個(gè)局限性：
1.在實(shí)踐中很少有完美的隔離傅联。在大多數(shù)社交網(wǎng)絡(luò)中先改，連接圖通常過于密集而無法切成完全隔離的群集。例如蒸走，當(dāng)嘗試從整個(gè)LinkedIn圖創(chuàng)建10,000個(gè)隔離和平衡的群集時(shí)仇奶，群集之間仍然有80％以上的連接（Saint-Jacques et al.2018）。
2.與其他大型單位隨機(jī)化方法一樣比驻，有效樣本大懈盟荨（聚類數(shù)）通常很小，這在構(gòu)建聚類時(shí)會(huì)導(dǎo)致方差偏見的權(quán)衡别惦。群集的數(shù)量越大狈茉，方差越小，但偏差也越小掸掸，隔離度也越高氯庆。以網(wǎng)絡(luò)自我為中心的隨機(jī)化。在網(wǎng)絡(luò)集群隨機(jī)化方法中扰付，通過最小化集群之間的邊緣切割來構(gòu)建集群堤撵，并且每個(gè)集群都不采用特定的結(jié)構(gòu)。在實(shí)驗(yàn)分配過程中羽莺，群集中的每個(gè)節(jié)點(diǎn)也被視為相同实昨。以自我為中心的隨機(jī)化解決了社交網(wǎng)絡(luò)上類似的干擾問題，但局限性較小盐固。通過創(chuàng)建每個(gè)均由“自我”（焦點(diǎn)人物）及其“替代者”（與之直接聯(lián)系的個(gè)體）組成的集群荒给，它可以實(shí)現(xiàn)更好的隔離和較小的方差。這使我們可以分別決定自負(fù)和變更的變量分配刁卜。例如锐墙，進(jìn)行所有變更干預(yù)，僅進(jìn)行一半自我干預(yù)长酗。通過比較“干預(yù)”中的自我和“對(duì)照”中的自我溪北，可以測(cè)量一階影響和下游影響《崞ⅲ可以在Saint-Jacques等人的文章中找到有關(guān)此問題的精彩討論之拨。 al。 （2018b）咧叭。
在適用的情況下蚀乔，請(qǐng)始終結(jié)合使用隔離方法以獲取更大的樣本量。例如菲茬，在應(yīng)用網(wǎng)絡(luò)集群隨機(jī)化時(shí)吉挣，可以利用時(shí)間t作為采樣維數(shù)來擴(kuò)展樣本大小派撕。如果大多數(shù)干擾的時(shí)間跨度較短，并且“處理”效果本身是事務(wù)性的睬魂，則可以每天使用硬幣翻轉(zhuǎn)來確定每個(gè)群集的版本分配终吼。有時(shí)，可以通過預(yù)測(cè)可能發(fā)生干擾的地方來創(chuàng)建更好的隔離氯哮。例如际跪，用戶不會(huì)向其社交網(wǎng)絡(luò)中的每個(gè)鄰居發(fā)送消息。一般網(wǎng)絡(luò)本身通常過于密集以至于無法創(chuàng)建孤立的群集喉钢，因此確定可能交換消息的子圖可以創(chuàng)建更好的群集姆打。
邊緣水平分析
在兩個(gè)用戶之間明確定義的交互中會(huì)發(fā)生一些泄漏。這些相互作用（邊緣）很容易識(shí)別肠虽♂Ｏ罚可以對(duì)用戶使用伯努利隨機(jī)化，然后根據(jù)用戶（節(jié)點(diǎn)）的實(shí)驗(yàn)分配將邊緣標(biāo)記為以下四種類型之一：“干預(yù)至干預(yù)”税课，“干預(yù)至控制”闲延，“控制至控制”和“控制到干預(yù)”。發(fā)生在不同邊緣的對(duì)比互動(dòng)（例如伯复，消息慨代，喜歡）可讓你了解重要的網(wǎng)絡(luò)效果邢笙。例如啸如，使用“治療到治療”和“控制到控制”之間的對(duì)比來無偏差估計(jì)，或確定干預(yù)中的單元是否比控制單元更傾向于向其他治療單元發(fā)送消息（治療親和力）氮惯，以及是否由干預(yù)獲得更高的緩解率叮雳。可以在Saint-Jacques等人的文章中閱讀邊緣級(jí)分析妇汗。 al帘不。 （2018b）。
檢測(cè)和監(jiān)視干擾
了解干擾的機(jī)制是確定好的解決方案的關(guān)鍵杨箭。但是寞焙，盡管獲得精確的測(cè)量值可能并非對(duì)每個(gè)實(shí)驗(yàn)都可行，但是擁有強(qiáng)大的監(jiān)視和警報(bào)系統(tǒng)以檢測(cè)干擾非常重要互婿。例如捣郊，如果實(shí)驗(yàn)期間的所有廣告收入均來自預(yù)算受限的廣告客戶 vs 預(yù)算不受限制的廣告客戶，則實(shí)驗(yàn)結(jié)果在發(fā)布后無法推廣慈参。實(shí)驗(yàn)爬坡階段還可以檢測(cè)到非常嚴(yán)重的干擾（例如呛牲，“干預(yù)”消耗了所有CPU）。有關(guān)詳細(xì)信息驮配，請(qǐng)參見第15章娘扩。
