關(guān)聯(lián)規(guī)則是反映一個(gè)事物與其他事物之間的相互依存性和關(guān)聯(lián)性序臂，常用于實(shí)體商店或在線電商的推薦系統(tǒng)：通過(guò)對(duì)顧客的購(gòu)買記錄數(shù)據(jù)庫(kù)進(jìn)行關(guān)聯(lián)規(guī)則挖掘蚌卤，最終目的是發(fā)現(xiàn)顧客群體的購(gòu)買習(xí)慣的內(nèi)在共性，例如購(gòu)買產(chǎn)品A的同時(shí)也連帶購(gòu)買產(chǎn)品B的概率奥秆，根據(jù)挖掘結(jié)果逊彭，調(diào)整貨架的布局陳列、設(shè)計(jì)促銷組合方案构订，實(shí)現(xiàn)銷量的提升侮叮，最經(jīng)典的應(yīng)用案例莫過(guò)于<啤酒和尿布>。
關(guān)聯(lián)規(guī)則分析中的關(guān)鍵概念包括：支持度(Support)悼瘾、置信度(Confidence)與提升度(Lift)囊榜。首先，我們簡(jiǎn)單溫故下這3個(gè)關(guān)鍵指標(biāo)~
1亥宿、支持度 (Support)：支持度是兩件商品（A∩B）在總銷售筆數(shù)(N)中出現(xiàn)的概率卸勺，即A與B同時(shí)被購(gòu)買的概率。類似于中學(xué)學(xué)的交集烫扼，需要原始同時(shí)滿足條件曙求。
公式：
例子說(shuō)明：
比如某超市2016年有100w筆銷售，顧客購(gòu)買可樂(lè)又購(gòu)買薯片有20w筆映企，顧客購(gòu)買可樂(lè)又購(gòu)買面包有10w筆悟狱，那可樂(lè)和薯片的關(guān)聯(lián)規(guī)則的支持度是20%，可樂(lè)和面包的支持度是10%卑吭。
2芽淡、置信度 (Confidence)：置信度是購(gòu)買A后再購(gòu)買B的條件概率。簡(jiǎn)單來(lái)說(shuō)就是交集部分C在A中比例豆赏，如果比例大說(shuō)明購(gòu)買A的客戶很大期望會(huì)購(gòu)買B商品。
公式：
例子說(shuō)明：
某超市2016年可樂(lè)購(gòu)買次數(shù)40w筆富稻，購(gòu)買可樂(lè)又購(gòu)買了薯片是30w筆掷邦，顧客購(gòu)買可樂(lè)又購(gòu)買面包有10w筆，則購(gòu)買可樂(lè)又會(huì)購(gòu)買薯片的置信度是75%椭赋，購(gòu)買可樂(lè)又購(gòu)買面包的置信度是25%抚岗，這說(shuō)明買可樂(lè)也會(huì)買薯片的關(guān)聯(lián)性比面包強(qiáng)，營(yíng)銷上可以做一些組合策略銷售哪怔。
3宣蔚、提升度 (Lift)：提升度表示先購(gòu)買A對(duì)購(gòu)買B的概率的提升作用向抢，用來(lái)判斷規(guī)則是否有實(shí)際價(jià)值，即使用規(guī)則后商品在購(gòu)物車中出現(xiàn)的次數(shù)是否高于商品單獨(dú)出現(xiàn)在購(gòu)物車中的頻率胚委。如果大于1說(shuō)明規(guī)則有效挟鸠，小于1則無(wú)效。
公式：
例子說(shuō)明：
可樂(lè)和薯片的關(guān)聯(lián)規(guī)則的支持度是20%亩冬，購(gòu)買可樂(lè)的支持度是3%艘希，購(gòu)買薯片的支持度是5%，則提升度是1.33>1, A-B規(guī)則對(duì)于商品B有提升效果硅急。
理論很簡(jiǎn)單覆享，真正實(shí)踐起來(lái)卻會(huì)遇到種種困難，印證了那句"數(shù)據(jù)分析師的50%～80%的時(shí)間都花在了處理數(shù)據(jù)上”营袜，例如一般POS明細(xì)是以下圖表形式展現(xiàn)：
要計(jì)算支持度(Support)撒顿、置信度(Confidence)與提升度(Lift)，首先需要知道Freq(A∩B)荚板、Freq(A)凤壁、Freq(B)和總筆數(shù)數(shù)值，那么需要對(duì)商品進(jìn)行排列組合啸驯。
所以客扎，我們希望轉(zhuǎn)換成下表形式，如銷售ID=000001罚斗， 4種商品的兩兩組合（種）：
若一個(gè)收銀小票（銷售ID）有30種商品徙鱼，則組合數(shù)達(dá)到435種。而且可視化層級(jí)上還需要展現(xiàn)集團(tuán)下每個(gè)分公司针姿、每個(gè)城市袱吆、每個(gè)門店、月度距淫、季度或者年度時(shí)間的關(guān)聯(lián)規(guī)則分析绞绒，如果用傳統(tǒng)的工具來(lái)實(shí)現(xiàn)上述分析無(wú)異于大海撈針。
下面我們就來(lái)看看在BDP中如何實(shí)現(xiàn)Apriori算法榕暇，實(shí)現(xiàn)關(guān)聯(lián)規(guī)則分析蓬衡！在BDP中，不僅可以便捷地實(shí)現(xiàn)多維數(shù)據(jù)分析彤枢，還可以通過(guò)靈活強(qiáng)大的功能組合來(lái)進(jìn)行更深層面的數(shù)據(jù)分析探索狰晚。
商品兩兩組合的初步想法是通過(guò)量化的思想對(duì)商品進(jìn)行編碼，比方說(shuō)可按照增序（從1開(kāi)始）缴啡，算出每筆銷售單最大值壁晒，求出兩者差值得到一組數(shù)組，通過(guò)數(shù)組行轉(zhuǎn)列形式實(shí)現(xiàn)2種商品兩兩組合业栅。
BDP實(shí)現(xiàn)的4大步驟：
為了實(shí)現(xiàn)上述的組合算法秒咐，我們先上傳10條數(shù)據(jù)到BDP平臺(tái)谬晕，共有3票購(gòu)物單，最大商品數(shù)分別是5携取、3以及2攒钳。測(cè)試數(shù)據(jù)下載：http://pan.baidu.com/s/1sl8mN5F
操作①：【工作表】-【創(chuàng)建合表】-【SQL創(chuàng)建】
上圖轉(zhuǎn)換成日期的形式，主要目的是為下一步的數(shù)組轉(zhuǎn)列做準(zhǔn)備歹茶，為配合explode（）函數(shù)使用夕玩。其中需要說(shuō)明的是上圖[日期]字段是自定義日期，可以更改成任意日期惊豺，沒(méi)有實(shí)際日期意義燎孟。
上圖主要使用的關(guān)鍵函數(shù)是FILL_DATES（[日期1],[日期2]），Explode（）尸昧。組合效果初顯現(xiàn)揩页，只是缺另一個(gè)商品名，然后把[下一日期]字段通過(guò)LEFT JOIN 關(guān)聯(lián)出商品B的名稱烹俗。
操作②：【工作表】-【創(chuàng)建合表】-【多表關(guān)聯(lián)】 用于創(chuàng)建表關(guān)聯(lián) 包括（LEFT/INNER/ FULL JOIN）
從上圖可以看到A商品和B商品兩兩組合邏輯已完成爆侣，在當(dāng)前表基礎(chǔ)上我們已經(jīng)可以去做連帶分析內(nèi)容。
在這里幢妄，求Freq(A)和Freq(B)和總筆數(shù)數(shù)值就不祥述了兔仰，思想大致是求出所有銷售商品的A 和B商品的頻次，通過(guò)合表關(guān)聯(lián)蕉鸳，整合到一張大表乎赴。
操作③：【工作表】-【創(chuàng)建合表】-【追加合并】合并訂單總數(shù) ，A商品訂單數(shù)潮尝，B商品訂單數(shù)和A∩B商品連帶筆數(shù)
追加合并可以把相同字段商品合并在一起榕吼，方便計(jì)算三個(gè)指標(biāo)（支持度、置信度勉失、提升度）有利于可視化展現(xiàn)羹蚣。
操作④：可視化展現(xiàn)：【BDP】-【可視化儀表盤】
注：為了更好體現(xiàn)可視化效果，這部分的可視化展示成果并非使用上述的測(cè)試數(shù)據(jù)或某個(gè)企業(yè)數(shù)據(jù)乱凿。
制作三個(gè)圖表進(jìn)行購(gòu)物籃分析：
上圖反映季度連帶最高頻次商品顽素，高聯(lián)帶商品意味著對(duì)客戶吸引力大商品粘性強(qiáng)，同時(shí)也可以查看不同分公司的TOP20連帶情況徒蟆。根據(jù)結(jié)果我們可以合理設(shè)計(jì)促銷策略戈抄，例如買2送1等。
置信度高說(shuō)明商品連帶緊密后专，說(shuō)明客戶連帶意愿強(qiáng)，同時(shí)關(guān)注支持度输莺，支持度高說(shuō)明是需求量大戚哎，如果支持度低裸诽，置信度高其實(shí)對(duì)市場(chǎng)作用是有限小的。
通過(guò)單價(jià)型凳，支持度丈冬，置信度，提升度綜合指標(biāo)來(lái)看待商品組合甘畅，發(fā)現(xiàn)高價(jià)值關(guān)聯(lián)商品埂蕊，有助于提升客單價(jià)，同時(shí)也需要考慮提升度疏唾，提升度小于1蓄氧，提升效果有限，可以把精力花在提升度大于1的商品組合槐脏。同樣地喉童，我們是否可以實(shí)現(xiàn)三種商品的組合呢？答案是顯然的顿天，只要我們深入理解以上過(guò)程堂氯，三種商品關(guān)聯(lián)也是可以實(shí)現(xiàn)的。
除了購(gòu)物籃分析（零售牌废、快消咽白、電商等行業(yè)適用）這個(gè)典型應(yīng)用，關(guān)聯(lián)規(guī)則分析還在金融行業(yè)鸟缕、搜索引擎晶框、智能推薦等領(lǐng)域大有所為，如銀行客戶交叉銷售分析叁扫、搜索詞推薦或者識(shí)別異常三妈、基于興趣的實(shí)時(shí)新聞推薦等。
作者熊輝莫绣，6年數(shù)據(jù)分析師從業(yè)經(jīng)驗(yàn)畴蒲，對(duì)數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)算法有深入的研究！
