【2018-10-04】挖掘頻繁項桶癣、關(guān)聯(lián)和相關(guān)性

關(guān)聯(lián)規(guī)則(以購物籃為例)

支持度:規(guī)則前項LHS和規(guī)則后項RHS所包含的商品同時出現(xiàn)的概率娘锁,LHS和RHS的商品交易次數(shù)/總交易次數(shù)。

support(A=>B)=P(AUB)

置信度:在所有的購買了左邊商品的交易中间雀,同時又購買了右邊商品的交易機(jī)率镊屎,包含規(guī)則兩邊商品的交易次數(shù)/包括規(guī)則左邊商品的交易次數(shù)。

confidence(A=>B)=P(B|A)=support(AUB) / support(A)

提升度:(有這個規(guī)則和沒有這個規(guī)則是否概率會提升匪煌,規(guī)則是否有價值):無任何約束的情況下買后項的交易次數(shù)/置信度党巾。提升度必須大于1才有意義。

lift(A,B)=P(AUB)/P(A)P(B)

關(guān)聯(lián)規(guī)則的挖掘一般分為兩步:

(1)找出頻繁項集

(2)由頻繁項產(chǎn)生強(qiáng)關(guān)聯(lián)規(guī)則

????????【Apriori算法】逐層搜索的迭代算法驳规。通過掃描數(shù)據(jù)庫累計每個項的計數(shù)署海,并收集滿足最小支持度的項,找出頻繁 i 項集合砸狞,記為Li。

????????【提高Apriori的效率】

(1)基于散列的技術(shù)踱启,散列項集到對應(yīng)的桶中

(2)事物壓縮研底,壓縮進(jìn)一步迭代掃描的事物數(shù)。

(3)抽樣冠蒋,對給定數(shù)據(jù)的一個子集進(jìn)行挖掘

(4)動態(tài)項集計數(shù)乾胶,在掃描的不同點添加候選項集

挖掘頻繁項集的模式增長方法(FP-growth)

(1)將代表頻繁項集的數(shù)據(jù)庫壓縮到一棵頻繁模式樹(FP-樹)朽寞,該樹任然保留項集的關(guān)聯(lián)信息斩郎。

(2)把壓縮后的數(shù)據(jù)庫劃分成一組條件數(shù)據(jù)庫(一種特殊類型的投影數(shù)據(jù)庫),每個數(shù)據(jù)庫關(guān)聯(lián)一個頻繁項或“模式段”吨掌,并分別挖掘每個條件數(shù)據(jù)庫脓恕。

模式評估方法:

(1)提升度

(2)卡方

(3)全置信度

all_conf(A,B)=sup(AUB)/max{sup(A),sup(B)}=min{P(A|B),P(B|A)}

(4)最大置信度

max_conf(A,B)=max{sup(A),sup(B)}

(5)kulczynski

kulc(A,B)=1/2(P(A|B)+P(B|A))

(6)余弦

cosine(A,B)=P(AUB)/((P(A)*P(B))^1/2)=sup(AUB)/((sup(A)*sup(B))^1/2)

【高級模式挖掘】

-----多層關(guān)聯(lián)規(guī)則

------多維關(guān)聯(lián)規(guī)則

------量化關(guān)聯(lián)規(guī)則

-----稀有模式和負(fù)模式

【基于約束的頻繁項挖掘】

【挖掘高維數(shù)據(jù)和巨型模式】

【挖掘壓縮或近似模式】

----通過模式聚類挖掘壓縮模式

-----提取感知冗余的top-k模式

? ? ? ?挖掘top-k個最頻繁模式是一種減少挖掘返回的模式數(shù)量的策略炼幔。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末史简,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子跺讯,更是在濱河造成了極大的恐慌,老刑警劉巖刀脏,帶你破解...
    沈念sama閱讀 217,542評論 6 504
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件愈污,死亡現(xiàn)場離奇詭異,居然都是意外死亡暂雹,警方通過查閱死者的電腦和手機(jī)创夜,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,822評論 3 394
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來揍魂,“玉大人棚瘟,你說我怎么就攤上這事≠苏海” “怎么了瞬内?”我有些...
    開封第一講書人閱讀 163,912評論 0 354
  • 文/不壞的土叔 我叫張陵虫蝶,是天一觀的道長。 經(jīng)常有香客問我能真,道長扰柠,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,449評論 1 293
  • 正文 為了忘掉前任蝙泼,我火速辦了婚禮劝枣,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘舔腾。我一直安慰自己,他們只是感情好稳诚,可當(dāng)我...
    茶點故事閱讀 67,500評論 6 392
  • 文/花漫 我一把揭開白布采桃。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪鄙才。 梳的紋絲不亂的頭發(fā)上蝴乔,一...
    開封第一講書人閱讀 51,370評論 1 302
  • 那天,我揣著相機(jī)與錄音,去河邊找鬼。 笑死沙廉,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的珊皿。 我是一名探鬼主播,決...
    沈念sama閱讀 40,193評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼蟋定,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了驶兜?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,074評論 0 276
  • 序言:老撾萬榮一對情侶失蹤屠凶,失蹤者是張志新(化名)和其女友劉穎蝇狼,沒想到半個月后倡怎,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,505評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡颤专,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,722評論 3 335
  • 正文 我和宋清朗相戀三年栖秕,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片簇捍。...
    茶點故事閱讀 39,841評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡暑塑,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出锅必,到底是詐尸還是另有隱情,我是刑警寧澤驹愚,帶...
    沈念sama閱讀 35,569評論 5 345
  • 正文 年R本政府宣布劣纲,位于F島的核電站,受9級特大地震影響癞季,放射性物質(zhì)發(fā)生泄漏棠耕。R本人自食惡果不足惜柠新,卻給世界環(huán)境...
    茶點故事閱讀 41,168評論 3 328
  • 文/蒙蒙 一恨憎、第九天 我趴在偏房一處隱蔽的房頂上張望蕊退。 院中可真熱鬧憔恳,春花似錦、人聲如沸钥组。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,783評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽郎逃。三九已至挺份,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間匀泊,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,918評論 1 269
  • 我被黑心中介騙來泰國打工揣非, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人妆兑。 一個月前我還...
    沈念sama閱讀 47,962評論 2 370
  • 正文 我出身青樓搁嗓,卻偏偏與公主長得像箱靴,于是被迫代替她去往敵國和親腺逛。 傳聞我的和親對象是個殘疾皇子棍矛,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,781評論 2 354

推薦閱讀更多精彩內(nèi)容

  • 專業(yè)考題類型管理運行工作負(fù)責(zé)人一般作業(yè)考題內(nèi)容選項A選項B選項C選項D選項E選項F正確答案 變電單選GYSZ本規(guī)程...
    小白兔去釣魚閱讀 8,988評論 0 13
  • 你說我 是喜歡而不是愛你 確實 我沒有過 戀人情侶間 那纏綿悱惻的 愛的經(jīng)歷 如果某天 你牽著我的手 親愛的 我會...
    不如跳舞465閱讀 127評論 0 1
  • 我不管不顧的丟下了手頭的工作玉罐,只想回去躺躺潘拨,胃部傳來的痛感強(qiáng)烈叫囂著,隨時都有一種要die掉的錯覺铁追。蜷縮的躺在床的...
    一胡豆豆閱讀 750評論 6 3
  • 你走 然后我不回頭 在水底 像光躍進(jìn)來 但立刻消失了 因為我是那光 你卻向我來的地方久久張望
    浮云別閱讀 94評論 0 0