1.IV的用途
IV的全稱是Information Value，中文意思是信息價值勋乾，或者信息量辑莫。
我們在用邏輯回歸、決策樹等模型方法構(gòu)建分類模型時撩满，經(jīng)常需要對自變量進行篩選伺帘。比如我們有200個候選自變量伪嫁，通常情況下张咳，不會直接把200個變量直接放到模型中去進行擬合訓(xùn)練脚猾，而是會用一些方法龙助，從這200個自變量中挑選一些出來提鸟，放進模型称勋，形成入模變量列表赡鲜。那么我們怎么去挑選入模變量呢昆禽？
挑選入模變量過程是個比較復(fù)雜的過程醉鳖，需要考慮的因素很多盗棵，比如：變量的預(yù)測能力纹因，變量之間的相關(guān)性瞭恰，變量的簡單性（容易生成和使用）惊畏，變量的強壯性（不容易被繞過）颜启，變量在業(yè)務(wù)上的可解釋性（被挑戰(zhàn)時可以解釋的通）等等缰盏。但是口猜，其中最主要和最直接的衡量標(biāo)準(zhǔn)是變量的預(yù)測能力济炎。
“變量的預(yù)測能力”這個說法很籠統(tǒng)冻辩，很主觀恨闪，非量化咙咽，在篩選變量的時候我們總不能說：“我覺得這個變量預(yù)測能力很強钧敞，所以他要進入模型”吧溉苛？我們需要一些具體的量化指標(biāo)來衡量每自變量的預(yù)測能力愚战，并根據(jù)這些量化指標(biāo)的大小，來確定哪些變量進入模型梗摇。IV就是這樣一種指標(biāo)伶授，他可以用來衡量自變量的預(yù)測能力谎砾。類似的指標(biāo)還有信息增益景图、基尼系數(shù)等等摘投。
2.對IV的直觀理解
從直觀邏輯上大體可以這樣理解“用IV去衡量變量預(yù)測能力”這件事情：我們假設(shè)在一個分類問題中贮尖，目標(biāo)變量的類別有兩類：Y1湿硝，Y2关斜。對于一個待預(yù)測的個體A，要判斷A屬于Y1還是Y2垛膝，我們是需要一定的信息的，假設(shè)這個信息總量是I凿可，而這些所需要的信息矿酵，就蘊含在所有的自變量C1全肮，C2辜腺，C3乍恐，……评疗，Cn中，那么茵烈，對于其中的一個變量Ci來說百匆，其蘊含的信息越多，那么它對于判斷A屬于Y1還是Y2的貢獻就越大呜投，Ci的信息價值就越大加匈，Ci的IV就越大仑荐，它就越應(yīng)該進入到入模變量列表中雕拼。
3.IV的計算
前面我們從感性角度和邏輯層面對IV進行了解釋和描述，那么回到數(shù)學(xué)層面粘招，對于一個待評估變量啥寇，他的IV值究竟如何計算呢？為了介紹IV的計算方法洒扎，我們首先需要認識和理解另一個概念——WOE辑甜，因為IV的計算是以WOE為基礎(chǔ)的。
3.1WOE
WOE的全稱是“Weight of Evidence”袍冷，即證據(jù)權(quán)重栈戳。WOE是對原始自變量的一種編碼形式。
要對一個變量進行WOE編碼难裆，需要首先把這個變量進行分組處理（也叫離散化子檀、分箱等等，說的都是一個意思）乃戈。分組后褂痰，對于第i組，WOE的計算公式如下：
[圖片上傳失敗...(image-5ce847-1528103280664)]
其中症虑，pyi是這個組中響應(yīng)客戶（風(fēng)險模型中缩歪，對應(yīng)的是違約客戶，總之谍憔，指的是模型中預(yù)測變量取值為“是”或者說1的個體）占所有樣本中所有響應(yīng)客戶的比例匪蝙，pni是這個組中未響應(yīng)客戶占樣本中所有未響應(yīng)客戶的比例主籍，#yi是這個組中響應(yīng)客戶的數(shù)量，#ni是這個組中未響應(yīng)客戶的數(shù)量逛球，#yT是樣本中所有響應(yīng)客戶的數(shù)量千元，#nT是樣本中所有未響應(yīng)客戶的數(shù)量。
從這個公式中我們可以體會到颤绕，WOE表示的實際上是“當(dāng)前分組中響應(yīng)客戶占所有響應(yīng)客戶的比例”和“當(dāng)前分組中沒有響應(yīng)的客戶占所有沒有響應(yīng)的客戶的比例”的差異幸海。
對這個公式做一個簡單變換，可以得到：
變換以后我們可以看出奥务，WOE也可以這么理解物独，他表示的是當(dāng)前這個組中響應(yīng)的客戶和未響應(yīng)客戶的比值，和所有樣本中這個比值的差異氯葬。這個差異是用這兩個比值的比值挡篓，再取對數(shù)來表示的。WOE越大帚称，這種差異越大官研，這個分組里的樣本響應(yīng)的可能性就越大，WOE越小世杀，差異越小阀参，這個分組里的樣本響應(yīng)的可能性就越小。
關(guān)于WOE編碼所表示的意義瞻坝，大家可以自己再好好體會一下蛛壳。
3.2 IV的計算公式
有了前面的介紹，我們可以正式給出IV的計算公式所刀。對于一個分組后的變量衙荐，第i 組的WOE前面已經(jīng)介紹過，是這樣計算的：
同樣浮创，對于分組i忧吟，也會有一個對應(yīng)的IV值，計算公式如下：
有了一個變量各分組的IV值斩披，我們就可以計算整個變量的IV值溜族，方法很簡單，就是把各分組的IV相加：
其中垦沉，n為變量分組個數(shù)煌抒。
3.3 用實例介紹IV的計算和使用
下面我們通過一個實例來講解一下IV的使用方式。
3.3.1 實例
假設(shè)我們需要構(gòu)建一個預(yù)測模型厕倍，這個模型是為了預(yù)測公司的客戶集合中的每個客戶對于我們的某項營銷活動是否能夠響應(yīng)寡壮，或者說我們要預(yù)測的是客戶對我們的這項營銷活動響應(yīng)的可能性有多大。假設(shè)我們已經(jīng)從公司客戶列表中隨機抽取了100000個客戶進行了營銷活動測試，收集了這些客戶的響應(yīng)結(jié)果况既，作為我們的建模數(shù)據(jù)集这溅，其中響應(yīng)的客戶有10000個。另外假設(shè)我們也已經(jīng)提取到了這些客戶的一些變量棒仍，作為我們模型的候選變量集悲靴，這些變量包括以下這些（實際情況中，我們擁有的變量可能比這些多得多降狠，這里列出的變量僅僅是為了說明我們的問題）：
- 最近一個月是否有購買对竣；
- 最近一次購買金額庇楞；
- 最近一筆購買的商品類別榜配；
- 是否是公司VIP客戶；
假設(shè)吕晌，我們已經(jīng)對這些變量進行了離散化蛋褥，統(tǒng)計的結(jié)果如下面幾張表所示。
(1) 最近一個月是否有過購買：
(2) 最近一次購買金額：
(3) 最近一筆購買的商品類別：
(4) 是否是公司VIP客戶：
3.3.2 計算WOE和IV
我們以其中的一個變量“最近一次購買金額”變量為例：
我們把這個變量離散化為了4個分段：<100元睛驳，[100,200)烙心，[200,500)，>=500元乏沸。首先淫茵，根據(jù)WOE計算公式，這四個分段的WOE分別為：
插播一段蹬跃，從上面的計算結(jié)果中我們可以看一下WOE的基本特點：
- 當(dāng)前分組中匙瘪，響應(yīng)的比例越大，WOE值越大蝶缀；
- 當(dāng)前分組WOE的正負丹喻，由當(dāng)前分組響應(yīng)和未響應(yīng)的比例，與樣本整體響應(yīng)和未響應(yīng)的比例的大小關(guān)系決定翁都，當(dāng)前分組的比例小于樣本整體比例時碍论，WOE為負，當(dāng)前分組的比例大于整體比例時柄慰，WOE為正鳍悠，當(dāng)前分組的比例和整體比例相等時，WOE為0坐搔。
- WOE的取值范圍是全體實數(shù)藏研。
我們進一步理解一下WOE，會發(fā)現(xiàn)薯蝎，WOE其實描述了變量當(dāng)前這個分組遥倦，對判斷個體是否會響應(yīng)（或者說屬于哪個類）所起到影響方向和大小，當(dāng)WOE為正時，變量當(dāng)前取值對判斷個體是否會響應(yīng)起到的正向的影響袒哥，當(dāng)WOE為負時缩筛，起到了負向影響。而WOE值的大小堡称，則是這個影響的大小的體現(xiàn)瞎抛。
好，回到正題却紧，計算完WOE桐臊，我們分別計算四個分組的IV值：
再插播一段，從上面IV的計算結(jié)果我們可以看出IV的以下特點：
- 對于變量的一個分組晓殊，這個分組的響應(yīng)和未響應(yīng)的比例與樣本整體響應(yīng)和未響應(yīng)的比例相差越大断凶，IV值越大，否則巫俺，IV值越腥纤浮；
- 極端情況下介汹，當(dāng)前分組的響應(yīng)和未響應(yīng)的比例和樣本整體的響應(yīng)和未響應(yīng)的比例相等時却嗡，IV值為0；
- IV值的取值范圍是[0,+∞)嘹承，且窗价，當(dāng)當(dāng)前分組中只包含響應(yīng)客戶或者未響應(yīng)客戶時，IV = +∞叹卷。
OK撼港，再次回到正題。最后豪娜，我們計算變量總IV值：
3.3.3 IV值的比較和變量預(yù)測能力的排序
我們已經(jīng)計算了四個變量中其中一個的WOE和IV值餐胀。另外三個的計算過程我們不再詳細的說明，直接給出IV結(jié)果瘤载。
- 最近一個月是否有過購買：0.250224725
- 最近一筆購買的商品類別：0.615275563
- 是否是公司VIP客戶：1.56550367
前面我們已經(jīng)計算過否灾，最近一次購買金額的IV為0.49270645
這四個變量IV排序結(jié)果是這樣的：是否是公司VIP客戶 > 最近一筆購買的商品類別 > 最近一次購買金額 > 最近一個月是否有過購買。我們發(fā)現(xiàn)“是否是公司VIP客戶”是預(yù)測能力最高的變量鸣奔，“最近一個月是否有過購買”是預(yù)測能力最低的變量墨技。如果我們需要在這四個變量中去挑選變量，就可以根據(jù)IV從高到低去挑選了挎狸。
4.關(guān)于IV和WOE的進一步思考
4.1 為什么用IV而不是直接用WOE
從上面的內(nèi)容來看扣汪，變量各分組的WOE和IV都隱含著這個分組對目標(biāo)變量的預(yù)測能力這樣的意義。那我們?yōu)槭裁床恢苯佑肳OE相加或者絕對值相加作為衡量一個變量整體預(yù)測能力的指標(biāo)呢锨匆？
并且崭别，從計算公式來看冬筒，對于變量的一個分組，IV是WOE乘以這個分組響應(yīng)占比和未響應(yīng)占比的差茅主。而一個變量的IV等于各分組IV的和舞痰。如果愿意，我們同樣也能用WOE構(gòu)造出一個這樣的一個和出來诀姚，我們只需要把變量各個分組的WOE和取絕對值再相加响牛，即（取絕對值是因為WOE可正可負，如果不取絕對值赫段，則會把變量的區(qū)分度通過正負抵消的方式抵消掉）：
那么我們?yōu)槭裁床恢苯佑眠@個WOE絕對值的加和來衡量一個變量整體預(yù)測能力的好壞呀打，而是要用WOE處理后的IV呢。
我們這里給出兩個原因糯笙。IV和WOE的差別在于IV在WOE基礎(chǔ)上乘以的那個贬丛，我們暫且用pyn來代表這個值。
第一個原因炬丸，當(dāng)我們衡量一個變量的預(yù)測能力時瘫寝，我們所使用的指標(biāo)值不應(yīng)該是負數(shù)蜒蕾，否則稠炬，說一個變量的預(yù)測能力的指標(biāo)是-2.3，聽起來很別扭咪啡。從這個角度講首启，乘以pyn這個系數(shù)，保證了變量每個分組的結(jié)果都是非負數(shù)撤摸，你可以驗證一下毅桃，當(dāng)一個分組的WOE是正數(shù)時，pyn也是正數(shù)准夷，當(dāng)一個分組的WOE是負數(shù)時钥飞，pyn也是負數(shù)，而當(dāng)一個分組的WOE=0時衫嵌，pyn也是0读宙。
當(dāng)然，上面的原因不是最主要的楔绞，因為其實我們上面提到的這個指標(biāo)也可以完全避免負數(shù)的出現(xiàn)结闸。
更主要的原因，也就是第二個原因是酒朵，乘以pyn后桦锄，體現(xiàn)出了變量當(dāng)前分組中個體的數(shù)量占整體個體數(shù)量的比例，對變量預(yù)測能力的影響蔫耽。怎么理解這句話呢结耀？我們還是舉個例子。
假設(shè)我們上面所說的營銷響應(yīng)模型中，還有一個變量A图甜，其取值只有兩個：0,1香伴，數(shù)據(jù)如下：
我們從上表可以看出，當(dāng)變量A取值1時具则，其響應(yīng)比例達到了90%即纲，非常的高，但是我們能否說變量A的預(yù)測能力非常強呢博肋？不能低斋。為什么呢？原因就在于匪凡，A取1時膊畴，響應(yīng)比例雖然很高，但這個分組的客戶數(shù)太少了病游，占的比例太低了唇跨。雖然，如果一個客戶在A這個變量上取1衬衬，那他有90%的響應(yīng)可能性买猖，但是一個客戶變量A取1的可能性本身就非常的低。所以滋尉，對于樣本整體來說玉控，變量的預(yù)測能力并沒有那么強。我們分別看一下變量各分組和整體的WOE狮惜，IV高诺。
牡拇，而這個系數(shù)很好的考慮了這個分組中樣本占整體樣本的比例，比例越低眼姐，這個分組對變量整體預(yù)測能力的貢獻越低诅迷。相反，如果直接用WOE的絕對值加和众旗，會得到一個很高的指標(biāo)罢杉，這是不合理的。
4.2 IV的極端情況以及處理方式
IV依賴WOE贡歧，并且IV是一個很好的衡量自變量對目標(biāo)變量影響程度的指標(biāo)滩租。但是赋秀，使用過程中應(yīng)該注意一個問題：變量的任何分組中，不應(yīng)該出現(xiàn)響應(yīng)數(shù)=0或非響應(yīng)數(shù)=0的情況律想。
原因很簡單猎莲，當(dāng)變量一個分組中，響應(yīng)數(shù)=0時技即，
此時對應(yīng)的IVi為+∞著洼。
而當(dāng)變量一個分組中，沒有響應(yīng)的數(shù)量 = 0時而叼，
此時的IVi為+∞身笤。
IVi無論等于負無窮還是正無窮，都是沒有意義的葵陵。
由上述問題我們可以看到液荸，使用IV其實有一個缺點，就是不能自動處理變量的分組中出現(xiàn)響應(yīng)比例為0或100%的情況脱篙。那么娇钱，遇到響應(yīng)比例為0或者100%的情況，我們應(yīng)該怎么做呢绊困？建議如下：
（1）如果可能文搂，直接把這個分組做成一個規(guī)則，作為模型的前置條件或補充條件考抄；
（2）重新對變量進行離散化或分組细疚，使每個分組的響應(yīng)比例都不為0且不為100%，尤其是當(dāng)一個分組個體數(shù)很小時（比如小于100個）川梅，強烈建議這樣做，因為本身把一個分組個體數(shù)弄得很小就不是太合理然遏。
（3）如果上面兩種方法都無法使用贫途，建議人工把該分組的響應(yīng)數(shù)和非響應(yīng)的數(shù)量進行一定的調(diào)整。如果響應(yīng)數(shù)原本為0待侵，可以人工調(diào)整響應(yīng)數(shù)為1丢早，如果非響應(yīng)數(shù)原本為0，可以人工調(diào)整非響應(yīng)數(shù)為1.
轉(zhuǎn)自：https://blog.csdn.net/kevin7658/article/details/50780391秧倾；侵刪怨酝！
