來自 http://blog.sina.com.cn/s/blog_4ee13c2c0100o92b.html
一、為何要將數(shù)據(jù)標準化硫朦?
由于不同變量常常具有不同的單位和不同的變異程度仅叫。 不同的單位常使系數(shù)的實踐解釋發(fā)生困難。例如:第1個變量的單位是kg,第2個變量的單位是cm缘眶,那么在計算絕對距離時將出現(xiàn)將兩個事例中第1個變量觀察值之差的絕對值(單位是kg)與第2個變量觀察值之差的絕對值(單位是cm )相加的情況卿堂。使用者會說5kg的差異怎么可以與3cm的差異相加束莫? 不同變量自身具有相差較大的變異時,會使在計算出的關(guān)系系數(shù)中草描,不同變量所占的比重大不相同览绿。例如如果第1個變量(兩水稻品種米粒中的脂肪含量)的數(shù)值在2%到4%之間,而第2個變量(兩水稻品種的畝產(chǎn)量)的數(shù)值范圍都在1000與5000之間穗慕。為了消除量綱影響和變量自身變異大小和數(shù)值大小的影響饿敲,故將數(shù)據(jù)標準化。
二逛绵、數(shù)據(jù)標準化的方法:
1怀各、對變量的離差標準化
離差標準化是將某變量中的觀察值減去該變量的最小值,然后除以該變量的極差术浪。即
x’ik=[xik -Min (xk)]/Rk
經(jīng)過離差標準化后瓢对,各種變量的觀察值的數(shù)值范圍都將在〔0,1〕之間胰苏,并且經(jīng)標準化的數(shù)據(jù)都是沒有單位的純數(shù)量硕蛹。離差標準化是消除量綱(單位)影響和變異大小因素的影響的最簡單的方法。 有一些關(guān)系系數(shù)(例如絕對值指數(shù)尺度)在定義時就已經(jīng)要求對數(shù)據(jù)進行離差標準化碟联,但有些關(guān)系系數(shù)的計算公式卻沒有這樣要求妓美,當(dāng)選用這類關(guān)系系數(shù)前,不妨先對數(shù)據(jù)進行標準化鲤孵,看看分析的結(jié)果是否為有意義的變化壶栋。
2,對變量的標準差標準化
標準差標準化是將某變量中的觀察值減去該變量的平均數(shù)普监,然后除以該變量的標準差贵试。即
x’ik= (xik - )/sk
經(jīng)過標準差標準化后,各變量將有約一半觀察值的數(shù)值小于0凯正,另一半觀察值的數(shù)值大于0毙玻,變量的平均數(shù)為0,標準差為1廊散。經(jīng)標準化的數(shù)據(jù)都是沒有單位的純數(shù)量桑滩。對變量進行的標準差標準化可以消除量綱(單位)影響和變量自身變異的影響。但有人認為經(jīng)過這種標準化后允睹,原來數(shù)值較大的的觀察值對分類結(jié)果的影響仍然占明顯的優(yōu)勢运准,應(yīng)該進一步消除大小因子的影響幌氮。盡管如此,它還是當(dāng)前用得最多的數(shù)據(jù)標準化方法胁澳。
3该互,先對事例進行標準差標準化,再對變量進行標準差標準化
第一步韭畸,先對事例進行標準差標準化宇智,即將某事例中的觀察值減去該事例的平均數(shù),然后除以該事例的標準差胰丁。即
x’ik= (xik - )/si
第二步随橘,再對變量進行標準差標準化,即將某變量中的觀察值減去該變量的平均數(shù)隘马,然后除以該變量的標準差太防。即
x’’ik= (x’ik - ’k)/s’k
使用這種標準化的目的也在于消除性狀間的量綱(單位)影響和變異大小因子的影響,使性狀間具有可比性酸员。
4蜒车,先對變量、后對事例幔嗦、再對變量的標準差標準化
這種標準化的目的也在于消除性狀間的量綱(單位)影響和變異大小因子的影響酿愧,使性狀間具有可比性。具體做法是:
第一步邀泉,先對變量進行標準差標準化嬉挡,即將某變量中的觀察值減去該變量的平均數(shù),然后除以該變量的標準差汇恤。即
x’ik= (xik - )/sk
第二步庞钢,后對事例進行標準差標準化,即將某事例中的觀察值減去該事例的平均數(shù)因谎,然后除以該事例的標準差基括。即
x’’ik= (x’ik - ’i)/s’i
第三步,再對變量進行標準差標準化财岔,即將某變量中的觀察值減去該變量的平均數(shù)风皿,然后除以該變量的標準差。即
x’’’ik= (x’’ik - ’’k)/s’’k
進行了前兩步之后匠璧,還要進行第三步的原因桐款,主要是為了計算的方便。
來自:http://blog.csdn.net/xiaoyu714543065/article/details/7837668
在數(shù)據(jù)分析過程中夷恍,我們經(jīng)常需要對數(shù)據(jù)進行標準化(normalization)魔眨,數(shù)據(jù)標準化主要功能就是消除變量間的量綱關(guān)系,從而使數(shù)據(jù)具有可比性”常可以舉個簡單的例子侨艾,一個百分制的變量與一個5分值的變量在一起怎么比較?只有通過數(shù)據(jù)標準化拓挥,都把它們標準到同一個標準時才具有可比性。即通過將屬性數(shù)據(jù)按照比例縮放袋励,使之落入一個小的特定區(qū)間侥啤,如[-1,+1]、[0,1]等茬故,以進一步分析數(shù)據(jù)的屬性盖灸。
有許多中數(shù)據(jù)標準化方法,常用的有最小-最大標準化磺芭、Z-score標準化和按小數(shù)定標標準化等赁炎。下面對數(shù)據(jù)標準化的常用方法進行了介紹:
一、Min-Max標準化
min-max標準化方法是對原始數(shù)據(jù)進行線性變換钾腺。設(shè)minA和maxA分別為屬性A的最小值和最大值徙垫,將A的一個原始值x通過min-max標準化映射成在區(qū)間【0,1】中的值,其公式為:
新數(shù)據(jù)=(原數(shù)據(jù)-極小值)/(極大值-極小值)
這種方法適用于原始數(shù)據(jù)的取值范圍已經(jīng)確定的情況放棒。
例如:假定屬性income的最小與最大值分別為98,000姻报。我們想映射income到區(qū)間[0,1]。根據(jù)min-max標準化间螟,incom值$73,600將變換為
(73,600-12,000)/(98,000-12,000)×(1-0)=0.716吴旋。
二、z-score標準化
這種方法基于原始數(shù)據(jù)的均值(mean)和標準差(standard deviation)進行數(shù)據(jù)的標準化厢破。將屬性A的原始值v使用z-score標準化到v’的計算方法是:
新數(shù)據(jù)=(原數(shù)據(jù)-均值)/標準差
z-score標準化方法適用于屬性A的最大值和最小值未知的情況荣瑟,或有超出取值范圍的離群數(shù)據(jù)的情況。
spass的默認的標準化方法就是z-score標準化摩泪。
用Excel進行z-score標準化的方法:在Excel中沒有現(xiàn)成的額函數(shù)笆焰,需要自己分步計算,其實標準化的公式很簡單加勤。
步驟如下:
1仙辟、求出各變量(指標)的算術(shù)平均值(數(shù)學(xué)期望)xi和標準差si
2、進行標準化處理:zij=(xij-xi)/si鳄梅。其中:zij為標準化后的變量值叠国;xij為實際變量值。
3戴尸、將逆指標錢的正負號對調(diào)粟焊。標準化后的變量值圍繞0上下波動,大雨0說明高于平均水平,小于0說明低于平均水平项棠。
三悲雳、Decimal scaling(小數(shù)定標標準化)
這種方法通過移動數(shù)據(jù)的小數(shù)點位置來進行標準化。小數(shù)點移動多少位取決于屬性A的取值中的最大絕對值香追。將屬性A的原始值x使用decimal scaling標準化到y(tǒng)’的計算方法是:y=x/(10*j) 其中合瓢,j是滿足條件的最小整數(shù)。
例如 假定A的值由-986到917透典,A的最大絕對值為986晴楔,為使用小數(shù)定標標準化,我們用1000(即峭咒,j=3)除以每個值税弃,這樣,-986被規(guī)范化為-0.986凑队。
注意则果,標準化會對原始數(shù)據(jù)做出改變,因此需要保存所使用的標準化方法的參數(shù)漩氨,以便對后續(xù)的數(shù)據(jù)進行統(tǒng)一的標準化西壮。
參考資料:
1. Data Mining: Concepts and Techniques, Jiawei Han and Micheline Kamber, 2006
來自:http://www.cnblogs.com/nanpo/archive/2012/11/04/2754353.html
處理數(shù)據(jù)時經(jīng)常會遇到比較兩個不同數(shù)據(jù)集的情況(比如比較具有不同教育水平地區(qū)學(xué)生的成績,比較不同網(wǎng)頁的受歡迎程度)才菠,這時就需要先將數(shù)據(jù)標準化茸时,再進行比較。
數(shù)據(jù)的標準化(normalization)是將數(shù)據(jù)按比例縮放赋访,使之落入一個小的特定區(qū)間可都。在某些比較和評價的指標處理中經(jīng)常會用到,去除數(shù)據(jù)的單位限制蚓耽,將其轉(zhuǎn)化為無量綱的純數(shù)值渠牲,便于不同單位或量級的指標能夠進行比較和加權(quán)。
網(wǎng)站數(shù)據(jù)分析上有一篇很好的帖子《數(shù)據(jù)的標準化》步悠,里面詳細分析了歸一化(可以看成是特殊的數(shù)據(jù)標準化)常用的四種方法:
- min-max標準化
- log函數(shù)轉(zhuǎn)換:百度知道里確實有很多人說用log10歸一化签杈。。鼎兽。
- atan函數(shù)轉(zhuǎn)換
- z-score標準化
另外答姥,在《統(tǒng)計數(shù)據(jù)標準化–無量綱化方法》中按照所使用的函數(shù)分為三種方法(這篇論文超級水):
- 直線型無量綱法
- 折線形無量綱法
- 曲線型無量綱法
在選擇標準化方法前必須要先了解數(shù)據(jù),再決定使用哪種方法谚咬。工程上需要保證性能且數(shù)據(jù)量很大的時候不適合用min-max鹦付, z-score, 他們都需要先遍歷所有數(shù)據(jù)一次,找出極值或均值后才能計算择卦;一般情況下敲长,如果數(shù)據(jù)的絕大部分集中分布在某個區(qū)間郎嫁,折線法會讓數(shù)據(jù)具有可控的區(qū)分度,而且實現(xiàn)起來簡單祈噪,快速(雖然看上去有點糙)泽铛。
也推薦同學(xué)們看看數(shù)據(jù)小兵的文章