本書作者： 吳喜之

前言

什么是復(fù)雜數(shù)據(jù)？

本書將通常統(tǒng)計(jì)基本教科書中的離子所代表的數(shù)據(jù)稱為簡單數(shù)據(jù)，例如通常最小二乘線性回歸所能夠完滿處理的獨(dú)立同正態(tài)分布數(shù)據(jù)、用標(biāo)準(zhǔn)多元分析方法能夠處理的服從多元正態(tài)分布的數(shù)據(jù)等。絕大多數(shù)真實(shí)數(shù)據(jù)是復(fù)雜數(shù)據(jù)狱意。

本書特色

本書以數(shù)據(jù)形式為導(dǎo)向，對(duì)應(yīng)不同的數(shù)據(jù)形式介紹可能使用的一些方法拯欧。首先引入某些感興趣類型的數(shù)據(jù)详囤，再介紹并且對(duì)比可能適合這些數(shù)據(jù)的一些統(tǒng)計(jì)方法。這些方法可能屬于許多不同的模型，屬于不同的統(tǒng)計(jì)方向藏姐，但只要適用于同一類數(shù)據(jù)隆箩，我們就盡量將它們都予以介紹。

本書首先通過一些簡單的統(tǒng)計(jì)和數(shù)學(xué)內(nèi)容介紹R軟件的基本知識(shí)羔杨，然后介紹數(shù)據(jù)分析的一些基本邏輯和常識(shí)捌臊。

在任何國家及任何制度下都能夠生存和發(fā)展的知識(shí)和能力，就是科學(xué)兜材，是人們?cè)谏臍v程中應(yīng)該獲得的理澎。

第1章 引言

1.1 作為科學(xué)的統(tǒng)計(jì)

統(tǒng)計(jì)是科學(xué)，而科學(xué)的基本特征是其方法論：對(duì)世界的認(rèn)識(shí)源于觀測或?qū)嶒?yàn)的信息（或者數(shù)據(jù)）曙寡，總結(jié)信息時(shí)會(huì)形成模型（亦稱假說或理論）糠爬，模型會(huì)指導(dǎo)進(jìn)一步的探索，直到遇到這些模型無法解釋的現(xiàn)象举庶，這就導(dǎo)致對(duì)這些模型的更新和替代执隧。這就是科學(xué)的方法，只有用科學(xué)的方法進(jìn)行的探索才能被稱為科學(xué)灯变。

科學(xué)的理論完全依賴于實(shí)際殴玛，統(tǒng)計(jì)方法則完全依賴于來自實(shí)際的數(shù)據(jù)。統(tǒng)計(jì)可以定義為“收集添祸、分析、展示和解釋數(shù)據(jù)的科學(xué)”寻仗，或者稱為數(shù)據(jù)科學(xué)刃泌。統(tǒng)計(jì)幾乎應(yīng)用于所有領(lǐng)域。

統(tǒng)計(jì)的思維方式是歸納（induction）署尤，也就是從數(shù)據(jù)所反映的現(xiàn)實(shí)得到比較一般的模型耙替，希望以此解釋數(shù)據(jù)所代表的那部分世界。這和以演繹（deduction）為主的數(shù)學(xué)思維方式相反曹体，演繹是在一些人為的假定（比如一個(gè)公理系統(tǒng)）之下俗扇，推導(dǎo)出各種結(jié)論。

隨著時(shí)代的進(jìn)步箕别，各個(gè)統(tǒng)計(jì)院系現(xiàn)在也可是設(shè)置諸如數(shù)據(jù)挖掘铜幽、機(jī)器學(xué)習(xí)等課程，統(tǒng)計(jì)雜志也開始逐漸重視這些研究串稀。這些算法模型大都不是用封閉的數(shù)學(xué)公式來描述除抛，而是體現(xiàn)在計(jì)算機(jī)算法或程序上。對(duì)于結(jié)果的風(fēng)險(xiǎn)也不是用假定的分布（或漸進(jìn)分布）所得到的p值來描述母截，而是用沒有參加建模訓(xùn)練的測試集的誤差來描述到忽。

1.2 數(shù)據(jù)分析的實(shí)踐

• 數(shù)據(jù)收集

確定哪些變量的數(shù)據(jù)需要收集是非常關(guān)鍵的，這個(gè)決策不是基于數(shù)學(xué)或統(tǒng)計(jì)的知識(shí)清寇，而是基于對(duì)相應(yīng)領(lǐng)域的了解和經(jīng)驗(yàn)喘漏。有數(shù)據(jù)不一定能夠得到需要的結(jié)論护蝶，我們需要的是與所關(guān)心問題充分有關(guān)的變量的數(shù)據(jù)。

• 數(shù)據(jù)預(yù)處理

原始數(shù)據(jù)往往或多或少地存在各種缺失值翩迈，還有不合邏輯或不一致等問題滓走，這需要進(jìn)行預(yù)處理。這些工作很可能非常費(fèi)時(shí)而且極其瑣碎帽馋，但必須去做搅方，否則后續(xù)的分析是不可能展開的。填補(bǔ)缺失值有很多方法绽族，最簡單的就是刪除姨涡，或者用同一變量其他值的均值或中位數(shù)填補(bǔ)，或者在各個(gè)變量之間建立模型（比如線性模型吧慢、最近鄰方法等）來填補(bǔ)涛漂。

R網(wǎng)站有一個(gè)名叫 missForest 的填補(bǔ)缺失值的軟件包，可以使用隨機(jī)森林的方法检诗，同時(shí)自動(dòng)填補(bǔ)定量變量合分類變量匈仗。

• 尋找適合的模型

有了數(shù)據(jù)，我們需要的是模型逢慌。其目的或者是預(yù)測悠轩，或者是理解產(chǎn)生數(shù)據(jù)的機(jī)制。為了尋找模型攻泼，首先要對(duì)數(shù)據(jù)進(jìn)行探索性分析火架，利用圖形、各種統(tǒng)計(jì)量忙菠、或者比較復(fù)雜的探索方法來查看數(shù)據(jù)的關(guān)聯(lián)性何鸡、線性性、異方差性牛欢、多重共線性骡男、聚類特征、平衡特征傍睹、分布形狀等隔盛。有了對(duì)數(shù)據(jù)的粗略認(rèn)識(shí)，就要尋找適合的模型焰望，無論是傳統(tǒng)意義上的模型還是以算法為基礎(chǔ)的模型骚亿。首先尋找現(xiàn)成的模型，比較各種模型的計(jì)算結(jié)果熊赖，如果現(xiàn)有模型不能滿足需要来屠，新的數(shù)據(jù)分析方法就應(yīng)該產(chǎn)生了。模型的選擇貫穿整個(gè)數(shù)據(jù)分析過程。

• 比較模型的標(biāo)準(zhǔn)

在傳統(tǒng)統(tǒng)計(jì)中俱笛，通常要對(duì)分布合模型形式作出假定捆姜，在這些假定下確定損失函數(shù)，并依此得到各種判別準(zhǔn)則迎膜。這些準(zhǔn)則包括各種檢驗(yàn)泥技、一些統(tǒng)計(jì)量的臨界值等。不要忘記磕仅，所有這些都是在對(duì)數(shù)據(jù)分布及描述變量之間關(guān)系的模型所做的假定之下得到的珊豹。如果這些假定不滿足，這些準(zhǔn)則也沒有什么意義榕订。

這些假定都是無法用確定性方法驗(yàn)證的店茶，最多只能嘗試用顯著性檢驗(yàn)來拒絕。如果沒有充分理由拒絕劫恒，也不能“證明”這些假定是對(duì)的贩幻，它們?nèi)匀粚儆诩俣ā?/p>

在使用算法模型時(shí)，由于沒有傳統(tǒng)模型的那些假定两嘴，判斷模型的好壞通常都用交叉驗(yàn)證（cross validation）的方法丛楚。也就是說，拿一部分?jǐn)?shù)據(jù)作為訓(xùn)練集（training set）憔辫，得到模型趣些，再用另一部分?jǐn)?shù)據(jù)（稱為測試集，testing set）來看誤差是多少螺垢。有時(shí)需要進(jìn)行k折交叉驗(yàn)證（k-fold cross validation）喧务，即把數(shù)據(jù)分成k份，每次拿k-1份作為訓(xùn)練集枉圃，用剩下的一份作為測試集，重復(fù)k次庐冯，得到k個(gè)誤差做出平均孽亲，以避免僅用一個(gè)測試集可能出現(xiàn)的偏差。顯然展父，交叉驗(yàn)證的方法也適用于傳統(tǒng)模型之間以及傳統(tǒng)模型和算法模型之間的比較返劲。

• 對(duì)結(jié)果的解釋

最終目的不是選擇模型，而是解釋模型所產(chǎn)生的結(jié)果栖茉，結(jié)果則必須是應(yīng)用領(lǐng)域的結(jié)果篮绿，必須有實(shí)際意義。僅僅用統(tǒng)計(jì)術(shù)語說某個(gè)模型較好吕漂、某個(gè)變量顯著之類的話是不夠的亲配。

1.3 數(shù)據(jù)的形式以及可能用到的模型

數(shù)據(jù)形式多種多樣，但大部分可以放到二維數(shù)據(jù)文件中。比如n維列聯(lián)表在R中是一個(gè)n維數(shù)組吼虎，但總可以轉(zhuǎn)換成一個(gè)二維數(shù)據(jù)陣犬钢。其行數(shù)為 n 個(gè)變量各個(gè)水平的全部組合數(shù)。如果第 i 個(gè)變量有個(gè)水平思灰，則行數(shù)為玷犹。其列數(shù)為 n+1：n個(gè)變量加上一個(gè)頻數(shù)變量。

當(dāng)維數(shù)較大時(shí)洒疚，n 維列聯(lián)表數(shù)據(jù)很可能有許多水平組合為空值（稀疏）歹颓。一些數(shù)據(jù)，比如某些空間數(shù)據(jù)油湖，則可能需要多個(gè)數(shù)據(jù)文件來描述巍扛。對(duì)于單一文件的方陣型數(shù)據(jù)，通常每一行代表一個(gè)觀察值肺魁，每一列代表一個(gè)變量电湘。

根據(jù)研究目的，數(shù)據(jù)中的一些變量可以被人為地作為因變量或自變量鹅经，這樣的情況往往出現(xiàn)在人們想要用一部分變量描述或預(yù)測另一部分變量的時(shí)候寂呛，例如統(tǒng)計(jì)中的回歸或分類（判別）問題。在一些情況下瘾晃，人們不太關(guān)心預(yù)測贷痪，但想知道數(shù)據(jù)變量之間的其他關(guān)系，比如在多元分析課程中的聚類及因子分析等內(nèi)容蹦误。還有一些情況劫拢，人們想用較長的歷史值預(yù)測未來，諸如時(shí)間序列數(shù)據(jù)的分析强胰。一些數(shù)據(jù)被稱為橫截面數(shù)據(jù)舱沧，那里每個(gè)對(duì)象僅觀測一次。而有些時(shí)候一個(gè)對(duì)象觀測若干次偶洋，但又不同于時(shí)間序列的長期觀測熟吏，稱為縱向數(shù)據(jù)⌒眩縱向數(shù)據(jù)的一些特例在某些領(lǐng)域中被稱為面板數(shù)據(jù)牵寺。

在諸如醫(yī)學(xué)、質(zhì)量控制恩脂、心理學(xué)帽氓、社會(huì)學(xué)等領(lǐng)域，人們關(guān)心某事件（比如死亡俩块、失效等）是否發(fā)生及什么時(shí)候發(fā)生的問題黎休，相應(yīng)的數(shù)據(jù)則被稱為生存數(shù)據(jù)浓领。調(diào)查問卷的結(jié)果往往做成列聯(lián)表的形式，也被稱為列聯(lián)表數(shù)據(jù)奋渔。這些數(shù)據(jù)類型絕對(duì)不是排他的镊逝，比如，有些數(shù)據(jù)既是生存數(shù)據(jù)嫉鲸，又是縱向數(shù)據(jù)撑蒜。

對(duì)每一種數(shù)據(jù)類型，人們根據(jù)目的以及數(shù)據(jù)的一些特殊性玄渗，找到各種數(shù)學(xué)模型來處理座菠。由于實(shí)際數(shù)據(jù)是復(fù)雜的，可能必須經(jīng)過多次嘗試及對(duì)比才能確定什么模型不適用藤树，什么模型適用浴滴。所有的傳統(tǒng)方法都有一定的假定，必須注意這些假定的合理性岁钓。

1.3.1 橫截面數(shù)據(jù)：因變量為實(shí)軸上的數(shù)量變量

當(dāng)因變量為數(shù)量變量時(shí)升略，人們首先想到的是回歸，教科書中最先介紹的是假定模型中誤差項(xiàng)獨(dú)立同正態(tài)分布的線性回歸屡限。由于誤差項(xiàng)很可能不滿足這個(gè)假定品嚣，還有可能有多重共線性等問題，這樣就產(chǎn)生了諸如加權(quán)回歸钧大、穩(wěn)健回歸翰撑、偏最小二乘回歸、lasso回歸啊央、嶺回歸眶诈、主成分回歸、Box-Cox變換（或其他變換）瓜饥、多項(xiàng)式回歸逝撬、分位數(shù)回歸等模型，還產(chǎn)生了相應(yīng)的各種檢驗(yàn)及判斷方法乓土，諸如最優(yōu)子集球拦、逐步回歸、回歸診斷等帐我。在線性或其他假定不滿足時(shí)，又出現(xiàn)了非線性回歸愧膀、非參數(shù)回歸拦键、廣義線性模型、隨機(jī)效應(yīng)混合模型檩淋、可加模型芬为、廣義可加模型等萄金。生存分析也包含了回歸的內(nèi)容。近年來媚朦，神經(jīng)網(wǎng)絡(luò)氧敢、決策樹的回歸樹、boosting询张、bagging孙乖、最近鄰方法、隨機(jī)森林份氧、支持向量機(jī)等算法模型也被廣泛應(yīng)用于回歸唯袄。第2章將會(huì)介紹上面所述的大部分內(nèi)容。

1.3.2 橫截面數(shù)據(jù)：因變量為分類（定性）變量或者頻數(shù)

當(dāng)因變量為分類變量時(shí)蜗帜，一般的回歸方法就不能使用了恋拷。在傳統(tǒng)的統(tǒng)計(jì)領(lǐng)域，如果因變量時(shí)二分變量厅缺，則可以嘗試用廣義線性模型中的logistic回歸和probit回歸蔬顾。如果自變量時(shí)數(shù)量型的變量，則可以嘗試線性判別分析湘捎，這里有可能要求自變量滿足正態(tài)分布诀豁。但最新的一些基于算法的模型則沒有關(guān)于分布的假定，比如決策樹的分類樹消痛、神經(jīng)網(wǎng)絡(luò)且叁、boosting、bagging秩伞、隨機(jī)森林逞带、最近鄰方法、支持向量機(jī)等能夠很好地處理分類問題纱新。

在許多情況下展氓，數(shù)據(jù)的形式是頻數(shù)，比如列聯(lián)表數(shù)據(jù)脸爱，這不是常規(guī)意義上的連續(xù)型數(shù)值變量遇汞。如果把這些頻數(shù)作為關(guān)注的因變量，而把那些形成列聯(lián)表的分類變量以及可能得到的數(shù)量變量作為自變量簿废，則可以應(yīng)用多項(xiàng)分布對(duì)數(shù)線性模型空入，多項(xiàng)logit模型及Poisson對(duì)數(shù)線性模型（作為廣義線性模型的特例）。在使用Poisson模型時(shí)族檬，往往可能出現(xiàn)Poisson模型假定不允許的過散布（overdispersion歪赢，即方差大于均值）或欠散布（underdispersion，即方差小于均值）的情況单料，這時(shí)就要進(jìn)行矯正或者利用一些雙參數(shù)模型埋凯。當(dāng)然点楼，“非正統(tǒng)”的機(jī)器學(xué)習(xí)的方法在這里也可以用。

上述內(nèi)容將在第3章介紹白对。

1.3.3 縱向數(shù)據(jù)掠廓，多水平數(shù)據(jù)，面板數(shù)據(jù)甩恼，重復(fù)觀測數(shù)據(jù)

當(dāng)一個(gè)對(duì)象有多次重復(fù)觀測時(shí)蟀瞧，得到的就不是橫截面數(shù)據(jù)，而是縱向數(shù)據(jù)媳拴，經(jīng)濟(jì)金融領(lǐng)域的這一類數(shù)據(jù)有時(shí)被稱為面板數(shù)據(jù)黄橘，屬于縱向數(shù)據(jù)的特例。應(yīng)對(duì)這種數(shù)據(jù)有許多不同的方法屈溉，這些方法也成為相應(yīng)處理縱向數(shù)據(jù)的課程名稱塞关，比如多層模型、隨機(jī)效應(yīng)混合模型等子巾。此外帆赢，很多縱向數(shù)據(jù)還與生存數(shù)據(jù)有關(guān)，很多廣義線性模型可處理的數(shù)據(jù)也是縱向數(shù)據(jù)线梗，這就產(chǎn)生了更多的處理方法椰于。一些機(jī)器學(xué)習(xí)方法也被用到縱向數(shù)據(jù)的分析之中。第4章將介紹線性隨機(jī)效應(yīng)混合模型仪搔、廣義線性隨機(jī)效應(yīng)混合模型瘾婿、決策樹的應(yīng)用及縱向生存分析等內(nèi)容。

1.3.4 多元數(shù)據(jù)各變量之間的關(guān)系：多元分析

在沒有預(yù)測任務(wù)烤咧，對(duì)數(shù)據(jù)進(jìn)行分析的目的僅在于確定各個(gè)變量之間關(guān)系時(shí)偏陪，就不需要確定自變量及因變量了。這時(shí)煮嫌，如果變量全部都是服從正態(tài)分布的數(shù)量變量笛谦，這個(gè)問題屬于傳統(tǒng)多元分析的范疇，主要方法包括主成分分析昌阿、因子分析饥脑、聚類分析、典型相關(guān)分析等懦冰。有點(diǎn)另類的對(duì)應(yīng)分析是一種圖描述方法灶轰，并不被認(rèn)為是經(jīng)典方法，但也出現(xiàn)于一些教科書中刷钢。對(duì)于復(fù)雜的分層數(shù)據(jù)框往，或者包含分類（定性）變量的數(shù)據(jù)，傳統(tǒng)的多元分析方法就不能使用了闯捎，新的基于算法的模型可以應(yīng)對(duì)非常復(fù)雜的多元分析課題椰弊。第5章首先回顧經(jīng)典的多元分析方法，然后介紹可視化很強(qiáng)的新發(fā)展的多元分析方法瓤鼻，最后介紹沒有絲毫經(jīng)典統(tǒng)計(jì)味道的純粹機(jī)器學(xué)習(xí)方法：關(guān)聯(lián)規(guī)則分析秉版。

1.3.5 路徑模型/結(jié)構(gòu)方程模型

有一種調(diào)查是在已經(jīng)確定的模型基礎(chǔ)上設(shè)計(jì)的，例如顧客滿意度調(diào)查是依據(jù)顧客滿意度模型設(shè)計(jì)的茬祷，這些模型被稱為路徑模型清焕，因子分析是路徑模型的一個(gè)特例。路徑模型也稱為結(jié)構(gòu)方程模型祭犯。處理圖模型數(shù)據(jù)的方法主要有兩種：協(xié)方差方法秸妥、偏最小二乘方法。協(xié)方差方法嚴(yán)格要求假定數(shù)據(jù)是正態(tài)的沃粗，偏最小二乘方法則沒有對(duì)分布做要求粥惧。

路徑模型分為結(jié)構(gòu)模型和測量模型兩部分，其中結(jié)構(gòu)模型設(shè)計(jì)的都是不可觀測的隱變量之間的關(guān)系最盅，測量模型則涉及隱變量和可觀測變量之間的關(guān)系突雪。協(xié)方差方法無法計(jì)算隱變量的值，因此只有偏最小二乘法才能應(yīng)用于諸如滿意度之類的模型涡贱。

第6章首先介紹路徑模型的基本概念和方法咏删，然后主要介紹偏最小二乘方法，最后簡單介紹協(xié)方差方法问词。

1.3.6 多元時(shí)間序列數(shù)據(jù)

一般國內(nèi)時(shí)間序列教科書都以一元時(shí)間序列為主要內(nèi)容督函，這是因?yàn)橐辉獣r(shí)間序列的數(shù)學(xué)比較容易。試圖用時(shí)間序列做預(yù)測時(shí)激挪，必須假定這些序列的發(fā)展不會(huì)受到其他變量的影響辰狡，或者至少這些序列的未來可以由其歷史來預(yù)測。對(duì)于多元時(shí)間序列灌灾，人們可能用VAR搓译、狀態(tài)空間模型等方法處理。在計(jì)量經(jīng)濟(jì)學(xué)中有一套分析這些數(shù)據(jù)的檢驗(yàn)方法锋喜。

第7章首先回顧時(shí)間序列的基本概念些己，然后介紹單位根檢驗(yàn)及協(xié)整檢驗(yàn)等方法，最后用VAR和狀態(tài)空間模型來擬合數(shù)據(jù)嘿般。

1.4 R軟件入門

1.4.1 簡介

R軟件（R Development Core Team, 2011）用到是S語言段标，其運(yùn)算模式和C語言，basic炉奴，matlab逼庞，maple，gauss等類似瞻赶。

部分小貼士：

• 出現(xiàn)的圖形可以用 Ctrl+W 或 Ctrl+C 來復(fù)制并粘貼（前者像素高）赛糟，或者通過菜單存成所需的文件格式派任。

• library(MASS) 打開軟件包；detach(package: MASS) 關(guān)閉軟件包璧南。

• 如果想查看在某一軟件包（如MASS）中的穩(wěn)健線性模型“rlm”的信息掌逛，在已經(jīng)打開該軟件包時(shí)輸入 “?rlm”。如果MASS沒有打開司倚，或者不知道 rlm 在哪個(gè)軟件包豆混，可以用 "??rlm" 來得到其位置。如果不清楚名字动知，但知道有部分字符皿伺，比如 "lm"，可以用 "apropos("lm")" 來得到所有包含 "lm" 字符的函數(shù)或數(shù)據(jù)盒粮。

• 對(duì)于簡化的函數(shù)鸵鸥，如加減乘除乘方 ("+, -, *, /, ^")等，可以用諸如 "?"+"" 這樣的命令得到幫助拆讯。

• RStudio 可以更方便地用幾個(gè)窗口來展示 R 的執(zhí)行過程脂男、運(yùn)行歷史、腳本文件种呐、數(shù)據(jù)細(xì)節(jié)等嗅榕。

1.4.2 動(dòng)手

本書最后的附錄“練習(xí)：熟練使用 R 軟件”熔酷，提供了一些作者為練習(xí)而編的代碼斋枢。希望讀者在每運(yùn)行一行之后就思考一下已维，一般人都能夠在很短的一兩天將這些代碼完全理解。

建議初學(xué)R者阔墩，在讀本書之前嘿架，務(wù)必花些時(shí)間，運(yùn)行一下這些代碼啸箫！