姓名：于川皓 學(xué)號(hào)：16140210089

轉(zhuǎn)載自：https://baike.baidu.com/item/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0/217599?fr=aladdin

【嵌牛導(dǎo)讀】：機(jī)器學(xué)習(xí)(Machine Learning, ML)是一門多領(lǐng)域交叉學(xué)科，涉及概率論拔鹰、統(tǒng)計(jì)學(xué)关划、逼近論颜矿、凸分析济似、算法復(fù)雜度理論等多門學(xué)科告丢。專門研究計(jì)算機(jī)怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為卫旱，以獲取新的知識(shí)或技能熙宇，重新組織已有的知識(shí)結(jié)構(gòu)使之不斷改善自身的性能。

【嵌牛鼻子】：機(jī)器學(xué)習(xí)

【嵌牛提問】：機(jī)器學(xué)習(xí)是什么绳匀？會(huì)給我們帶來什么芋忿？

【嵌牛正文】：

機(jī)器學(xué)習(xí)(Machine Learning, ML)是一門多領(lǐng)域交叉學(xué)科，涉及概率論疾棵、統(tǒng)計(jì)學(xué)戈钢、逼近論、凸分析是尔、算法復(fù)雜度理論等多門學(xué)科殉了。專門研究計(jì)算機(jī)怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，以獲取新的知識(shí)或技能拟枚，重新組織已有的知識(shí)結(jié)構(gòu)使之不斷改善自身的性能薪铜。

它是人工智能的核心众弓，是使計(jì)算機(jī)具有智能的根本途徑，其應(yīng)用遍及人工智能的各個(gè)領(lǐng)域隔箍，它主要使用歸納田轧、綜合而不是演繹。

中文名

機(jī)器學(xué)習(xí)

外文名

Machine Learning, ML

性????質(zhì)

多領(lǐng)域交叉學(xué)科

領(lǐng)????域

概率論鞍恢、統(tǒng)計(jì)學(xué)傻粘、逼近論

目錄

1研究意義

2發(fā)展史

3主要策略

4基本結(jié)構(gòu)

5代碼示例

6分類

?綜合分類

?學(xué)習(xí)形式分類

7研究領(lǐng)域

8相關(guān)圖書1

?基本信息

?內(nèi)容簡介

?圖書特色

?圖書前言

?作品目錄

9相關(guān)圖書2

?基本信息

?內(nèi)容簡介

?作者簡介

?譯者簡介

研究意義

學(xué)習(xí)是人類具有的一種重要智能行為，但究竟什么是學(xué)習(xí)帮掉，長期以來卻眾說紛紜弦悉。社會(huì)學(xué)家、邏輯學(xué)家和心理學(xué)家都各有其不同的看法蟆炊。

比如稽莉，Langley（1996) 定義的機(jī)器學(xué)習(xí)是“機(jī)器學(xué)習(xí)是一門人工智能的科學(xué)，該領(lǐng)域的主要研究對象是人工智能涩搓，特別是如何在經(jīng)驗(yàn)學(xué)習(xí)中改善具體算法的性能”污秆。（Machine learning is a science of the artificial. The field's main objects of study are artifacts, specifically algorithms that improve their performance with experience.'）

Tom Mitchell的機(jī)器學(xué)習(xí)(1997)對信息論中的一些概念有詳細(xì)的解釋,其中定義機(jī)器學(xué)習(xí)時(shí)提到，“機(jī)器學(xué)習(xí)是對能通過經(jīng)驗(yàn)自動(dòng)改進(jìn)的計(jì)算機(jī)算法的研究”昧甘。（Machine Learning is the study of computer algorithms that improve automatically through experience.）

Alpaydin（2004）同時(shí)提出自己對機(jī)器學(xué)習(xí)的定義良拼，“機(jī)器學(xué)習(xí)是用數(shù)據(jù)或以往的經(jīng)驗(yàn)，以此優(yōu)化計(jì)算機(jī)程序的性能標(biāo)準(zhǔn)充边∮雇疲”（Machine learning is programming computers to optimize a performance criterion using example data or past experience.）

盡管如此，為了便于進(jìn)行討論和估計(jì)學(xué)科的進(jìn)展浇冰，有必要對機(jī)器學(xué)習(xí)給出定義贬媒，即使這種定義是不完全的和不充分的。顧名思義肘习， 機(jī)器學(xué)習(xí)是研究如何使用機(jī)器來模擬人類學(xué)習(xí)活動(dòng)的一門學(xué)科际乘。稍為嚴(yán)格的提法是：機(jī)器學(xué)習(xí)是一門研究機(jī)器獲取新知識(shí)和新技能，并識(shí)別現(xiàn)有知識(shí)的學(xué)問漂佩。這里所說的“機(jī)器”脖含，指的就是計(jì)算機(jī)，電子計(jì)算機(jī)仅仆，中子計(jì)算機(jī)器赞、光子計(jì)算機(jī)或神經(jīng)計(jì)算機(jī)等等垢袱。

機(jī)器能否象人類一樣能具有學(xué)習(xí)能力呢墓拜？1959年美國的塞繆爾(Samuel)設(shè)計(jì)了一個(gè)下棋程序，這個(gè)程序具有學(xué)習(xí)能力请契，它可以在不斷的對弈中改善自己的棋藝咳榜。4年后夏醉，這個(gè)程序戰(zhàn)勝了設(shè)計(jì)者本人。又過了3年涌韩，這個(gè)程序戰(zhàn)勝了美國一個(gè)保持8年之久的常勝不敗的冠軍畔柔。這個(gè)程序向人們展示了機(jī)器學(xué)習(xí)的能力，提出了許多令人深思的社會(huì)問題與哲學(xué)問題臣樱。

機(jī)器的能力是否能超過人的靶擦，很多持否定意見的人的一個(gè)主要論據(jù)是：機(jī)器是人造的，其性能和動(dòng)作完全是由設(shè)計(jì)者規(guī)定的雇毫，因此無論如何其能力也不會(huì)超過設(shè)計(jì)者本人玄捕。這種意見對不具備學(xué)習(xí)能力的機(jī)器來說的確是對的，可是對具備學(xué)習(xí)能力的機(jī)器就值得考慮了棚放，因?yàn)檫@種機(jī)器的能力在應(yīng)用中不斷地提高枚粘，過一段時(shí)間之后，設(shè)計(jì)者本人也不知它的能力到了何種水平飘蚯。

機(jī)器學(xué)習(xí)有下面幾種定義： “機(jī)器學(xué)習(xí)是一門人工智能的科學(xué)馍迄，該領(lǐng)域的主要研究對象是人工智能，特別是如何在經(jīng)驗(yàn)學(xué)習(xí)中改善具體算法的性能”局骤。 “機(jī)器學(xué)習(xí)是對能通過經(jīng)驗(yàn)自動(dòng)改進(jìn)的計(jì)算機(jī)算法的研究”攀圈。 “機(jī)器學(xué)習(xí)是用數(shù)據(jù)或以往的經(jīng)驗(yàn)，以此優(yōu)化計(jì)算機(jī)程序的性能標(biāo)準(zhǔn)峦甩×砍校” 一種經(jīng)常引用的英文定義是：A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E.

機(jī)器學(xué)習(xí)已經(jīng)有了十分廣泛的應(yīng)用，例如：數(shù)據(jù)挖掘穴店、計(jì)算機(jī)視覺撕捍、自然語言處理、生物特征識(shí)別泣洞、搜索引擎忧风、醫(yī)學(xué)診斷复罐、檢測信用卡欺詐八堡、證券市場分析冕臭、DNA序列測序臂容、語音和手寫識(shí)別咬像、戰(zhàn)略游戲和機(jī)器人運(yùn)用福铅。

發(fā)展史

機(jī)器學(xué)習(xí)是人工智能研究較為年輕的分支台谍，它的發(fā)展過程大體上可分為4個(gè)時(shí)期沛励。

第一階段是在20世紀(jì)50年代中葉到60年代中葉甩挫，屬于熱烈時(shí)期贴硫。

第二階段是在20世紀(jì)60年代中葉至70年代中葉，被稱為機(jī)器學(xué)習(xí)的冷靜時(shí)期。

第三階段是從20世紀(jì)70年代中葉至80年代中葉英遭，稱為復(fù)興時(shí)期间护。

機(jī)器學(xué)習(xí)的最新階段始于1986年。

機(jī)器學(xué)習(xí)進(jìn)入新階段的重要表現(xiàn)在下列諸方面：

(1) 機(jī)器學(xué)習(xí)已成為新的邊緣學(xué)科并在高校形成一門課程挖诸。它綜合應(yīng)用心理學(xué)汁尺、生物學(xué)和神經(jīng)生理學(xué)以及數(shù)學(xué)、自動(dòng)化和計(jì)算機(jī)科學(xué)形成機(jī)器學(xué)習(xí)理論基礎(chǔ)多律。

(2) 結(jié)合各種學(xué)習(xí)方法痴突，取長補(bǔ)短的多種形式的集成學(xué)習(xí)系統(tǒng)研究正在興起。特別是連接學(xué)習(xí)符號(hào)學(xué)習(xí)的耦合可以更好地解決連續(xù)性信號(hào)處理中知識(shí)與技能的獲取與求精問題而受到重視狼荞。

(3) 機(jī)器學(xué)習(xí)與人工智能各種基礎(chǔ)問題的統(tǒng)一性觀點(diǎn)正在形成苞也。例如學(xué)習(xí)與問題求解結(jié)合進(jìn)行、知識(shí)表達(dá)便于學(xué)習(xí)的觀點(diǎn)產(chǎn)生了通用智能系統(tǒng)SOAR的組塊學(xué)習(xí)粘秆。類比學(xué)習(xí)與問題求解結(jié)合的基于案例方法已成為經(jīng)驗(yàn)學(xué)習(xí)的重要方向如迟。

(4) 各種學(xué)習(xí)方法的應(yīng)用范圍不斷擴(kuò)大，一部分已形成商品攻走。歸納學(xué)習(xí)的知識(shí)獲取工具已在診斷分類型專家系統(tǒng)中廣泛使用殷勘。連接學(xué)習(xí)在聲圖文識(shí)別中占優(yōu)勢。分析學(xué)習(xí)已用于設(shè)計(jì)綜合型專家系統(tǒng)昔搂。遺傳算法與強(qiáng)化學(xué)習(xí)在工程控制中有較好的應(yīng)用前景玲销。與符號(hào)系統(tǒng)耦合的神經(jīng)網(wǎng)絡(luò)連接學(xué)習(xí)將在企業(yè)的智能管理與智能機(jī)器人運(yùn)動(dòng)規(guī)劃中發(fā)揮作用。

(5) 與機(jī)器學(xué)習(xí)有關(guān)的學(xué)術(shù)活動(dòng)空前活躍摘符。國際上除每年一次的機(jī)器學(xué)習(xí)研討會(huì)外贤斜，還有計(jì)算機(jī)學(xué)習(xí)理論會(huì)議以及遺傳算法會(huì)議。

主要策略

學(xué)習(xí)是一項(xiàng)復(fù)雜的智能活動(dòng)逛裤，學(xué)習(xí)過程與推理過程是緊密相連的瘩绒，按照學(xué)習(xí)中使用推理的多少，機(jī)器學(xué)習(xí)所采用的策略大體上可分為4種——機(jī)械學(xué)習(xí)带族、通過傳授學(xué)習(xí)锁荔、類比學(xué)習(xí)和通過事例學(xué)習(xí)。學(xué)習(xí)中所用的推理越多蝙砌，系統(tǒng)的能力越強(qiáng)阳堕。

基本結(jié)構(gòu)

表示學(xué)習(xí)系統(tǒng)的基本結(jié)構(gòu)。環(huán)境向系統(tǒng)的學(xué)習(xí)部分提供某些信息择克，學(xué)習(xí)部分利用這些信息修改知識(shí)庫恬总，以增進(jìn)系統(tǒng)執(zhí)行部分完成任務(wù)的效能，執(zhí)行部分根據(jù)知識(shí)庫完成任務(wù)肚邢，同時(shí)把獲得的信息反饋給學(xué)習(xí)部分壹堰。在具體的應(yīng)用中，環(huán)境，知識(shí)庫和執(zhí)行部分決定了具體的工作內(nèi)容缀旁，學(xué)習(xí)部分所需要解決的問題完全由上述3部分確定记劈。下面我們分別敘述這3部分對設(shè)計(jì)學(xué)習(xí)系統(tǒng)的影響勺鸦。

影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的最重要的因素是環(huán)境向系統(tǒng)提供的信息并巍。或者更具體地說是信息的質(zhì)量换途。知識(shí)庫里存放的是指導(dǎo)執(zhí)行部分動(dòng)作的一般原則懊渡，但環(huán)境向?qū)W習(xí)系統(tǒng)提供的信息卻是各種各樣的。如果信息的質(zhì)量比較高军拟，與一般原則的差別比較小剃执，則學(xué)習(xí)部分比較容易處理。如果向?qū)W習(xí)系統(tǒng)提供的是雜亂無章的指導(dǎo)執(zhí)行具體動(dòng)作的具體信息懈息，則學(xué)習(xí)系統(tǒng)需要在獲得足夠數(shù)據(jù)之后肾档，刪除不必要的細(xì)節(jié)，進(jìn)行總結(jié)推廣辫继，形成指導(dǎo)動(dòng)作的一般原則怒见，放入知識(shí)庫，這樣學(xué)習(xí)部分的任務(wù)就比較繁重姑宽，設(shè)計(jì)起來也較為困難遣耍。

因?yàn)閷W(xué)習(xí)系統(tǒng)獲得的信息往往是不完全的，所以學(xué)習(xí)系統(tǒng)所進(jìn)行的推理并不完全是可靠的炮车，它總結(jié)出來的規(guī)則可能正確舵变，也可能不正確。這要通過執(zhí)行效果加以檢驗(yàn)瘦穆。正確的規(guī)則能使系統(tǒng)的效能提高纪隙，應(yīng)予保留；不正確的規(guī)則應(yīng)予修改或從數(shù)據(jù)庫中刪除扛或。

知識(shí)庫是影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的第二個(gè)因素瘫拣。知識(shí)的表示有多種形式，比如特征向量告喊、一階邏輯語句麸拄、產(chǎn)生式規(guī)則、語義網(wǎng)絡(luò)和框架等等黔姜。這些表示方式各有其特點(diǎn)拢切，在選擇表示方式時(shí)要兼顧以下4個(gè)方面：

(1)表達(dá)能力強(qiáng)。

(2)易于推理秆吵。

(3)容易修改知識(shí)庫淮椰。

(4)知識(shí)表示易于擴(kuò)展。

對于知識(shí)庫最后需要說明的一個(gè)問題是學(xué)習(xí)系統(tǒng)不能在全然沒有任何知識(shí)的情況下憑空獲取知識(shí)，每一個(gè)學(xué)習(xí)系統(tǒng)都要求具有某些知識(shí)理解環(huán)境提供的信息主穗，分析比較泻拦，做出假設(shè)，檢驗(yàn)并修改這些假設(shè)忽媒。因此争拐，更確切地說，學(xué)習(xí)系統(tǒng)是對現(xiàn)有知識(shí)的擴(kuò)展和改進(jìn)晦雨。

執(zhí)行部分是整個(gè)學(xué)習(xí)系統(tǒng)的核心架曹，因?yàn)閳?zhí)行部分的動(dòng)作就是學(xué)習(xí)部分力求改進(jìn)的動(dòng)作。同執(zhí)行部分有關(guān)的問題有3個(gè)：復(fù)雜性闹瞧、反饋和透明性绑雄。

代碼示例

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

//在gcc-4.7.2下編譯通過。

//命令行：g++-Wall-ansi-O2test.cpp-otest

#include

usingnamespacestd;

voidinput(int&oper,constboolmeth)

{

//meth為true則只判斷1奥邮，為false則判斷1或0

while(true)

{

cin>>oper;

if(meth&&oper==1)

break;

elseif(oper==0||oper==1)

break;

cout<<"輸入錯(cuò)誤万牺，請重新輸入。"<

cin.sync();//避免極端輸入導(dǎo)致死循環(huán)

cin.clear();

}

}

intmain(void)

{

cout<<"1+1=2嗎洽腺？那要看您怎么教我了脚粟，不要驚訝我會(huì)學(xué)習(xí)的"<

intladd,radd,aprs,rcnt(0),wcnt(0);//定義輸入與結(jié)果，正確次數(shù)與錯(cuò)誤次數(shù)

cout<<"開始學(xué)習(xí)……"<

for(inti(0);i!=10;++i)

{

cout<<"參數(shù)1（必須是1）："<

input(ladd,true);

cout<<"參數(shù)2（必須是1）："<

input(radd,true);

cout<<"結(jié)果："<<(ladd+radd)<

cout<<"您對這滿意嗎（滿意輸入1已脓，不滿意輸入0）："<

input(aprs,false);

if(aprs)//判斷用戶評價(jià)

++rcnt;

else

++wcnt;

cout<<"正確次數(shù)："<

}

if(rcnt>wcnt)//判斷學(xué)習(xí)結(jié)果

cout<<"主人告訴我1+1=2珊楼。"<

else

if(rcnt

cout<<"主人告訴我1+1!=2。"<

else

cout<<"我不明白主人是什么意思度液。"<

intterm;//退出部分

cout<<"您對我的表現(xiàn)滿意嗎厕宗？滿意請輸入1不滿意請輸入0："<

input(term,false);

if(term)

cout<<"謝謝我會(huì)繼續(xù)努力學(xué)習(xí)"<

else

cout<<"謝謝我會(huì)繼續(xù)努力學(xué)習(xí)D"<

//cin>>term;//在Windows上測試時(shí)啟用

return0;

}

本程序?qū)⒏鶕?jù)您的評價(jià)判斷執(zhí)行結(jié)果 "1+1=2"

實(shí)際上僅用了最簡單的 if else for 語句

這就是一個(gè)機(jī)器學(xué)習(xí)的例子，通過環(huán)境影響來進(jìn)行學(xué)習(xí)堕担。

通過本例我們不難看出已慢，在人工錯(cuò)誤的引導(dǎo)下，機(jī)器會(huì)給出錯(cuò)誤的答案 1+1不等于2霹购。

所以此類學(xué)習(xí)方法佑惠，一定要在正確引導(dǎo)下實(shí)踐，否則會(huì)得到最壞的結(jié)果齐疙。

學(xué)習(xí)完畢后膜楷，計(jì)算機(jī)會(huì)記錄本次學(xué)習(xí)結(jié)果，存入數(shù)據(jù)庫贞奋，下次執(zhí)行相應(yīng)任務(wù)時(shí)赌厅，再將結(jié)果調(diào)出執(zhí)行。

分類

基于學(xué)習(xí)策略的分類

學(xué)習(xí)策略是指學(xué)習(xí)過程中系統(tǒng)所采用的推理策略轿塔。一個(gè)學(xué)習(xí)系統(tǒng)總是由學(xué)習(xí)和環(huán)境兩部分組成特愿。由環(huán)境（如書本或教師）提供信息仲墨，學(xué)習(xí)部分則實(shí)現(xiàn)信息轉(zhuǎn)換，用能夠理解的形式記憶下來揍障，并從中獲取有用的信息目养。在學(xué)習(xí)過程中，學(xué)生（學(xué)習(xí)部分）使用的推理越少毒嫡，他對教師（環(huán)境）的依賴就越大癌蚁，教師的負(fù)擔(dān)也就越重。學(xué)習(xí)策略的分類標(biāo)準(zhǔn)就是根據(jù)學(xué)生實(shí)現(xiàn)信息轉(zhuǎn)換所需的推理多少和難易程度來分類的审胚，依從簡單到復(fù)雜匈勋，從少到多的次序分為以下六種基本類型：

1）機(jī)械學(xué)習(xí)(Rote learning)

學(xué)習(xí)者無需任何推理或其它的知識(shí)轉(zhuǎn)換礼旅，直接吸取環(huán)境所提供的信息膳叨。如塞繆爾的跳棋程序，紐厄爾和西蒙的LT系統(tǒng)痘系。這類學(xué)習(xí)系統(tǒng)主要考慮的是如何索引存貯的知識(shí)并加以利用菲嘴。系統(tǒng)的學(xué)習(xí)方法是直接通過事先編好、構(gòu)造好的程序來學(xué)習(xí)汰翠，學(xué)習(xí)者不作任何工作龄坪，或者是通過直接接收既定的事實(shí)和數(shù)據(jù)進(jìn)行學(xué)習(xí)，對輸入信息不作任何的推理复唤。

2）示教學(xué)習(xí)(Learning from instruction或Learning by being told)

學(xué)生從環(huán)境（教師或其它信息源如教科書等）獲取信息健田，把知識(shí)轉(zhuǎn)換成內(nèi)部可使用的表示形式，并將新的知識(shí)和原有知識(shí)有機(jī)地結(jié)合為一體佛纫。所以要求學(xué)生有一定程度的推理能力妓局，但環(huán)境仍要做大量的工作。教師以某種形式提出和組織知識(shí)呈宇，以使學(xué)生擁有的知識(shí)可以不斷地增加好爬。這種學(xué)習(xí)方法和人類社會(huì)的學(xué)校教學(xué)方式相似，學(xué)習(xí)的任務(wù)就是建立一個(gè)系統(tǒng)甥啄，使它能接受教導(dǎo)和建議存炮，并有效地存貯和應(yīng)用學(xué)到的知識(shí)。不少專家系統(tǒng)在建立知識(shí)庫時(shí)使用這種方法去實(shí)現(xiàn)知識(shí)獲取蜈漓。示教學(xué)習(xí)的一個(gè)典型應(yīng)用例是FOO程序穆桂。

3）演繹學(xué)習(xí)(Learning by deduction)

學(xué)生所用的推理形式為演繹推理。推理從公理出發(fā)融虽，經(jīng)過邏輯變換推導(dǎo)出結(jié)論享完。這種推理是"保真"變換和特化(specialization)的過程，使學(xué)生在推理過程中可以獲取有用的知識(shí)衣形。這種學(xué)習(xí)方法包含宏操作(macro-operation)學(xué)習(xí)驼侠、知識(shí)編輯和組塊(Chunking)技術(shù)姿鸿。演繹推理的逆過程是歸納推理。

4）類比學(xué)習(xí) (Learning by analogy)

利用二個(gè)不同領(lǐng)域（源域倒源、目標(biāo)域）中的知識(shí)相似性苛预，可以通過類比，從源域的知識(shí)（包括相似的特征和其它性質(zhì)）推導(dǎo)出目標(biāo)域的相應(yīng)知識(shí)笋熬，從而實(shí)現(xiàn)學(xué)習(xí)热某。類比學(xué)習(xí)系統(tǒng)可以使一個(gè)已有的計(jì)算機(jī)應(yīng)用系統(tǒng)轉(zhuǎn)變?yōu)檫m應(yīng)于新的領(lǐng)域，來完成原先沒有設(shè)計(jì)的相類似的功能胳螟。

類比學(xué)習(xí)需要比上述三種學(xué)習(xí)方式更多的推理昔馋。它一般要求先從知識(shí)源（源域）中檢索出可用的知識(shí)，再將其轉(zhuǎn)換成新的形式糖耸，用到新的狀況（目標(biāo)域）中去秘遏。類比學(xué)習(xí)在人類科學(xué)技術(shù)發(fā)展史上起著重要作用，許多科學(xué)發(fā)現(xiàn)就是通過類比得到的嘉竟。例如著名的盧瑟福類比就是通過將原子結(jié)構(gòu)（目標(biāo)域）同太陽系（源域）作類比邦危，揭示了原子結(jié)構(gòu)的奧秘。

5）基于解釋的學(xué)習(xí)(Explanation-based learning, EBL)

學(xué)生根據(jù)教師提供的目標(biāo)概念舍扰、該概念的一個(gè)例子倦蚪、領(lǐng)域理論及可操作準(zhǔn)則，首先構(gòu)造一個(gè)解釋來說明為什該例子滿足目標(biāo)概念边苹，然后將解釋推廣為目標(biāo)概念的一個(gè)滿足可操作準(zhǔn)則的充分條件陵且。EBL已被廣泛應(yīng)用于知識(shí)庫求精和改善系統(tǒng)的性能。

著名的EBL系統(tǒng)有迪喬恩（G.DeJong）的GENESIS,米切爾（T.Mitchell）的LEXII和LEAP, 以及明頓（S.Minton）等的PRODIGY个束。

6）歸納學(xué)習(xí)(Learning from induction)

歸納學(xué)習(xí)是由教師或環(huán)境提供某概念的一些實(shí)例或反例慕购，讓學(xué)生通過歸納推理得出該概念的一般描述。這種學(xué)習(xí)的推理工作量遠(yuǎn)多于示教學(xué)習(xí)和演繹學(xué)習(xí)播急，因?yàn)榄h(huán)境并不提供一般性概念描述（如公理）脓钾。從某種程度上說，歸納學(xué)習(xí)的推理量也比類比學(xué)習(xí)大桩警，因?yàn)闆]有一個(gè)類似的概念可以作為"源概念"加以取用可训。歸納學(xué)習(xí)是最基本的，發(fā)展也較為成熟的學(xué)習(xí)方法捶枢，在人工智能領(lǐng)域中已經(jīng)得到廣泛的研究和應(yīng)用握截。

基于所獲取知識(shí)的表示形式分類

學(xué)習(xí)系統(tǒng)獲取的知識(shí)可能有：行為規(guī)則、物理對象的描述烂叔、問題求解策略谨胞、各種分類及其它用于任務(wù)實(shí)現(xiàn)的知識(shí)類型。

對于學(xué)習(xí)中獲取的知識(shí)蒜鸡，主要有以下一些表示形式：

1）代數(shù)表達(dá)式參數(shù)

學(xué)習(xí)的目標(biāo)是調(diào)節(jié)一個(gè)固定函數(shù)形式的代數(shù)表達(dá)式參數(shù)或系數(shù)來達(dá)到一個(gè)理想的性能胯努。

2）決策樹

用決策樹來劃分物體的類屬牢裳，樹中每一內(nèi)部節(jié)點(diǎn)對應(yīng)一個(gè)物體屬性，而每一邊對應(yīng)于這些屬性的可選值叶沛，樹的葉節(jié)點(diǎn)則對應(yīng)于物體的每個(gè)基本分類蒲讯。

3）形式文法

在識(shí)別一個(gè)特定語言的學(xué)習(xí)中，通過對該語言的一系列表達(dá)式進(jìn)行歸納灰署，形成該語言的形式文法判帮。

4）產(chǎn)生式規(guī)則

產(chǎn)生式規(guī)則表示為條件—?jiǎng)幼鲗Γ驯粯O為廣泛地使用溉箕。學(xué)習(xí)系統(tǒng)中的學(xué)習(xí)行為主要是：生成晦墙、泛化、特化（Specialization）或合成產(chǎn)生式規(guī)則肴茄。

5）形式邏輯表達(dá)式

形式邏輯表達(dá)式的基本成分是命題晌畅、謂詞、變量独郎、約束變量范圍的語句踩麦，及嵌入的邏輯表達(dá)式枚赡。

6）圖和網(wǎng)絡(luò)

有的系統(tǒng)采用圖匹配和圖轉(zhuǎn)換方案來有效地比較和索引知識(shí)氓癌。

7）框架和模式（schema）

每個(gè)框架包含一組槽，用于描述事物（概念和個(gè)體）的各個(gè)方面贫橙。

8）計(jì)算機(jī)程序和其它的過程編碼

獲取這種形式的知識(shí)贪婉，目的在于取得一種能實(shí)現(xiàn)特定過程的能力，而不是為了推斷該過程的內(nèi)部結(jié)構(gòu)卢肃。

9）神經(jīng)網(wǎng)絡(luò)

這主要用在聯(lián)接學(xué)習(xí)中疲迂。學(xué)習(xí)所獲取的知識(shí)，最后歸納為一個(gè)神經(jīng)網(wǎng)絡(luò)莫湘。

10）多種表示形式的組合

有時(shí)一個(gè)學(xué)習(xí)系統(tǒng)中獲取的知識(shí)需要綜合應(yīng)用上述幾種知識(shí)表示形式尤蒿。

根據(jù)表示的精細(xì)程度，可將知識(shí)表示形式分為兩大類：泛化程度高的粗粒度符號(hào)表示幅垮、??泛化程度低的精粒度亞符號(hào)(sub-symbolic)表示腰池。像決策樹、形式文法忙芒、產(chǎn)生式規(guī)則示弓、形式邏輯表達(dá)式、框架和模式等屬于符號(hào)表示類呵萨；而代數(shù)表達(dá)式參數(shù)奏属、圖和網(wǎng)絡(luò)、神經(jīng)網(wǎng)絡(luò)等則屬亞符號(hào)表示類潮峦。

按應(yīng)用領(lǐng)域分類

最主要的應(yīng)用領(lǐng)域有：專家系統(tǒng)囱皿、認(rèn)知模擬勇婴、規(guī)劃和問題求解、數(shù)據(jù)挖掘嘱腥、網(wǎng)絡(luò)信息服務(wù)咆耿、圖象識(shí)別、故障診斷爹橱、自然語言理解萨螺、機(jī)器人和博弈等領(lǐng)域。

從機(jī)器學(xué)習(xí)的執(zhí)行部分所反映的任務(wù)類型上看愧驱，大部分的應(yīng)用研究領(lǐng)域基本上集中于以下兩個(gè)范疇：分類和問題求解慰技。

（1）分類任務(wù)要求系統(tǒng)依據(jù)已知的分類知識(shí)對輸入的未知模式（該模式的描述）作分析，以確定輸入模式的類屬组砚。相應(yīng)的學(xué)習(xí)目標(biāo)就是學(xué)習(xí)用于分類的準(zhǔn)則（如分類規(guī)則）吻商。

（2）問題求解任務(wù)要求對于給定的目標(biāo)狀態(tài),??尋找一個(gè)將當(dāng)前狀態(tài)轉(zhuǎn)換為目標(biāo)狀態(tài)的動(dòng)作序列；機(jī)器學(xué)習(xí)在這一領(lǐng)域的研究工作大部分集中于通過學(xué)習(xí)來獲取能提高問題求解效率的知識(shí)（如搜索控制知識(shí)糟红，啟發(fā)式知識(shí)等）艾帐。

綜合分類

綜合考慮各種學(xué)習(xí)方法出現(xiàn)的歷史淵源、知識(shí)表示盆偿、推理策略柒爸、結(jié)果評估的相似性、研究人員交流的相對集中性以及應(yīng)用領(lǐng)域等諸因素事扭。將機(jī)器學(xué)習(xí)方法[1]區(qū)分為以下六類：

1）經(jīng)驗(yàn)性歸納學(xué)習(xí)(empirical inductive learning)

經(jīng)驗(yàn)性歸納學(xué)習(xí)采用一些數(shù)據(jù)密集的經(jīng)驗(yàn)方法（如版本空間法捎稚、ID3法，定律發(fā)現(xiàn)方法）對例子進(jìn)行歸納學(xué)習(xí)求橄。其例子和學(xué)習(xí)結(jié)果一般都采用屬性今野、謂詞、關(guān)系等符號(hào)表示罐农。它相當(dāng)于基于學(xué)習(xí)策略分類中的歸納學(xué)習(xí)条霜，但扣除聯(lián)接學(xué)習(xí)、遺傳算法涵亏、加強(qiáng)學(xué)習(xí)的部分宰睡。

2）分析學(xué)習(xí)（analytic learning）

分析學(xué)習(xí)方法是從一個(gè)或少數(shù)幾個(gè)實(shí)例出發(fā)，運(yùn)用領(lǐng)域知識(shí)進(jìn)行分析溯乒。其主要特征為：

·推理策略主要是演繹夹厌，而非歸納；

·使用過去的問題求解經(jīng)驗(yàn)（實(shí)例）指導(dǎo)新的問題求解裆悄，或產(chǎn)生能更有效地運(yùn)用領(lǐng)域知識(shí)的搜索控制規(guī)則矛纹。

分析學(xué)習(xí)的目標(biāo)是改善系統(tǒng)的性能，而不是新的概念描述光稼。分析學(xué)習(xí)包括應(yīng)用解釋學(xué)習(xí)或南、演繹學(xué)習(xí)孩等、多級結(jié)構(gòu)組塊以及宏操作學(xué)習(xí)等技術(shù)。

3）類比學(xué)習(xí)

它相當(dāng)于基于學(xué)習(xí)策略分類中的類比學(xué)習(xí)采够。在這一類型的學(xué)習(xí)中比較引人注目的研究是通過與過去經(jīng)歷的具體事例作類比來學(xué)習(xí)肄方，稱為基于范例的學(xué)習(xí)(case_based learning)，或簡稱范例學(xué)習(xí)蹬癌。

4）遺傳算法（genetic algorithm）

遺傳算法模擬生物繁殖的突變权她、交換和達(dá)爾文的自然選擇（在每一生態(tài)環(huán)境中適者生存）。它把問題可能的解編碼為一個(gè)向量逝薪，稱為個(gè)體隅要，向量的每一個(gè)元素稱為基因，并利用目標(biāo)函數(shù)（相應(yīng)于自然選擇標(biāo)準(zhǔn)）對群體（個(gè)體的集合）中的每一個(gè)個(gè)體進(jìn)行評價(jià)董济，根據(jù)評價(jià)值（適應(yīng)度）對個(gè)體進(jìn)行選擇步清、交換、變異等遺傳操作虏肾，從而得到新的群體廓啊。遺傳算法適用于非常復(fù)雜和困難的環(huán)境，比如封豪，帶有大量噪聲和無關(guān)數(shù)據(jù)谴轮、事物不斷更新、問題目標(biāo)不能明顯和精確地定義撑毛，以及通過很長的執(zhí)行過程才能確定當(dāng)前行為的價(jià)值等书聚。同神經(jīng)網(wǎng)絡(luò)一樣，遺傳算法的研究已經(jīng)發(fā)展為人工智能的一個(gè)獨(dú)立分支藻雌，其代表人物為霍勒德（J.H.Holland）。

5）聯(lián)接學(xué)習(xí)

典型的聯(lián)接模型實(shí)現(xiàn)為人工神經(jīng)網(wǎng)絡(luò)斩个，其由稱為神經(jīng)元的一些簡單計(jì)算單元以及單元間的加權(quán)聯(lián)接組成胯杭。

6）增強(qiáng)學(xué)習(xí)（reinforcement learning）

增強(qiáng)學(xué)習(xí)的特點(diǎn)是通過與環(huán)境的試探性（trial and error）交互來確定和優(yōu)化動(dòng)作的選擇，以實(shí)現(xiàn)所謂的序列決策任務(wù)受啥。在這種任務(wù)中做个，學(xué)習(xí)機(jī)制通過選擇并執(zhí)行動(dòng)作，導(dǎo)致系統(tǒng)狀態(tài)的變化滚局，并有可能得到某種強(qiáng)化信號(hào)（立即回報(bào)）居暖，從而實(shí)現(xiàn)與環(huán)境的交互。強(qiáng)化信號(hào)就是對系統(tǒng)行為的一種標(biāo)量化的獎(jiǎng)懲藤肢。系統(tǒng)學(xué)習(xí)的目標(biāo)是尋找一個(gè)合適的動(dòng)作選擇策略太闺，即在任一給定的狀態(tài)下選擇哪種動(dòng)作的方法，使產(chǎn)生的動(dòng)作序列可獲得某種最優(yōu)的結(jié)果（如累計(jì)立即回報(bào)最大）嘁圈。

在綜合分類中,經(jīng)驗(yàn)歸納學(xué)習(xí)省骂、遺傳算法蟀淮、聯(lián)接學(xué)習(xí)和增強(qiáng)學(xué)習(xí)均屬于歸納學(xué)習(xí)，其中經(jīng)驗(yàn)歸納學(xué)習(xí)采用符號(hào)表示方式钞澳，而遺傳算法怠惶、聯(lián)接學(xué)習(xí)和加強(qiáng)學(xué)習(xí)則采用亞符號(hào)表示方式；分析學(xué)習(xí)屬于演繹學(xué)習(xí)轧粟。

實(shí)際上策治，類比策略可看成是歸納和演繹策略的綜合。因而最基本的學(xué)習(xí)策略只有歸納和演繹兰吟。

從學(xué)習(xí)內(nèi)容的角度看览妖，采用歸納策略的學(xué)習(xí)由于是對輸入進(jìn)行歸納，所學(xué)習(xí)的知識(shí)顯然超過原有系統(tǒng)知識(shí)庫所能蘊(yùn)涵的范圍,所學(xué)結(jié)果改變了系統(tǒng)的知識(shí)演繹閉包, 因而這種類型的學(xué)習(xí)又可稱為知識(shí)級學(xué)習(xí);而采用演繹策略的學(xué)習(xí)盡管所學(xué)的知識(shí)能提高系統(tǒng)的效率揽祥，但仍能被原有系統(tǒng)的知識(shí)庫所蘊(yùn)涵,即所學(xué)的知識(shí)未能改變系統(tǒng)的演繹閉包,因而這種類型的學(xué)習(xí)又被稱為符號(hào)級學(xué)習(xí)讽膏。

學(xué)習(xí)形式分類

1）監(jiān)督學(xué)習(xí)(supervised learning)

監(jiān)督學(xué)習(xí)，即在機(jī)械學(xué)習(xí)過程中提供對錯(cuò)指示拄丰。一般實(shí)在是數(shù)據(jù)組中包含最終結(jié)果（0府树，1）。通過算法讓機(jī)器自我減少誤差料按。這一類學(xué)習(xí)主要應(yīng)用于分類和預(yù)測 (regression & classify)奄侠。監(jiān)督學(xué)習(xí)從給定的訓(xùn)練數(shù)據(jù)集中學(xué)習(xí)出一個(gè)函數(shù)，當(dāng)新的數(shù)據(jù)到來時(shí)载矿，可以根據(jù)這個(gè)函數(shù)預(yù)測結(jié)果垄潮。監(jiān)督學(xué)習(xí)的訓(xùn)練集要求是包括輸入和輸出，也可以說是特征和目標(biāo)闷盔。訓(xùn)練集中的目標(biāo)是由人標(biāo)注的弯洗。常見的監(jiān)督學(xué)習(xí)算法包括回歸分析和統(tǒng)計(jì)分類。

2）非監(jiān)督學(xué)習(xí)(unsupervised learning)

非監(jiān)督學(xué)習(xí)又稱歸納性學(xué)習(xí)（clustering）利用K方式(Kmeans)逢勾，建立中心（centriole）牡整，通過循環(huán)和遞減運(yùn)算(iteration&descent)來減小誤差，達(dá)到分類的目的溺拱。

研究領(lǐng)域

機(jī)器學(xué)習(xí)領(lǐng)域的研究工作主要圍繞以下三個(gè)方面進(jìn)行：

（1）面向任務(wù)的研究

研究和分析改進(jìn)一組預(yù)定任務(wù)的執(zhí)行性能的學(xué)習(xí)系統(tǒng)逃贝。

（2）認(rèn)知模型

研究人類學(xué)習(xí)過程并進(jìn)行計(jì)算機(jī)模擬。

（3）理論分析

從理論上探索各種可能的學(xué)習(xí)方法和獨(dú)立于應(yīng)用領(lǐng)域的算法

機(jī)器學(xué)習(xí)是繼專家系統(tǒng)之后人工智能應(yīng)用的又一重要研究領(lǐng)域迫摔，也是人工智能和神經(jīng)計(jì)算的核心研究課題之一°灏猓現(xiàn)有的計(jì)算機(jī)系統(tǒng)和人工智能系統(tǒng)沒有什么學(xué)習(xí)能力，至多也只有非常有限的學(xué)習(xí)能力句占，因而不能滿足科技和生產(chǎn)提出的新要求沪摄。對機(jī)器學(xué)習(xí)的討論和機(jī)器學(xué)習(xí)研究的進(jìn)展，必將促使人工智能和整個(gè)科學(xué)技術(shù)的進(jìn)一步發(fā)展 。

相關(guān)圖書1

基本信息

作者：（美）Tom Mitchell語種：簡體中文

ISBN：7-111-10993-7開本：16開

定價(jià)：35.00元原書名：Machine Learning

頁數(shù)：280屬性分類：教材

出版日期：2003-01-01所屬叢書：計(jì)算機(jī)類叢書

譯者：曾華軍 張銀奎 等試用專業(yè)：計(jì)算機(jī)

圖書分類：計(jì)算機(jī)>人工智能>綜合包含CD：否

原出版社：無出版社：機(jī)械工業(yè)出版社

絕版：否

內(nèi)容簡介

本書展示了機(jī)器學(xué)習(xí)中核心的算法和理論卓起，并闡明了算法的運(yùn)行過程和敬。本書綜合了許多的研究成果，例如統(tǒng)計(jì)學(xué)戏阅、人工智能昼弟、哲學(xué)、信息論奕筐、生物學(xué)舱痘、認(rèn)知科學(xué)、計(jì)算復(fù)雜性和控制論等离赫，并以此來理解問題的背景芭逝、算法和其中的隱含假定。本書可作為計(jì)算機(jī)專業(yè)

本科生渊胸、研究生教材旬盯，也可作為相關(guān)領(lǐng)域研究人員、教師的參考書翎猛。

圖書特色

TOM M.Mitchell是卡內(nèi)基梅隆大學(xué)的教授胖翰，講授“機(jī)器(AAA)的主席：美國《Machine Learning》雜志、國際機(jī)器學(xué)習(xí)年度會(huì)議（ICML）的創(chuàng)始人：多種技術(shù)雜志的撰稿人切厘，曾發(fā)表過許多文章萨咳，出版過多本專著，是機(jī)器學(xué)習(xí)領(lǐng)域的著名學(xué)者疫稿。

圖書前言

機(jī)器學(xué)習(xí)這門學(xué)科所關(guān)注的問題是：計(jì)算機(jī)程序如何隨著經(jīng)驗(yàn)積累自動(dòng)提高性能培他。機(jī)器學(xué)習(xí)已經(jīng)被成功地應(yīng)用于很多領(lǐng)域，從檢測信用卡交易欺詐的數(shù)據(jù)挖掘程序遗座，到獲取戶閱讀興趣的信息過濾系統(tǒng)舀凛，再到能在高速公路上自動(dòng)行駛的汽車。同時(shí)员萍，這個(gè)學(xué)科的基理論和算法也有了重大進(jìn)展腾降。

這本教材的目標(biāo)是展現(xiàn)機(jī)器學(xué)習(xí)中核心的算法和理論。機(jī)器學(xué)習(xí)從很多學(xué)科吸收了成果和概念碎绎，包括統(tǒng)計(jì)學(xué)、人工智能抗果、哲學(xué)筋帖、信息論、生物學(xué)冤馏、認(rèn)知科學(xué)日麸、計(jì)算復(fù)雜性和控制等。筆者相信，研究機(jī)器學(xué)習(xí)的最佳途徑是從這些學(xué)科的觀點(diǎn)看待機(jī)器學(xué)習(xí)代箭，并且以此來理解問題的背景墩划、算法以及其中隱含的假定。這些在以往很難做到嗡综，因?yàn)樵谶@一領(lǐng)域缺少包容廣泛的原始資料乙帮，本書的主要目的就是提供這樣的一份資料。

由于素材的多學(xué)科性极景，本書不要求讀者具有相應(yīng)的知識(shí)背景察净，而是在必要時(shí)介紹其他一些學(xué)科的基本概念，如統(tǒng)計(jì)學(xué)盼樟、人工智能、信息論等。介紹的重點(diǎn)是與機(jī)器學(xué)習(xí)關(guān)系最密切甲那些概念部脚。本書可以作為計(jì)算機(jī)科學(xué)與工程远搪、統(tǒng)計(jì)學(xué)和社會(huì)科學(xué)等專業(yè)的大學(xué)生或研究生的教材，也可作為軟件研究人員或從業(yè)人員的參考資料击碗。

指導(dǎo)本書寫作的兩條原則為：第一筑悴，它是在校大學(xué)生可以理解的；第二延都，它應(yīng)該包含我希望我自己的博士生在開始他們的器學(xué)習(xí)研究前要掌握的內(nèi)容雷猪。

指導(dǎo)本書寫作的第三條原則是：它應(yīng)該體現(xiàn)理論和實(shí)踐間的均衡。機(jī)器學(xué)習(xí)理論致力于回答這樣的問題“學(xué)習(xí)性能是怎樣隨著給定的訓(xùn)練樣例的數(shù)量而變化的?”和“對于各種同類型的學(xué)習(xí)任務(wù)：哪個(gè)學(xué)習(xí)算法最適合?”利用來自統(tǒng)計(jì)學(xué)晰房、計(jì)算復(fù)雜性和貝葉斯分析的理論成果求摇，這本書討論了這一類理論問題。同時(shí)本書也涵蓋很多實(shí)踐方面的內(nèi)容：介紹了這一領(lǐng)域的主要算法殊者，闡明了算法的運(yùn)行過程与境。

其中一些算法的實(shí)現(xiàn)和數(shù)據(jù)可以在因特網(wǎng)上通過網(wǎng)址http：//www．cs．cmu．edu/-tom/mlbook．html得到，包括用于人臉識(shí)別的神經(jīng)網(wǎng)絡(luò)的源代碼和數(shù)據(jù)猖吴、用于信貸分析的決策樹學(xué)習(xí)的源代碼和數(shù)據(jù)及分析文本文檔的貝葉分類器的源代碼和數(shù)據(jù)摔刁。我很感謝那些幫助我創(chuàng)建這些在線資源的同事，他們是：Jason Rennie海蔽、Paul Hsiung共屈、Jeff Shufelt、Matt Glickman党窜、Scott Davies拗引、Joseph O’Sullivan、Ken Lang\Andrew McCallum和Thorsten Joachims幌衣。

作品目錄

第1章　引言

1．1　學(xué)習(xí)問題的標(biāo)準(zhǔn)描述

1．2　設(shè)計(jì)-個(gè)學(xué)習(xí)系統(tǒng)

1．2．1　選擇訓(xùn)練經(jīng)驗(yàn)

1．2．2　選擇目標(biāo)函數(shù)

1．2．3　選擇目標(biāo)函數(shù)的表示

1. 2．4　選擇函數(shù)逼近算法

1．2．5　最終設(shè)計(jì)

1．3　機(jī)器學(xué)習(xí)的一些觀點(diǎn)和問題

1．4　如何閱讀本書

1．5　小結(jié)和補(bǔ)充讀物

習(xí)題

第2章　概念學(xué)習(xí)和一般到特殊序

2．1　簡介

2．2　概念學(xué)習(xí)任務(wù)

2．2．1　術(shù)語定義

2．2．2　歸納學(xué)習(xí)假設(shè)

2．3　作為搜索的概念學(xué)習(xí)

2．4　FIND-S：尋找極大特殊假設(shè)

2．5　變型空間和候選消除算法

2．5．1　表示

2．5．2　列表后消除算法

2．5．3　變型空間的更簡潔表示

2．5．4　候選消除學(xué)習(xí)算法

2．5．5　算法的舉例

2．6　關(guān)于變型空間和候選消除的說明

2．6．1　候選消除算法是否會(huì)收斂到正確的假設(shè)

2．6．2　下一步需要什么樣的訓(xùn)練樣例

2．6．3　怎樣使用不完全學(xué)習(xí)概念

2．7　歸納偏置

2．7．1　-個(gè)有偏的假設(shè)空間

2．7．2　無偏的學(xué)習(xí)器

2．7．3　無偏學(xué)習(xí)的無用性

2．8　小始和補(bǔ)充讀物

習(xí)題

第3章　決策樹學(xué)習(xí)

3．1　簡介

3．2　決策樹表示法

3．3　決策樹學(xué)習(xí)的適用問題

3．4　基本的決策樹學(xué)習(xí)算法

3．4．1　哪個(gè)屬性是最佳的分類屬性

3．4．2　舉例

3．5　決策樹學(xué)習(xí)中的假設(shè)空間搜索

3．6　決策樹學(xué)習(xí)的歸納偏置

3．6．1　限定偏置和優(yōu)選偏置

3．6．2　為什么短的假設(shè)優(yōu)先

3．7　決策樹學(xué)習(xí)的常見問題

3．7．1　避免過度擬合數(shù)據(jù)

3. 7．2　合并連續(xù)值屬性

3．7．3　屬性選擇的其他度量標(biāo)準(zhǔn)

3．7．4　處理缺少屬性值的訓(xùn)練樣例

3．7．5　處理不同代價(jià)的屬性

3．8　小結(jié)和補(bǔ)充讀物

習(xí)題

第4章　人工神經(jīng)網(wǎng)絡(luò)

4．1　簡介

4．2　神經(jīng)網(wǎng)絡(luò)表示

4．3　適合神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的問題

4．4　感知器

4．4．1　感知器的表征能力

4. 4．2　感知器訓(xùn)練法則

4．4．3　梯度下降和delta法則

4．4．4　小結(jié)

4．5　多層網(wǎng)絡(luò)和反向傳播算法

4．5．1　可微閾值單元

4．5．2　反向傳播算法

4．5．3　反向傳播法則的推導(dǎo)

4．6　反向傳播算法的說明

4．6．1　收斂性和局部極小值

4．6．2　前饋網(wǎng)絡(luò)的表征能力

4．6．3　假設(shè)空間搜索和歸納偏置

4．6．4　隱藏層表示

4．6．5　泛化矾削、過度擬合和停止判據(jù)

4．7　舉例：人臉識(shí)別

4．7．1　任務(wù)

4．7．2　設(shè)計(jì)要素

4．7．3　學(xué)習(xí)到的隱藏層表示

4．8　人工神經(jīng)網(wǎng)絡(luò)的高級課題

4．8．1　其他可選的誤差函數(shù)

4．8．2　其他可選的誤差最小化過程

4．8．3　遞歸網(wǎng)絡(luò)

4．8．4　動(dòng)態(tài)修改網(wǎng)絡(luò)結(jié)構(gòu)

4．9　小結(jié)和補(bǔ)充讀物

習(xí)題

第5章　評估假設(shè)

5．1　動(dòng)機(jī)

5．2　估計(jì)假設(shè)精度

5．2．1　樣本錯(cuò)誤率和真實(shí)錯(cuò)誤率

5．2．2　離散值假設(shè)的置信區(qū)間

5．3　采樣理論基礎(chǔ)

5．3．1　錯(cuò)誤率估計(jì)和二項(xiàng)比例估計(jì)

5．3．2　二項(xiàng)分布

5．3．3　均值和方差

5．3．4　估計(jì)量、偏差和方差

5．3．5　置信區(qū)間

5．3．6　雙側(cè)和單側(cè)邊界

5．4　推導(dǎo)置信區(qū)間的一般方法

5．5　兩個(gè)假設(shè)錯(cuò)誤率間的差異

5．6　學(xué)習(xí)算法比較

5．6. 1　配對t測試

5．6．2　實(shí)際考慮

5．7　小結(jié)和補(bǔ)充讀物

習(xí)題

第6章　貝葉斯學(xué)習(xí)

6．1　簡介

6．2　貝葉斯法則

6．3　貝葉斯法則和概念學(xué)習(xí)

6．3．1　BRUTE-FORCE貝葉斯概念學(xué)習(xí)

6．3．2　MAP假設(shè)和一致學(xué)習(xí)器

6．4　極大似然和最小誤差平方假設(shè)

6．5　用于預(yù)測概率的極大似然假設(shè)

6．6　最小描述長度準(zhǔn)則

6．7　貝葉斯最優(yōu)分類器

6．8　GIBBS算法

6．9　樸素貝葉斯分類器

6．10　舉例：學(xué)習(xí)分類文本

6．11　貝葉斯信念網(wǎng)

6．11．1　條件獨(dú)立性

6．11．2　表示

6．11．3　推理

6．11．4　學(xué)習(xí)貝葉斯信念網(wǎng)

6．11．5　貝葉斯網(wǎng)的梯度上升訓(xùn)練

6．11．6　學(xué)習(xí)貝葉斯網(wǎng)的結(jié)構(gòu)

6．12　EM算法

6．12．1　估計(jì)k個(gè)高斯分布的均值

6．12．2　EM算法的一般表述

6．12．3　k均值算法的推導(dǎo)

6．13　小結(jié)和補(bǔ)充讀物

習(xí)題

第7章　計(jì)算學(xué)習(xí)理論

7．1　簡介

7．2　可能學(xué)習(xí)近似正確假設(shè)

7．2．1　問題框架

7．2．2　假設(shè)的錯(cuò)誤率

7．2．3　PAC可學(xué)習(xí)性

7．3　有限假設(shè)空間的樣本復(fù)雜度

7．3．1　不可知學(xué)習(xí)和不一致假設(shè)

7．3．2　布爾文字的合取是PAC可學(xué)習(xí)的

7．3．3　其他概念類別的PAC可學(xué)習(xí)性

7．4　無限假設(shè)空間的樣本復(fù)雜度

7．4．1　打散一個(gè)實(shí)例集合

7．4．2　Vapnik-Chervonenkis維度

7．4．3　樣本復(fù)雜度和VC維

7．4．4　神經(jīng)網(wǎng)絡(luò)的VC維

7．5　學(xué)習(xí)的出錯(cuò)界限模型

7．5．1　FIND-S算法的出錯(cuò)界限

7．5．2　HALVING算法的出錯(cuò)界限

7．5．3　最優(yōu)出錯(cuò)界限

7．5．4　加權(quán)多數(shù)算法

7．6　小結(jié)和補(bǔ)充讀物

習(xí)題

第8章　基于實(shí)例的學(xué)習(xí)

8．1　簡介

8．2　k-近鄰算法

8．2．1　距離加權(quán)最近鄰算法

8．2．2　對k-近鄰算法的說明

8．2．3　術(shù)語注解

8．3　局部加權(quán)回歸

8．3．1　局部加權(quán)線性回歸

8．3．2　局部加權(quán)回歸的說明

8．4　徑向基函數(shù)

8．5　基于案例的推理

8．6　對消極學(xué)習(xí)和積極學(xué)習(xí)的評論

8．7　小結(jié)和補(bǔ)充讀物

習(xí)題

第9章　遺傳算法

9．1　動(dòng)機(jī)

9．2　遺傳算法

9．2．1　表示假設(shè)

9．2．2　遺傳算子

9．2．3　適應(yīng)度函數(shù)和假設(shè)選擇

9．3　舉例

9．4　假設(shè)空間搜索

9．5　遺傳編程

9．5．1　程序表示

9．5．2　舉例

9．5．3　遺傳編程說明

9．6　進(jìn)化和學(xué)習(xí)模型

9．6．1　拉馬克進(jìn)化

9．6．2　鮑德溫效應(yīng)

9．7　并行遺傳算法

9．8　小結(jié)和補(bǔ)充讀物

習(xí)題

第10章　學(xué)習(xí)規(guī)則集合

10．1　簡介

10．2　序列覆蓋算法

10．2．1　一般到特殊的柱狀搜索

10．2．2　幾種變型

10．3　學(xué)習(xí)規(guī)則集：小結(jié)

10．4　學(xué)習(xí)一階規(guī)則

10．4．1　一階Horn子句

10．4．2　術(shù)語

10．5　學(xué)習(xí)一階規(guī)則集：FOIL

10．5．1　FOIL中的候選特化式的生成

10．5．2　引導(dǎo)FOIL的搜索

10．5．3　學(xué)習(xí)遞歸規(guī)則集

10．5．4　FOIL小結(jié)

10．6　作為逆演繹的歸納

10．7　逆歸納

10．7．1　一階歸納

10．7．2　逆歸納：一階情況

10．7．3　逆歸納小結(jié)

10．7．4　泛化、-包容和涵蘊(yùn)

10．7．5　PROGOL

10．8　小結(jié)和補(bǔ)充讀物

習(xí)題

第11章　分析學(xué)習(xí)

11．1　簡介

11．2　用完美的領(lǐng)域理論學(xué)習(xí)：PROLOG-EBG

11．3　對基于解釋的學(xué)習(xí)的說明

11．3．1　發(fā)現(xiàn)新特征

11．3．2　演繹學(xué)習(xí)

11．3．3　基于解釋的學(xué)習(xí)的歸納偏置

11．3．4　知識(shí)級的學(xué)習(xí)

11．4　搜索控制知識(shí)的基于解釋的學(xué)習(xí)

11．5　小結(jié)和補(bǔ)充讀物

習(xí)題

第12章　歸納和分析學(xué)習(xí)的結(jié)合

12．1　動(dòng)機(jī)

12．2　學(xué)習(xí)的歸納-分析途徑

12．2．1　學(xué)習(xí)問題

12．2．2　假設(shè)空間搜索

12．3　使用先驗(yàn)知識(shí)得到初始假設(shè)

12．3．1　KBANN算法

12．3．2　舉例

12．3．3　說明

12．4　使用先驗(yàn)知識(shí)改變搜索目標(biāo)

12．4．1　TANGENTPROP算法

12．4．2　舉例

12．4．3　說明

12．4．4　EBNN算法

12．4．5　說明

12．5　使用先驗(yàn)知識(shí)來擴(kuò)展搜索算子

12．5．1　FOCL算法

12．5．2　說明

12．6　研究現(xiàn)狀

12．7　小結(jié)和補(bǔ)充讀物

習(xí)題

第13章　增強(qiáng)學(xué)習(xí)

13．1　簡介

13．2　學(xué)習(xí)任務(wù)

13．3　Q學(xué)習(xí)

13．3．1　Q函數(shù)

13．3．2　一個(gè)學(xué)習(xí)Q的算法

13．3．3　舉例

13．3．4　收斂性

13．3．5　實(shí)驗(yàn)策略

13．3．6　更新序列

13．4　非確定性回報(bào)和動(dòng)作

13．5　時(shí)間差分學(xué)習(xí)

13．6　從樣例中泛化

13．7　與動(dòng)態(tài)規(guī)劃的聯(lián)樂

13．8　小結(jié)和補(bǔ)充讀物

習(xí)題

附錄　符號(hào)約定

相關(guān)圖書2

基本信息

原作名:Machine Learning for Hackers

作者:（美）Drew Conway/John Myles White

譯者:陳開江/劉逸哲/孟曉楠/羅森林 審校

出版社:機(jī)械工業(yè)出版社

頁數(shù):320

定價(jià):69.00

ISBN:9787111417316

內(nèi)容簡介

這本書為機(jī)器學(xué)習(xí)技術(shù)提供了一些非常棒的案例研究哼凯。它并不想成為一本關(guān)于機(jī)器學(xué)習(xí)的工具書或者理論書籍欲间，它注重的是一個(gè)學(xué)習(xí)的過程，因而對于任何有一些編程背景和定量思維的人來說断部，它都是不錯(cuò)的選擇猎贴。

——Max Shron OkCupid

機(jī)器學(xué)習(xí)是計(jì)算機(jī)科學(xué)和人工智能中非常重要的一個(gè)研究領(lǐng)域，機(jī)器學(xué)習(xí)不但在計(jì)算機(jī)科學(xué)的眾多領(lǐng)域中大顯身手家坎，而且成為一些交叉學(xué)科的重要支撐技術(shù)嘱能。本書比較全面系統(tǒng)地介紹了機(jī)器學(xué)習(xí)的方法和技術(shù)，不僅詳細(xì)闡述了許多經(jīng)典的學(xué)習(xí)方法虱疏，還討論了一些有生命力的新理論惹骂、新方法。

全書案例既有分類問題做瞪，也有回歸問題对粪；既包含監(jiān)督學(xué)習(xí)，也涵蓋無監(jiān)督學(xué)習(xí)装蓬。本書討論的案例從分類講到回歸著拭，然后討論了聚類、降維牍帚、最優(yōu)化問題等儡遮。這些案例包括分類：垃圾郵件識(shí)別，排序：智能收件箱暗赶，回歸模型：預(yù)測網(wǎng)頁訪問量鄙币，正則化：文本回歸，最優(yōu)化：密碼破解蹂随，無監(jiān)督學(xué)習(xí)：構(gòu)建股票市場指數(shù)十嘿，空間相似度：用投票記錄對美國參議員聚類，推薦系統(tǒng)：給用戶推薦R語言包岳锁，社交網(wǎng)絡(luò)分析：在Twitter上感興趣的人绩衷，模型比較：給你的問題找到最佳算法。各章對原理的敘述力求概念清晰激率、表達(dá)準(zhǔn)確咳燕，突出理論聯(lián)系實(shí)際，富有啟發(fā)性乒躺，易于理解迟郎。在探索這些案例的過程中用到的基本工具就是R統(tǒng)計(jì)編程語言。R語言非常適合用于機(jī)器學(xué)習(xí)的案例研究聪蘸，因?yàn)樗且环N用于數(shù)據(jù)分析的高水平、功能性腳本語言。

本書主要內(nèi)容：

開發(fā)一個(gè)樸素貝葉斯分類器健爬，僅僅根據(jù)郵件的文本信息來判斷這封郵件是否是垃圾郵件控乾；

使用線性回歸來預(yù)測互聯(lián)網(wǎng)排名前1000網(wǎng)站的PV；

利用文本回歸理解圖書中詞與詞之間的關(guān)系娜遵；

通過嘗試破譯一個(gè)簡單的密碼來學(xué)習(xí)優(yōu)化技術(shù)蜕衡；

利用無監(jiān)督學(xué)習(xí)構(gòu)建股票市場指數(shù)，用于衡量整體市場行情的好壞设拟；

根據(jù)美國參議院的投票情況慨仿，從統(tǒng)計(jì)學(xué)的角度對美國參議員聚類；

通過K近鄰算法構(gòu)建向用戶推薦R語言包纳胧；

利用Twitter數(shù)據(jù)來構(gòu)建一個(gè)“你可能感興趣的人”的推薦系統(tǒng)镰吆；

模型比較：給你的問題找到最佳算法。

作者簡介

Drew Conway 機(jī)器學(xué)習(xí)專家跑慕，擁有豐富的數(shù)據(jù)分析與處理工作經(jīng)驗(yàn)万皿。主要利用數(shù)學(xué)、統(tǒng)計(jì)學(xué)和計(jì)算機(jī)技術(shù)研究國際關(guān)系核行、沖突和恐怖主義等牢硅。他曾作為研究員在美國情報(bào)和國防部門供職數(shù)年。他擁有紐約大學(xué)政治系博士學(xué)位芝雪，曾為多種雜志撰寫文章减余，是機(jī)器學(xué)習(xí)領(lǐng)域的著名學(xué)者。

John Myles White 機(jī)器學(xué)習(xí)專家惩系，擁有豐富的數(shù)據(jù)分析與處理工作經(jīng)驗(yàn)位岔。主要從理論和實(shí)驗(yàn)的角度來研究人類如何做出決定，同時(shí)還是幾個(gè)流行的R語言程序包的主要維護(hù)者蛆挫，包括ProjectTemplate和log4r赃承。他擁有普林斯頓大學(xué)哲學(xué)系博士學(xué)位，曾為多家技術(shù)雜志撰稿悴侵，發(fā)表過許多關(guān)于機(jī)器學(xué)習(xí)的論文瞧剖，并在眾多國際會(huì)議上發(fā)表演講。

譯者簡介

羅森林

博士可免，教授抓于，博導(dǎo)。現(xiàn)任北京理工大學(xué)信息系統(tǒng)及安全對抗實(shí)驗(yàn)中心主任浇借、專業(yè)責(zé)任教授捉撮。國防科技工業(yè)局科學(xué)技術(shù)委員會(huì)成員；《中國醫(yī)學(xué)影像技術(shù)雜志》妇垢、《中國介入影像與治療學(xué)》編委會(huì)委員巾遭；全國大學(xué)生信息安全技術(shù)專題邀請賽專家組副組長肉康；中國人工智能學(xué)會(huì)智能信息安全專業(yè)委員會(huì)委員等。主要研究方向?yàn)樾畔踩粕帷?shù)據(jù)挖掘吼和、媒體計(jì)算、中文信息處理等骑素。負(fù)責(zé)或參加完成國家自然科學(xué)基金炫乓、國家科技支撐計(jì)劃、863計(jì)劃献丑、國家242計(jì)劃等省部級以上項(xiàng)目40余項(xiàng)末捣。已發(fā)表學(xué)術(shù)論文90余篇，出版著作8部创橄，出版譯著1部箩做，獲授權(quán)專利3項(xiàng)。

陳開江

新浪微博搜索部研發(fā)工程師筐摘，曾獨(dú)立負(fù)責(zé)微博內(nèi)容反垃圾系統(tǒng)卒茬、微博精選內(nèi)容挖掘算法、自助客服系統(tǒng)（包括自動(dòng)回復(fù)咖熟、主動(dòng)挖掘、輿情監(jiān)測）等項(xiàng)目馍管，主要從事社交挖掘郭赐、推薦算法研究、機(jī)器學(xué)習(xí)确沸、自然語言處理相關(guān)工作捌锭，研究興趣是社交網(wǎng)絡(luò)的個(gè)性化推薦。

劉逸哲

阿里巴巴罗捎，CBU基礎(chǔ)平臺(tái)部搜索與推薦團(tuán)隊(duì)核心技術(shù)與query分析方向負(fù)責(zé)人观谦，機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域及圈子負(fù)責(zé)人。曾任中國雅虎相關(guān)性團(tuán)隊(duì)桨菜、自然語言處理團(tuán)隊(duì)算法工程師豁状；AvePoint.inc開發(fā)工程師，從事企業(yè)級搜索引擎開發(fā)倒得。研究興趣是機(jī)器學(xué)習(xí)泻红、自然語言處理及個(gè)性化推薦等算法在大規(guī)模數(shù)據(jù)上的應(yīng)用。

孟曉楠

一淘廣告技術(shù)霞掺，阿里非搜索廣告算法負(fù)責(zé)人谊路，負(fù)責(zé)用戶行為分析、建模與細(xì)分菩彬，RTB競價(jià)算法缠劝，展示廣告CTR預(yù)估與SEM優(yōu)化潮梯。曾工作于網(wǎng)易杭州研究院，參與過分布式全文檢索系統(tǒng)和網(wǎng)易博客產(chǎn)品的數(shù)據(jù)挖掘算法開發(fā)剩彬。研究興趣是計(jì)算廣告技術(shù)酷麦、機(jī)器學(xué)習(xí)、大數(shù)據(jù)技術(shù)喉恋、信息檢索等。