機(jī)器學(xué)習(xí)Week 1
前言
最近開始follow機(jī)器學(xué)習(xí)大牛Andrew Ng在Coursesa上的課程，特開此專題以記錄之。
1.機(jī)器學(xué)習(xí)的定義
Tom Mitchell 給出了一個相對有趣的定義情屹，他的原話是:
<blockquote>
A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E.
</blockquote>
我個人覺得Tom Mitchell的定義相當(dāng)清晰明了适室，我就不再贅述蠕搜。
2.機(jī)器學(xué)習(xí)的分類
機(jī)器學(xué)習(xí)主要可以分為兩類：
- Supervised Learning
- Unsupervised Learning
暫將其翻譯為帶監(jiān)督的學(xué)習(xí)(Supervised Learning)和不帶監(jiān)督的學(xué)習(xí)(Unsupervised Learning)。所謂Supervised Learning即其數(shù)據(jù)集帶有<b>正確答案</b>诊杆，Unsupervised Learning與之相反。所謂正確答案何陆，我的理解即為包含了客觀事實(shí)或者人們的常規(guī)理解的結(jié)果晨汹。比如每平方米的房價(jià)和對圖片美丑的判斷數(shù)據(jù)。
2.1 Supervised Learning
Supervised Learning可大致被分為兩類：
- regression problem,即回歸問題
- classfication problem,即分類問題
回歸問題通常指輸出為連續(xù)型贷盲，將問題映射到一個連續(xù)函數(shù)的問題淘这，比如預(yù)測房價(jià)的走勢；分類問題通常指輸出為離散型巩剖，比如判斷一張圖片的美丑铝穷。個人感覺，僅以輸出為連續(xù)型或者離散型來判斷問題的種類可能會產(chǎn)生誤解佳魔，比如預(yù)測一件商品在下一季度將會賣出的個數(shù)曙聂，顯然輸出為離散型，但其并不是分類問題鞠鲜。分類問題的輸出具有互斥性宁脊，回歸問題的輸出為同一隨機(jī)變量的可能取值断国。強(qiáng)行解釋了一波，自以為解釋得并不是很好榆苞，其實(shí)對于是不是分類問題并思，直觀上是很容易判別的，如果不是分類問題即可歸為回歸問題语稠。
2.2 Unsupervised Learning
Unsupervised Learning可以解決那些我們不知道“正確答案”的問題宋彼。Unsupervised Learning同樣可以分為兩類：
- Clustering，聚類問題
- Non-clustering仙畦，非聚類問題
諸如输涕，根據(jù)消費(fèi)者的需求將消費(fèi)者分為幾類，即為聚類問題慨畸；將混疊的聲音分離出來即為非聚類問題莱坎。
3.Linear Regression with one variable
一元回歸問題可以簡要描述如下：
給定一組數(shù)據(jù){ x(i):i=1,2,3,...,m },{ y(i):i=1,2,3,...,m },稱x(i)為輸入變量，y(i)為輸出變量或者目標(biāo)變量寸士。( x(i),y(i) )稱為一個訓(xùn)練樣本檐什，{ (x(i),y(i)):i=1,2,3,...,m }稱為訓(xùn)練集。一元線性回歸的目的即為弱卡，得到一個假設(shè)函數(shù)(hypothesis function)h(x)=θ0+θ1x,使得成本函數(shù)(cost function)J(θ0,θ1)最小乃正。
其中cost function如下:
一元回歸的過程如下：
3.1 Gradient Decent
Gradient Decent即梯度下降法，類似于牛頓迭代法婶博，梯度下降算法如下：
如其名字所示瓮具，參數(shù)θ0,θ1沿著梯度下降，將cost function代入可得如下公式：
需要注意的是凡人，θ0,θ1需要同時(shí)更新名党，即需要先計(jì)算出θ0和θ1，然后同時(shí)更新θ0和θ1挠轴。
