今天開始第一次寫學(xué)習(xí)方面的日記，并不是對(duì)過(guò)程的完整闡述糟秘，只是簡(jiǎn)單的總結(jié)简逮。
另外，該筆記是寫給我自己看的尿赚，內(nèi)容方面可能不太適合其他人散庶，希望多多包涵。
學(xué)習(xí)過(guò)程中吼畏，發(fā)現(xiàn)聽完了并不能很深刻地理解督赤，于是決定每一次的算法都自己手寫實(shí)現(xiàn)，以簡(jiǎn)單的例子上手泻蚊，進(jìn)而寫出比較復(fù)雜的公開課上給出的題目躲舌。
所謂機(jī)器學(xué)習(xí)？
以房?jī)r(jià)為例子：
輸入變量（特征）X：
給出面積性雄，臥室數(shù)量没卸，位置等等
輸出Y：
房?jī)r(jià)
以這些數(shù)據(jù)集為基礎(chǔ)，然后我們給出一條方程式來(lái)最大程度地?cái)M合這些數(shù)據(jù)集秒旋。
之后我們給一個(gè)輸入（面積约计，臥室數(shù)量等等），我們就可以通過(guò)上面的方程式直接給出輸出（房?jī)r(jià)）了迁筛。
這就有點(diǎn)【通過(guò)數(shù)據(jù)集給出功能函數(shù)煤蚌，之后就可以通過(guò)這條函數(shù)來(lái)預(yù)測(cè)任意輸入對(duì)應(yīng)的輸出】的味道了，哈哈细卧，是不是很激動(dòng)尉桩。
（TMD為什么不用最小二乘法呢？贪庙？后面才發(fā)現(xiàn)蜘犁，其實(shí)這只是其中一種算法，實(shí)際中可以采用的算法是多種多樣的止邮。最小二乘法當(dāng)然也可以啦）
幾個(gè)通用的符號(hào)：
-m =訓(xùn)練樣本數(shù)
-x =輸入變量（特征）
y =輸出變量（目標(biāo)變量）
-(x,y) –一個(gè)樣本
-Ith-第i個(gè)訓(xùn)練樣本=（x(i),y(i)）
-n=特征數(shù)目
實(shí)際運(yùn)用中會(huì)有很多的輸入變量这橙，上面的例子中用線性方程來(lái)擬合。
于是先假設(shè)了線性的方程导披，有幾個(gè)未知的參數(shù)屈扎，最終目標(biāo)就是求出最棒的參數(shù)來(lái)！
梯度下降
這是一個(gè)最優(yōu)化算法撩匕，目標(biāo)是為了找到使我們的訓(xùn)練集的方差最小的參數(shù)助隧。
梯度嘛，我們都懂，增加最快的方向并村。
這里用MATLAB求解Y=X^2的最小值為例子來(lái)加深理解巍实。
（目標(biāo)函數(shù)：Y=X^2 變量：X）
MATLAB代碼如下：
syms x;
y=x^2;
x=2;k=0;step=0.1;
ezplot(y,[-3,3,0,6]);
f_current=x^2;
f_change=1;%這個(gè)值是隨意的
fprintf('最開始f_current:%.5f\n',f_current);
fprintf('最開始f_change:%.5f\n',f_change);
hold on;
while abs(f_change)>0.0000001
f_current=x^2;%先計(jì)算當(dāng)前值
x=x-step*2*x;%然后把我們的x下降一下~
f_change=f_current-x^2;%再算一下改變的值
fprintf('第%d次改變后的x:%.10f 改變后的y:%.10f\n',k+1,x,x^2);
%把每一次下降都輸出在屏幕上
plot(x,x^2,'ro','markersize',5);
drawnow;%matlab在輸出多個(gè)plot時(shí)不會(huì)多次刷新，加入drawnow后就可以
pause(0.2);%延時(shí)0.2秒
k=k+1;
end
fprintf('此時(shí)相鄰兩個(gè)點(diǎn)的改變量為:%.10f',f_change);
hold off;
輸出結(jié)果圖：
所以哩牍，同理棚潦，對(duì)于我們的房?jī)r(jià)輸出方程也是一樣的，只是把Y=X^2換成方差函數(shù)而已膝昆。
這里由于數(shù)據(jù)集不足丸边，便于編寫代碼，所以我們只考慮了一個(gè)特征荚孵，樣本數(shù)量也只有6個(gè)妹窖。
不過(guò)沒有關(guān)系~因?yàn)槠鋵?shí)理解了最簡(jiǎn)單的，更復(fù)雜的也大同小異啦收叶。
MATLAB代碼如下：
A=[2104,400;1600,330;2400,369;1416,232;3000,540];%房?jī)r(jià)數(shù)據(jù)集的矩陣
syms x a b;
step=0.00000001;%step取0.00000001
V=0;
hold on;%讓屏幕不刷新
axis([1200,3200,200,550]);
for i=1:5 %for循環(huán)以輸出數(shù)據(jù)集
plot(A(i,1),A(i,2),'ro','markersize',7);
axis([1200,3200,0,550]);
fprintf('%d %d\n',A(i,1),A(i,2));
drawnow;%matlab在輸出多個(gè)plot時(shí)不會(huì)多次刷新骄呼，加入drawnow后就可以
pause(0.2);%延時(shí)0.2秒
end
for i=1:5%求得方差的表達(dá)式
V=V+(a+b*A(i,1)-A(i,2))^2;
end
V=0.5*V;
g=matlabFunction(V);%轉(zhuǎn)函數(shù)
dda=diff(V,a);%a的偏導(dǎo)數(shù)
ddb=diff(V,b);%b的偏導(dǎo)數(shù)
g_da=matlabFunction(dda);%將表達(dá)式轉(zhuǎn)化為函數(shù)
g_db=matlabFunction(ddb);%同上
a1=0;a2=0;
g_change=1;%這里定義的將是我們某一次下降的目標(biāo)函數(shù)變化量，初始化為1（其實(shí)這個(gè)數(shù)值無(wú)所謂判没，只要大于0.001就可以了）
g_current=g(0,0);
k=0;
while abs(g_change)>0.001
a1=a1-step*g_da(a1,a2);
a2=a2-step*g_db(a1,a2);
g_change=g_current-g(a1,a2);
g_current=g(a1,a2);
k=k+1;
fprintf('第%d次: %.5f\n',k,g(a1,a2));%輸出迭代的次數(shù)以及方差的數(shù)值蜓萄，便于理解
end
y=a1+a2*x;
ezplot(y,[1200,3200,0,550]);%輸出最終的直線
hold off;
輸出結(jié)果圖：
如果把每一次的直線輸出，就是這樣子的：
什么時(shí)候退出循環(huán)呢澄峰？當(dāng)某一次下降的幅度（函數(shù)值的差）足夠小的時(shí)候就可以了嫉沽。
（由上面的圖可以看到，在36次時(shí)退出了循環(huán)俏竞，因?yàn)樵摯蜗陆迪噜弮牲c(diǎn)對(duì)應(yīng)的方差值之差已經(jīng)很小啦~）
（這里其實(shí)有一個(gè)疑問(wèn)绸硕，其實(shí)本質(zhì)不就是求解函數(shù)的最小值嗎？為什么用這么麻煩的算法魂毁？求出所有的極值點(diǎn)玻佩，進(jìn)而求出最小值不就好了？...后面才發(fā)現(xiàn)漱牵，確實(shí)可以夺蛇，并且會(huì)給出完整的做法以及MATLAB程序）
隨機(jī)梯度下降
批梯度下降的缺點(diǎn)疚漆。酣胀。
當(dāng)我們的樣本數(shù)量太大了的時(shí)候，嗯娶聘，每一次求方差都需要求每一項(xiàng)的樣本與預(yù)測(cè)值的差闻镶，這個(gè)計(jì)算量是我們承載不了的。
同樣丸升，樣本數(shù)量和特征的數(shù)量都很大時(shí)铆农，計(jì)算量也會(huì)非常大。
所以呢需要新的算法：就是隨機(jī)梯度下降
每次計(jì)算不需要再遍歷所有數(shù)據(jù)，而是只需計(jì)算樣本i即可墩剖。
即批梯度下降中猴凹，走一步為考慮m個(gè)樣本；隨機(jī)梯度下降中岭皂，走一步只考慮1個(gè)樣本郊霎。
每次迭代復(fù)雜度為O(n)。當(dāng)m個(gè)樣本用完時(shí)爷绘，繼續(xù)循環(huán)到第1個(gè)樣本书劝。
增量梯度下降算法可以減少大訓(xùn)練集收斂的時(shí)間（比批量梯度下降快很多），但可能會(huì)不精確收斂于最小值而是接近最小值土至。
由于是第一次接觸機(jī)器學(xué)習(xí)购对，對(duì)什么都不熟悉，所以我把每一次的算法都自己實(shí)現(xiàn)一遍陶因，加深理解骡苞。
MATLAB代碼：
A=[2104,400;1600,330;2400,369;1416,232;3000,540];%房?jī)r(jià)數(shù)據(jù)集的矩陣
syms x a b x1 y1;
step=0.000000001;%step取0.00000001
hold on;%讓屏幕不刷新
axis([1200,3200,200,550]);
for i=1:5 %for循環(huán)以輸出數(shù)據(jù)集
plot(A(i,1),A(i,2),'ro','markersize',7);
axis([1200,3200,0,550]);
fprintf('%d %d\n',A(i,1),A(i,2));
drawnow;%matlab在輸出多個(gè)plot時(shí)不會(huì)多次刷新，加入drawnow后就可以
pause(0.2);%延時(shí)0.2秒
end
M=0;
for i=1:5%求得方差的表達(dá)式
M=M+(a+b*A(i,1)-A(i,2))^2;
end
M=0.5*M;%是方差的值
m=matlabFunction(M);%轉(zhuǎn)函數(shù)
V=0.5*(a+b*x1-y1)^2;%V是某一項(xiàng)的差值的平方
g=matlabFunction(V);%轉(zhuǎn)函數(shù)
dda=diff(V,a);%V對(duì)a的偏導(dǎo)數(shù)
ddb=diff(V,b);%V對(duì)b的偏導(dǎo)數(shù)
g_da=matlabFunction(dda);%將表達(dá)式轉(zhuǎn)化為函數(shù)
g_db=matlabFunction(ddb);%同上
a1=0;a2=0;
m_change=1;%這里定義的將是我們某一次下降的目標(biāo)函數(shù)（方差）變化量坑赡，初始化為1（其實(shí)這個(gè)數(shù)值無(wú)所謂烙如，只要大于0.001就可以了）
m_current=m(a1,a2);
k=0;
while 1
for i=1:5
c1=g_da(a1,a2,A(i,1),A(i,2));
c2=g_db(a1,a2,A(i,1),A(i,2));
a1=a1-step*c1;%下降a1
a2=a2-step*c2;%下降a2
m_change=abs(m_current-m(a1,a2));
m_current=m(a1,a2);
k=k+1;%記錄迭代的次數(shù)
fprintf('第%d次: %.5f\n',k,m(a1,a2));%輸出迭代的次數(shù)以及方差的數(shù)值，便于理解
y=a1+a2*x;
ezplot(y,[1200,3200,0,550]);%實(shí)時(shí)輸出圖像
drawnow;%加上drawnow之后每一次ezplot都實(shí)時(shí)顯示
if m_change<0.0001
break;
end
end
if m_change<0.0001
break;
end
end
hold off;
在運(yùn)行程序過(guò)程中毅否，發(fā)現(xiàn)step的設(shè)置非常重要亚铁，設(shè)置太大根本無(wú)法擬合到我們想要的無(wú)法范圍內(nèi)；設(shè)置太小則下降得太慢螟加。
而且在這個(gè)例子中徘溢，程序運(yùn)行了5分鐘才輸出最終的圖形，而采用批梯度下降算法一瞬間就可以給出圖形...
這是為什么呢捆探？因?yàn)殡S即梯度下降的優(yōu)點(diǎn)只有在數(shù)據(jù)集特別大的時(shí)候才能體現(xiàn)出來(lái)然爆，我們這里只有5個(gè)輸入...所以當(dāng)然下降得很慢。
另外黍图，我們這里用的是隨機(jī)梯度下降的最簡(jiǎn)單的形式曾雕，也就是每次只用一個(gè)輸入來(lái)考慮,所以這也是可能的原因之一。
正規(guī)方程組
這里略去推導(dǎo)證明的過(guò)程助被，其實(shí)思想就是我上面所說(shuō)的剖张，梯度為0時(shí)（梯度和我們一元函數(shù)的導(dǎo)數(shù)很類似，極值點(diǎn)就在導(dǎo)數(shù)為0的地方取到）就是極值點(diǎn)揩环，對(duì)于單變量的房?jī)r(jià)問(wèn)題來(lái)說(shuō)就是最小值點(diǎn)搔弄，所以可以由這一點(diǎn)求出theta(也就是我們線性函數(shù)的幾個(gè)參數(shù)值)。
由這個(gè)方程給出的theta值并不是逼近丰滑，而是精確的最小值顾犹。由此可見數(shù)學(xué)學(xué)好有多么重要（捂臉哭555），不然梯度下降算法寫的多好，人家只需要一條等式就搞定你了（233）炫刷。
這里同樣給出matlab實(shí)現(xiàn)：
A=[2104,400;1600,330;2400,369;1416,232;3000,540];
X=[1,2104;1,1600;1,2400;1,1416;1,3000];
Y=[400;330;369;232;540];
hold on;
for i=1:5 %for循環(huán)以輸出數(shù)據(jù)集
plot(A(i,1),A(i,2),'ro','markersize',7);
axis([1200,3200,0,550]);
fprintf('%d %d\n',A(i,1),A(i,2));
drawnow;%matlab在輸出多個(gè)plot時(shí)不會(huì)多次刷新擎宝，加入drawnow后就可以
pause(0.2);%延時(shí)0.2秒
end
t=inv(((X.')*X))*(X.')*Y; %其實(shí)重點(diǎn)就這一行而已....(求心里陰影面積)
syms x;
y=t(1,1)+t(2,1)*x;
ezplot(y,[1200,3200,0,550]);
hold off;
這里有趣的一點(diǎn)是，我們由正規(guī)方程組求出的方差最小值是3124.5浑玛，而之前梯度下降算法求出的方差值是3246.7认臊。由此可見在房?jī)r(jià)問(wèn)題上，正規(guī)方程組是全面優(yōu)于梯度下降算法的锄奢。
參考博客：http://blog.csdn.net/crcr/article/details/39481307
吳恩達(dá)老師的公開課網(wǎng)址：http://open.163.com/movie/2008/1/B/O/M6SGF6VB4_M6SGHJ9BO.html
