第一課
supervised learning(有標(biāo)準(zhǔn)答案)
regression problem 回歸問(wèn)題
classification problem
learning theory
unsupervised learning(發(fā)現(xiàn)數(shù)據(jù)中的特殊結(jié)構(gòu))
reinforcement learning
第二課
linear regression
gradient descent
--batch gradient decent(訓(xùn)練數(shù)據(jù)很多時(shí)，參數(shù)更新太慢)
--stochastic gradient decent(or incremental gradient descent)但是并非全局最小值手形，與上述相比僅僅是近似悯恍。
(之間的區(qū)別，有待插入公式)
normal equations
--最小二乘法
第三課
linear regression
parametic learning algorithm
non-prarmetic learning algorithm
--locally weighted regression（loess）給出其中一種形式 w(i)=exp(-[x(i)-x]^2/（2*tow^2）)距離x越近權(quán)重越大瞬欧，越遠(yuǎn)權(quán)重越小
--tow denotes bandwidth parameter控制權(quán)值隨距離下降速率（雖然形式上很像高斯分布罢防，但與高斯分布無(wú)關(guān)）
--局部權(quán)重回歸 是一種非參數(shù)學(xué)習(xí)算法 如果有很大的訓(xùn)練集每次計(jì)算會(huì)有很大的代價(jià)，為提升效率可以參考KD-tree算法咒吐。
logistic regression （probabilistic interpretation）?
--probabilistic interpretation 最大似然法 與 最小二乘法 等價(jià)
--分類(lèi)問(wèn)題學(xué)習(xí)算法 signoid/logistic function函數(shù)g(z)=1/[1+exp(-z)]
--學(xué)習(xí)算法中，z=transform(theta)*x
-digression: perception 感知器
-newton's method
第四課
logistic regression
--Newton's method
--迭代取極值候生，收斂速度快
exponential family
--伯努利分布绽昼、高斯分布、泊松分布（天生適合計(jì)數(shù)類(lèi)的模型）
generalized linear models(GLMs)
--三個(gè)條件
--softmax回歸 用于處理分多個(gè)類(lèi)的問(wèn)題
第五課
未完待續(xù)
