-
一般的非線性變換學習流程铣减。從空間X變換到空間Z鸣奔；在空間Z進行學習； 若有必要舞箍， 可將空間Z的boundary變換回到空間X。
nonlinear -
Error measure. (應(yīng)該就是train皆疹、valid）我們?nèi)绾伪ＷC選擇到的h≈f呢疏橄？事實上， 我們并不知道具體的f長什么樣子略就， 但首先可以定義e是如何計算的捎迫。 于是， 之前的P(X)有兩個功能表牢， 一個是輔助產(chǎn)生樣本窄绒， 另外一個是驗證 g(x)=f(x)。
error
diagram
-
如何選擇error measure呢崔兴？這個需要根據(jù)真實場景彰导。lecture中從指紋識別引申處了兩個例子。 對于安全部門來說敲茄，寧可殺錯一百位谋， 也不能放過一個， 因此false accept是絕對不允許的堰燎， 可以賦予很大的權(quán)重掏父，如false accept: false reject = 1000:10。對于超市來說秆剪， 如果用指紋來識別用戶是否有優(yōu)惠權(quán)限赊淑， 這種情況下如果用戶是需要被接受的但是識別出錯的話后果是比較嚴重的， 可能就失去用戶了仅讽， 所以陶缺， false reject 應(yīng)該收到更大的懲罰。
measure -
Noise洁灵。在實際場景中是可能存在噪聲的饱岸， 如銀行發(fā)行銀行卡， 有可能針對兩個相同的用戶，系統(tǒng)卻會給出不同的評估伶贰。所以蛛砰， 我們用target distribution取代target function來模擬這種情況罐栈， 即是否接受是服從概率分布的黍衙。我們的樣本也就可以認為是P(x)抽樣產(chǎn)生x， 而P(y|x)指定它的target值荠诬，構(gòu)成了樣本(x, y)琅翻。那么，可以認為確定的target值就是P(y|x)的期望值柑贞， 而到了具體的例子方椎， 又還要加上一定的噪聲即y = f(x) + (y - f(x))。 如果沒有噪聲钧嘶， y - f(x) = 0, y = f(x)棠众。至此，完整的diagram構(gòu)成了有决。
noise
final diagram -
異同闸拿。相同點在于都是通過概率去傳達x和y的表示來構(gòu)成樣本對(x, y)， 它們具體的分布都是未知的并且我們并不需要知道书幕。差異點在于我們嘗試學習P(y|x)新荤， 而P(x)只有產(chǎn)生樣本的作用。
relationship -
在一個學習過程中台汇， 我們需要回答這兩個問題: E_in(g)與E_out(g) 一致苛骨， 這個保證了in sample樣本是能代表out of sample樣本的(lecture 2的hoeffding 定理保證)。 E_out(g) 越小越好苟呐， 這個保證了模型是有學習到的痒芝。
learning
problem
theory
