學(xué)自吳恩達(dá)的深度學(xué)習(xí)課程
機(jī)器學(xué)習(xí)性能
- 開始會(huì)上升很快裹赴，但當(dāng)超過人類的表現(xiàn)的時(shí)候缝其，速度開始變的平緩
- 性能會(huì)有一個(gè)理論上界，就是 Bayes optimal error ,不可能被超越
當(dāng)機(jī)器的性能比人類差的時(shí)候，可以：
- 從人類獲取更多的標(biāo)記數(shù)據(jù)
- 人工誤差分析凤巨，了解為什么人類能夠做對(duì)，機(jī)器就不能
- 更好的分析偏差和方差
端到端的深度學(xué)習(xí)
- 用單個(gè)神經(jīng)網(wǎng)絡(luò)代替多個(gè)學(xué)習(xí)階段
- 語音識(shí)別 --- 提取特征 --- 單詞元音 --- 單詞 --- 文本
深度學(xué)習(xí)end to end 直接從 input 到 output , 即從audio 到 text - 有一個(gè)前提医窿，數(shù)據(jù)要足夠多磅甩，不然舊的系統(tǒng)獲取表現(xiàn)的更好
- 有時(shí)分成多步可能更好，比如 人臉識(shí)別姥卢， 先識(shí)別出人臉的位置卷要，再識(shí)別出人臉的身份。（分出的兩個(gè)任務(wù)都有足夠的訓(xùn)練數(shù)據(jù)）
- 對(duì)于無人駕駛來說独榴，單純的end to end 是不足以去學(xué)習(xí)到比較好的效果的僧叉，多階段的方式或許是更好的選擇。
Pros：
- 讓數(shù)據(jù)直接說話棺榔，沒有人類的干預(yù)
- 更少的人工設(shè)計(jì)
Cons：
- 需要大量的數(shù)據(jù)
- 排除了可能有用的手工設(shè)計(jì)組件（手工的就是直接將知識(shí)注入學(xué)習(xí)系統(tǒng)當(dāng)中 ）
Choice：
- 關(guān)鍵的問題：是否有足夠的數(shù)據(jù)去學(xué)習(xí)從x 到 y 的end to end 的映射瓶堕。
多任務(wù)學(xué)習(xí)
- 一個(gè)網(wǎng)絡(luò)進(jìn)行多個(gè)任務(wù)
- 相比較之下，遷移學(xué)習(xí)的使用更多症歇，都是因?yàn)閿?shù)據(jù)量不夠郎笆，需要的其他的任務(wù)學(xué)到的知識(shí)作為補(bǔ)充。
- 訓(xùn)練時(shí)忘晤，不管數(shù)據(jù)的標(biāo)簽是否完整宛蚓，都可以進(jìn)行訓(xùn)練
什么時(shí)候有意義：
- 一系列的任務(wù)能夠共享一些低層次的特征
- 每一個(gè)任務(wù)的數(shù)據(jù)量很接近，如果要專注于多個(gè)人任務(wù)中的一個(gè)任務(wù)時(shí)设塔，其他的任務(wù)加起來的數(shù)據(jù)量要必須大的多凄吏，才能對(duì)單個(gè)任務(wù)提供有用的知識(shí)。（類似于遷移學(xué)習(xí)）
- 可以訓(xùn)練一個(gè)足夠大的神經(jīng)網(wǎng)絡(luò)來同時(shí)在所有任務(wù)上取得好的表現(xiàn)
- 多任務(wù)學(xué)習(xí)會(huì)降低性能的唯一情況是：神經(jīng)網(wǎng)絡(luò)還不夠大？痕钢？图柏？，如果足夠大的神經(jīng)網(wǎng)絡(luò)任连，性能很少會(huì)比單任務(wù)神經(jīng)網(wǎng)絡(luò)低
