[機器學(xué)習(xí)入門] 李宏毅機器學(xué)習(xí)筆記-22（Transfer Learning part 2蜻懦；遷移學(xué)習(xí) part 2）
| VIDEO |
|---|
接part 1
第四象限
Target data unlabelled甜癞，Source Data labelled
Zero-shot learning
今天想要辨識草泥馬，但是source data中沒有一只草泥馬宛乃！
Representing each class by its attributes
通過特征表來進行分類悠咱，當(dāng)輸入一只草泥馬時;
Attribute embedding
x 是一張圖片蒸辆，通過函數(shù)（NN）f()，可以投影到embedding space成為一個向量f（x）析既；
y 是特征表里的一行特征向量躬贡，通過函數(shù)（NN）g（()，降維到embedding space成為向量g(y);
然后使f(x123)眼坏，g(y123)上越接近越好拂玻，當(dāng)我們輸入一張不知道的圖片比如草泥馬，通過比較f(草泥馬)與哪個g(y)比較接近空骚，得到它的類別。但是會有一個問題擂仍，當(dāng)我們并不知道特征表時囤屹，怎么解決呢，那么就需要用Attribute embedding + word embedding逢渔。我們知道word embedding 中的每一維度肋坚，其實就代表了一個特征，所以就不需要一個database來告訴每種動物的特征是啥肃廓。
回到剛剛在embedding space 上的距離比較智厌，通過這個公式比較可以嗎？
答案是不可以的盲赊，很明顯铣鹏，為了使結(jié)果更接近，全部投影到一個點上顯然可以哀蘑，但明顯不合適诚卸。所以loss function這樣定義是不行的。
上述公式只考慮了同一組x绘迁，y越接近越好合溺，但沒有考慮到，不同組的x缀台，y距離要拉大棠赛。 所以要改成：
其實還有一個Zero-shot 的方法叫做Convex Combination of Semantic Embedding。
其實就是取NN得出的分類的概率中點膛腐，然后word vector 與該中點比較睛约。
Example of Zero-shot Learning
比如 本來只有中英、日法翻譯哲身，通過transfer痰腮，學(xué)會了中法翻譯。
第二象限
Target data labelled律罢，Source Data unlabelled
Self-taught learning
第三象限
Target data unlabelled膀值，Source Data unlabelled
