可以了解一下zero shot learning（無樣本學(xué)習(xí)肄扎？）是什么
應(yīng)用
- 視頻演講到語音的轉(zhuǎn)化（麥格克效應(yīng)）
- 多媒體信息的索引與復(fù)原（視頻總結(jié)等）
- 心情識別
- 媒體描述（根據(jù)圖片生成文字凄贩、可視化問答）
常用算法
- 受限玻爾茲曼機(jī)
- 循環(huán)神經(jīng)網(wǎng)絡(luò)
- 深度神經(jīng)網(wǎng)絡(luò)
多媒體表達(dá)
使用來自多種實(shí)體的信息來表達(dá)數(shù)據(jù)凭需。
人工設(shè)計(jì)-》數(shù)據(jù)驅(qū)動(dòng)（神經(jīng)網(wǎng)絡(luò)模型）
- 聯(lián)合表達(dá) f(x1,x2,...,xn)：將不同模態(tài)的特征映射到同一個(gè)特征空間中
- 概率圖模型：深度玻爾茲曼機(jī)绑嘹，深度信念網(wǎng)絡(luò)
- 神經(jīng)網(wǎng)絡(luò)：
- 序列模型：RNN唧席、LSTM
- 合作表達(dá)f(x1)~g(x2)：分別使用不同特征進(jìn)行訓(xùn)練钾军，然后綜合考慮不同特征的結(jié)果。
- 相似距離
- canonical correlation analysis（CCA）
轉(zhuǎn)換（Translate）
image.png
- 基于例子的方法（實(shí)質(zhì)是字典窗怒，類似kNN）
- 基于檢索的模型
- 混合模型 - 基于模型（通用的）的方法
- 基于語法的
- 基于編碼器的
- 基于持續(xù)生成的（適用于時(shí)間序列）
關(guān)聯(lián)（ALIGNMENT）
尋找來自不同模態(tài)的成分的相關(guān)性映跟。
顯示關(guān)聯(lián)：（弱）監(jiān)督算法、無監(jiān)督算法
隱式關(guān)聯(lián)：圖模型扬虚、神經(jīng)網(wǎng)絡(luò)
融合（Fusion）
image.png
