如今深度學(xué)習(xí)領(lǐng)域有一個(gè)比較熱門的領(lǐng)域叫做：多模態(tài)沧奴。多模態(tài)這個(gè)詞整得比較玄學(xué)粤剧，但是其實(shí)主要思想就是將文本歇竟，圖像，語音等不同類型的數(shù)據(jù)抵恋，放到同一個(gè)特征空間去表示焕议，這樣的好處就是可以將不同類型數(shù)據(jù)打通，在一個(gè)任務(wù)上利用到更多更全面的數(shù)據(jù)弧关，來提升業(yè)務(wù)指標(biāo)的效果盅安。比如對(duì)搜索來說就可以通過多模態(tài)實(shí)現(xiàn)以文搜圖唤锉，最火的stable diffusion model 文本生成圖像也是多模態(tài)的一個(gè)場(chǎng)景。今天筆者就介紹一下目前比較火的一個(gè)多模態(tài)模型clip别瞭。
通過無監(jiān)督對(duì)比學(xué)習(xí)的預(yù)訓(xùn)練方式將文本數(shù)據(jù)和圖片數(shù)據(jù)表示到同一個(gè)特征空間腌紧，從而實(shí)現(xiàn)zero-shot 的圖像分類。
CLIP 模型
CLIP（Contrastive Language–Image Pre-training ）是由OpenAI開源的基于對(duì)比學(xué)習(xí)的大規(guī)模圖文預(yù)訓(xùn)練模型畜隶，其整個(gè)架構(gòu)如下圖（1）所示：
- 一個(gè)文本編碼器壁肋，文本編碼器可以是transformer。
- 一個(gè)圖像編碼器籽慢，圖像編碼器可以是resnet50或vision transformer（ViT）等
- 通過無監(jiān)督的對(duì)比學(xué)習(xí)預(yù)訓(xùn)練將文本和圖像聯(lián)系起來
下圖（2） （3）則是利用預(yù)訓(xùn)練好的模型進(jìn)行零樣本（zero shot)的文本分類
- 將所有l(wèi)abels的文本通過 文本編碼器進(jìn)行編碼
- 將要預(yù)測(cè)的圖像通過 圖像編碼器進(jìn)行編碼
- 在計(jì)算 圖像編碼 與 所有 labels 文本編碼的 內(nèi)積浸遗，取內(nèi)積最大的那個(gè)作為預(yù)測(cè)label。
其中特別值得注意的一點(diǎn)是箱亿，clip 預(yù)訓(xùn)練的方式采用的在batch 內(nèi)負(fù)采樣的方式進(jìn)行的對(duì)比學(xué)習(xí)跛锌，如下圖所示：一個(gè)batch內(nèi)，一個(gè)文本編碼届惋，只有與它對(duì)應(yīng)的圖像是正樣本髓帽，其他的圖像都是負(fù)樣本。目標(biāo)就是優(yōu)化這個(gè)矩陣脑豹，希望對(duì)角線的值越大越好郑藏，矩陣其他地方的值越小越好。
實(shí)戰(zhàn)部分
模型下載
筆者去huggface上搜索了一下clip瘩欺，看是否有中文的clip模型必盖，還真找到了一個(gè)
IDEA-CCNL的太乙多模態(tài)模型。它其實(shí)就是將openAI的圖像編碼器至今拿過來用俱饿，采用Roberta作為中文文本編碼器歌粥，在Clip預(yù)訓(xùn)練的數(shù)據(jù)的漢化版上進(jìn)行了進(jìn)一步的預(yù)訓(xùn)練。其中太乙102M的文本編碼器 對(duì)應(yīng)的是openAI的 VIT-patch32的圖像編碼器拍埠。筆者將下方兩個(gè)模型下載到本地失驶。
項(xiàng)目目錄結(jié)果如下圖，其中openai32 下面就是openai放出的圖像編碼器枣购，
clipChineseText 就是IDEA-CCNL的太乙文本模型編碼器嬉探。
具體代碼如下圖，先加載太乙文本編碼器坷虑，在加載openai的圖像編碼器甲馋。
from PIL import Image
import requests
# import clip
import torch
from transformers import BertForSequenceClassification, BertConfig, BertTokenizer
from transformers import CLIPProcessor, CLIPModel
import numpy as np
labels = ["貓", "狗",'豬', '虎'] # 這里是輸入文本的，可以隨意替換迄损。
# 加載Taiyi 中文 text encoder
text_tokenizer = BertTokenizer.from_pretrained("./clip")
text_encoder = BertForSequenceClassification.from_pretrained("./clip").eval()
text = text_tokenizer(labels, return_tensors='pt', padding=True)['input_ids']
# 加載CLIP的image encoder
clip_model = CLIPModel.from_pretrained("openai32/")
processor = CLIPProcessor.from_pretrained("openai32/")
加載完畢后定躏，就可以進(jìn)行無監(jiān)督的圖像分類預(yù)測(cè)了。過程和上方介紹的clip無監(jiān)督文本分類的步驟一摸一樣，先將labels = ["貓", "狗",'豬', '虎'] 用文本編碼器進(jìn)行編碼痊远，再將圖片進(jìn)行編碼垮抗，計(jì)算和目標(biāo)圖像編碼內(nèi)積最大的那個(gè)作為預(yù)測(cè)label。
def get_label(url):
image = processor(images=Image.open(url), return_tensors="pt")
with torch.no_grad():
image_features = clip_model.get_image_features(**image)
text_features = text_encoder(text).logits
# 歸一化
image_features = image_features / image_features.norm(dim=1, keepdim=True)
text_features = text_features / text_features.norm(dim=1, keepdim=True)
# 計(jì)算余弦相似度 logit_scale是尺度系數(shù)
logit_scale = clip_model.logit_scale.exp()
logits_per_image = logit_scale * image_features @ text_features.t()
probs = logits_per_image.softmax(dim=-1).cpu().numpy()
print(url+"的label是"+labels[np.argmax(probs)])
url = "./pig.jpg"
get_label(url)
url = "./tiger.jpg"
get_label(url)
在百度上下載了一種豬碧聪，一張虎的圖冒版，進(jìn)行測(cè)試。
完全正確逞姿，零樣本圖像分類就這樣完成了辞嗡，clip的威力確實(shí)很強(qiáng)大。
結(jié)語
clip 不僅可以完成零樣本圖像分類滞造，還可以完成以文搜圖等续室，其文本特征和圖像特征也可用于推薦的召回和排序階段≮搜總之多模態(tài)是一種趨勢(shì)挺狰，不同數(shù)據(jù)的融合勢(shì)必比單獨(dú)使用要強(qiáng)一點(diǎn)。
https://aistudio.baidu.com/aistudio/projectdetail/4458949
https://github.com/IDEA-CCNL/Fengshenbang-LM
