導(dǎo)論
在本文中，我總結(jié)了與automatically learn unsupervised latent attribute 相關(guān)的論文
強(qiáng)相關(guān)論文
- 【1】 ICCV 2019 Towards Latent Attribute Discovery From Triplet Similarities
感覺這篇文章和我們的想法非常相像睁宰。
文章創(chuàng)新點(diǎn)：
- 使用triplet loss to learn latent attributes
- 使用 multi-choice learning 來選擇性更新不同attribute分類器黎烈，即每一個(gè)triplet只選擇loss最小的那個(gè)attribute分類器進(jìn)行梯度更新厘托。
文章弱點(diǎn)：
這篇文章其實(shí)使用了attribute supervision去構(gòu)建triplet pair
【2】ICML2015 Multiview Triplet Embedding: Learning Attributes in Multiple Maps
這篇文章被上一篇引用【3】CVPR2013 Designing Category-Level Attributes for Discriminative Visual Recognition
這篇文章和Harvesting Mid-level Visual Concepts from Large-scale Internet Images非常像，感覺就是我們想找的東西。而且這篇文章寫得很清楚癌压。
文章目的：設(shè)計(jì)一個(gè)category-attribute matrx A, 里面包含每一個(gè)類別的attribute值蛹批。再學(xué)習(xí)一系列attribute classifiers, 能夠根據(jù)每一個(gè)image feature預(yù)測(cè)attribute值撰洗。
Designing discriminative category-level attributes is to find a category-attribute matrix A, as well as the attribute classifiers f(·) to minimize the multi-class classification error.
要求學(xué)習(xí)到的category-attribute matrix有類別可分性，以及可學(xué)習(xí)性腐芍。
文章創(chuàng)新點(diǎn)：
我覺得最大的創(chuàng)新點(diǎn)是怎么做ZSL：
即使我們?cè)趕een classes里面學(xué)到了category-attribute matrix , where
and
represent the class index and the attribute index respectively.
但是對(duì)于ZSL來說我們依然需要定義 unseen 類別的category-attribute matrix , where
and
represent the class index and the attribute index respectively.
作者提出一種方法讓人類來幫忙差导，即給定 unseen and
seen classes, 定義一個(gè)binary similarity matrix
, then
.
而這一點(diǎn)我們可以用Wordnet或者Word2vec來實(shí)現(xiàn)。
文章用處：
我覺得比較promising的一點(diǎn)是猪勇，作者說他們的attribute比用人類標(biāo)注的attribute進(jìn)行ZSL效果要好设褐。但前提是他們的對(duì)比對(duì)象是DAP（古早ZSLmodel）。
-【4】CVPR2016 Unsupervised Learning of Discriminative Attributes and Visual Representations
文章目的：
文章創(chuàng)新點(diǎn)：1. 用的是CNNfeature泣刹。助析。。（曾幾何時(shí)這也算創(chuàng)新點(diǎn)了）
- 這篇文章沒有用class label椅您，屬于完全的unsupervised外冀。他們的類別信息來自數(shù)據(jù)的聚類。我們的方法應(yīng)該和這個(gè)不一樣襟沮，我們想使用class label锥惋。
- 作者認(rèn)為attribute在discriminative和predictable之間有一個(gè)trade-off.
方法步驟： - unsupervised clustering and representation learning
- binary hashing the attributes and finetune the feature representation
文章用處: 1. 這段statement 我覺得比較合理：Besides costing substantial human effort, the major drawback of these methods (supervised attribute learning) is that they cannot guarantee the manually defined attributes are sufficiently predictable or discriminative in the feature space.
- 文章提及了一些相關(guān)文獻(xiàn)昌腰，包括兩篇使用class label的attribute discovery methods
- 缺點(diǎn)：這個(gè)文章并沒有用后續(xù)的attribute做事情
- 【5】CVPR2016 Recovering the Missing Link: Predicting Class-Attribute Associations for Unsupervised Zero-Shot Learning
這篇文章和【3】配合使用，感覺就解決了我們想要的問題
文章目的：做unsupervised ZSL. 即給定seen classes image和他們的attribute annotation膀跌，我們不需要unseen classes的attribute遭商，而是根據(jù)class name 之間的聯(lián)系，學(xué)習(xí)unseen class可能的attribute分布捅伤。We present an end-to-end approach to automatically predict class-attribute associations and use them for zero-shot
classification.
文章創(chuàng)新點(diǎn)：
- 為了學(xué)習(xí)class和attribute之間的relation mapping matrix劫流，將class name 和 attribute name都映射成d維的向量（word2vec)。
-
通過seen class里面的class和attribute之間的連接丛忆，學(xué)習(xí)一個(gè)relation matrix, 從而能夠?qū)nseen class映射成binary的attribute祠汇。
Screenshot 2020-09-13 at 18.10.24.png - 訓(xùn)練過程中需要建立possitive和negative 的class-attribute pair
文章用處：
- 這種方法可以用有attribute的那些dataset去測(cè)試是不是能夠很好地將attribute的關(guān)系學(xué)到。作者用AwA測(cè)試了一下
- 作者和幾種簡(jiǎn)單的利用word2vec之間的歐氏距離進(jìn)行attribute prediction的方法做了比較熄诡，結(jié)果是作者的方法比較好
- 作者證明了這種方法可以用來進(jìn)行數(shù)據(jù)集之間的transfer learning可很，比如利用AwA數(shù)據(jù)集做訓(xùn)練，然后利用aYaP數(shù)據(jù)集做測(cè)試凰浮。
中等相關(guān)論文
- [image]Attribute annotation on large-scale image database by active knowledge transfer
這篇文章和王九牛的想法是一樣的我抠，通過一些已經(jīng)標(biāo)注的小數(shù)據(jù)集的學(xué)習(xí)（其實(shí)作者這里是對(duì)小部分imagenet數(shù)據(jù)進(jìn)行了標(biāo)注），他們標(biāo)注的attribute名稱來自李飛飛組的論文attribute learning in large-scale datasets袜茧。 - [CVPR2013] Harvesting Mid-level Visual Concepts from Large-scale Internet Images
這篇論文將每一張圖片segment成a bag of image patches, 然后對(duì)每一類的concept進(jìn)行聚類菜拓，得到相關(guān)于這一concept的patch。concept其實(shí)是某一類的類別名稱笛厦。作者使用的方法是建立positive和negative的bag纳鼎，然后用SVM學(xué)習(xí)一個(gè)分類的hyperplane. The purpose of creating the large negative bag is to model the visual world, making the visual
concepts learned for a word discriminant enough from the
other words. For example, for words such as “horse” and
“cow”, using a large negative bag ???, the common backgrounds such as the grassland and the sky can be filtered.
對(duì)于一種concept，作者不僅僅學(xué)習(xí)了一種表示裳凸，而是學(xué)習(xí)多種表示贱鄙，如下圖對(duì)于建筑物有多種表現(xiàn)形式
- [ECCV 2012] Attribute Discovery via Predictable Discriminative Binary Codes(http://www.cs.umd.edu/~mrastega/Site/Publications_files/dbc.pdf)
文章目的：image classification
文章創(chuàng)新點(diǎn)：將image feature學(xué)習(xí)成binary code，每一維度代表一種latent attribute登舞。作者用contrastive loss來訓(xùn)練這個(gè)mapping過程贰逾。map 好了以后用binary code進(jìn)行分類任務(wù)
文章用處：這種學(xué)習(xí)類似于一種latent attribute的discovery
作者展示了一些學(xué)到的attribute的possitive example
[AAAI2017] Learning Attributes from the Crowdsourced Relative Labels
這篇文章是利用人類AMT來標(biāo)注attribute悬荣。通過對(duì)比的方法：獅子和老虎最顯著的區(qū)別是什么菠秒？ECCVworkshop 2012 Unsupervised Learning of Discriminative
Relative Visual Attributes
弱相關(guān)attribute論文
[CVPR2012] Multi-Attribute Spaces: Calibration for Attribute Fusion and Similarity Search
文章目的：通過attribute search image
文章創(chuàng)新點(diǎn)：不同的attribute value代表的強(qiáng)度是不一樣的。作者提出了一種對(duì)attribute value進(jìn)行noralize的方法氯迂。
文章用處：我覺得這個(gè)東西和ZSL里面對(duì)于attribute label的正則化有關(guān)系〖現(xiàn)在的ZSL直接將attribute進(jìn)行了L2 nomalization，不知道用這種方法對(duì)于不同的attribute進(jìn)行不同的正則化是不是更好嚼蚀。
感覺那些學(xué)習(xí)attribute attention的方法和這個(gè)解決的問題可能是一樣的禁灼。
zero-shot 論文
Devi Parikh
CVPR2011 Interactively Building a Discriminative Vocabulary of Nameable Attributes
Paper from Devi. The paper has human-in-the-loop.ICCV 2011 Relative Attributes
attribute的學(xué)習(xí)是有監(jiān)督的。CVPR2013 Simultaneous Active Learning of Classifiers & Attributes via Relative Feedback
是一種模型的active學(xué)習(xí)轿曙，每一個(gè)iteration被模型錯(cuò)分的圖片都會(huì)被supervisor看到并給出attribute的解釋弄捕，比如this image is too open to be a forest. 這樣可以隨時(shí)學(xué)習(xí)attribute和image classifier僻孝，并幫助image classifier的學(xué)習(xí)CVPR 2013 Multi-attribute Queries: To Merge or Not to Merge?
在用attribute進(jìn)行的image retrieval中，有一些attribute因?yàn)樽约旱膙isual 特性非常多樣守谓，所以不應(yīng)該單獨(dú)訓(xùn)練一個(gè)attribute classifier穿铆，而應(yīng)該和其他attribute mergeICCV 2013 Spoken Attributes: Mixing Binary and Relative Attributes to Say the Right Thing
額，挺無聊的我感覺斋荞。是說基于attributes的image captionICCV 2013 Attribute Dominance: What Pops Out? [Attribute Dominance: What Pops Out?]
作者認(rèn)為荞雏，attribute之間不是等價(jià)的。對(duì)于不同類他們有不同的重要性平酿，i.e. 條紋對(duì)于斑馬重要等等
作者用AMT標(biāo)注了每一類圖像的attribute的重要程度凤优，然后訓(xùn)練一個(gè)重要程度分類器。然后用這個(gè)重要程度去加權(quán)ZSL里面的attribute classifier蜈彼。
當(dāng)然筑辨，在標(biāo)注test class的attribute的時(shí)候，也已經(jīng)有了這些attribute對(duì)于這一類image的重要性排序幸逆。
our approach not only verifies how well its appearance
matches the specified attributes presence/absence, but also
verifies how well the predicted ordering of attributes according to their dominance matches the order of attributes
used by the supervisor when describing the test category挖垛。-
Devi 在 CVPR2013 的一個(gè)tutorial Attributes
什么是attribute
什么是attribute
