需要原文的私信或者郵件ynu_zhanghao@163.com矫夷，不對(duì)之處望請(qǐng)指正翅阵！
其博士論文在這兒
在此之前我覺得看看這個(gè)還是比較不錯(cuò)的

Image Emotion Computing

==================================================================

摘要

???????圖像能夠傳達(dá)豐富的語(yǔ)義信息惠勒，而且能夠使觀眾產(chǎn)生強(qiáng)烈的情感。我的主要從兩方面來(lái)預(yù)測(cè)圖像情感：語(yǔ)義鴻溝和情感差異(affective gap and subjective evaluation)吝沫。為彌合語(yǔ)義鴻溝呻澜，我們用藝術(shù)上的原則來(lái)獲取情感特征從而識(shí)別圖像的主要情感。由于每個(gè)人對(duì)于圖像包含的情感認(rèn)識(shí)都是高度主觀和不同的惨险，我們?yōu)椴煌挠脩籼岢隽艘杂脩魹橹行牡膫€(gè)性化情感感知和以圖像為中心的每個(gè)圖像情感概率分布的預(yù)測(cè)羹幸。為解決主觀評(píng)價(jià)的問題，我們從Flickr上下載建立了一個(gè)大型數(shù)據(jù)集Image-EmotionSocial-Net 辫愉，在維度情感分類上有著超過1百萬(wàn)圖片和8000的用戶量栅受。不同類型的因素都會(huì)影響圖像情感的認(rèn)知，包括視覺內(nèi)容恭朗、社會(huì)背景屏镊、時(shí)間推移和位置影響等。我們?cè)噲D通過提出的滾動(dòng)多任務(wù)超圖學(xué)習(xí)( rolling multi-task hypergraph learning)將它們聯(lián)系起來(lái)痰腮，通過共享稀疏學(xué)習(xí)(shared sparse learning)對(duì)離散和連續(xù)的情感分布進(jìn)行建模而芥，還設(shè)計(jì)實(shí)現(xiàn)了幾個(gè)基于圖像情感的應(yīng)用。
Keywords：Image emotion; principles-of-art; personalized perceptions; emotion distribution; hypergraph learning; sparse learning
關(guān)鍵詞：圖像情感;藝術(shù)原則;個(gè)性化感知;情感分布;超圖學(xué)習(xí);稀疏學(xué)習(xí);

1. 引言

???????多媒體內(nèi)容爆炸式的增長(zhǎng)膀值，這對(duì)圖像和視頻的處理和理解提出了更高的要求棍丐。相較于低層級(jí)的視覺特征，人們的認(rèn)知水平和情感水平只能高層次的語(yǔ)義上感知和理解圖像沧踏、視頻[9]歌逢。以往關(guān)于圖像內(nèi)容分析的研究主要集中在理解圖像的認(rèn)知方面，即描述實(shí)際內(nèi)容翘狱，如目標(biāo)檢測(cè)和識(shí)別秘案。 然而隨著公眾對(duì)數(shù)字?jǐn)z影技術(shù)的使用量加劇，對(duì)于圖像情感表達(dá)的要求越來(lái)越高，在最高語(yǔ)義層次（即情感層面）對(duì)圖像內(nèi)容的分析就顯得越來(lái)越迫切踏烙。

???????我的博士論文主要研究在情感層面上圖像內(nèi)容分析师骗，簡(jiǎn)稱圖像情感計(jì)算(Image Emotion Computing, IEC)，旨在理解用戶在觀看圖像后的情感反應(yīng)讨惩。情感一般表現(xiàn)為兩種典型模式：離散情感狀態(tài)( categorical emotion states, CES, 范疇觀)和維度情感空間(dimensional emotion space, DES, 維度觀)[35]。 因此寒屯，傳統(tǒng)方法在IEC上執(zhí)行的三個(gè)不同的任務(wù)：情感圖像分類[32, 16, 14荐捻，11, 15, 1，35, 2]寡夹，回歸[15, 35]和檢索[26, 43]处面。 情感圖像分類和回歸嘗試為給定的圖像分配一個(gè)預(yù)定義的情感類別和圖像的平均維數(shù)，而情感圖像檢索的目的則是對(duì)給定的圖像檢索出相似的情感圖像菩掏。就上述三項(xiàng)任務(wù)魂角，目前大多數(shù)方法都是以圖像為中心( image-centric)的。

???????IEC(image emotion computing)的發(fā)展主要局限于兩方面的挑戰(zhàn)：第一個(gè)就是語(yǔ)義鴻溝(affective gap)迹恐，它可以定義為 “可測(cè)量的信號(hào)屬性(通常指特征)與用戶通過感知信號(hào)呈現(xiàn)出預(yù)期的情感狀態(tài)之間的不一致”挣惰；其次就是圖像情感感知和評(píng)價(jià)的主觀性，可以認(rèn)為是 “受文化背景殴边、教育地位和社會(huì)背景的影響憎茂，不同的觀眾在一幅圖像中產(chǎn)生的情感是高度主觀的和不同的”[12]。

???????在博士研究階段锤岸，我們研究了IEC的上述挑戰(zhàn)竖幔，并且試圖回答如下問題：(1). 與廣泛使用的低層次的特征相比，我們能夠找到一些更易于解釋能耻、與感情有著更強(qiáng)聯(lián)系的高層次特征嗎赏枚？(2). 觀眾的情感是主觀的、不同的嗎晓猛？如果是饿幅，那么我們?nèi)绾翁幚硪杂脩魹橹行牡那楦蓄A(yù)測(cè)？ (3). 對(duì)于以圖像為中心的情感計(jì)算戒职，我們可以預(yù)測(cè)情感分布而不是情感類別或者維度值嗎栗恩？

2. 技術(shù)發(fā)展水平

???????Traditional IEC.現(xiàn)有的研究主要集中于尋找能夠表達(dá)情感的特征從而能夠更好的彌合語(yǔ)義鴻溝。文獻(xiàn)[32]中提取的用于圖像情感分類的整體特征包括Wiccest特征和Gabor特征洪燥。Machajdik等人[16]從心理學(xué)和藝術(shù)理論中提取特征磕秤，如顏色乳乌、紋理和構(gòu)圖。Lu等人[15]通過形狀特征研究了情感的可計(jì)算性市咆。Solli 和Lenz[22]用情感直方圖特征和由興趣點(diǎn)周圍的塊導(dǎo)出的bag-of-emotion特征進(jìn)行情感分類汉操。Yuan等人[33]利用中層的場(chǎng)景屬性進(jìn)行二值情感分類。訓(xùn)練用的數(shù)據(jù)集通常是小規(guī)模的蒙兰，如IAPS[13, 18]磷瘤，Abstract[16], ArtPhoto[16] 以及 GAPED[4]。
???????大部分用的模型也是基于機(jī)器學(xué)習(xí)的方法搜变，樸素貝葉斯[16]采缚，SVM[15]和稀疏學(xué)習(xí)[14]用于情感圖像分類。SVR被用做情感圖像回歸[15]和檢索[26]模型挠他。

???????Social media based IEC.相比于傳統(tǒng)的IEC扳抽，基于社交媒體的IEC可以提供大量數(shù)據(jù)和社會(huì)特征[5,34]，它們可以用于模擬解決主觀評(píng)測(cè)的問題殖侵。Jia等人[11]通過因子圖學(xué)習(xí)(factor graph learning)進(jìn)行建模贸呢，簡(jiǎn)單的使用了上傳圖像的時(shí)間和圖像所有者的ID作為社會(huì)特征用于情感圖像分類，文獻(xiàn)[1, 2]在不使用社交特征(類似于[21])的情況下愉耙，提出基于社交媒體數(shù)據(jù)的視覺情感本體論和檢測(cè)器來(lái)檢測(cè)高級(jí)形容詞名詞對(duì)贮尉。不同用戶間的社交關(guān)系在[23,28,30,29]中已經(jīng)闡明，文獻(xiàn) [23,30]使用了這種社交關(guān)系來(lái)模擬一個(gè)用戶的情緒對(duì)另一個(gè)用戶情緒的影響朴沿，文獻(xiàn)[29]利用社會(huì)因素與視覺和文本的結(jié)合來(lái)發(fā)現(xiàn)社會(huì)事件的代表性圖像猜谚，Yang等人[28]通過混合圖學(xué)習(xí)(hybrid graph learning)的社會(huì)因素來(lái)預(yù)測(cè)個(gè)人情感，但僅簡(jiǎn)單對(duì)中國(guó)微博的情感分了類赌渣，并未考慮情感的時(shí)間因素魏铅。
???????從情感表示模型的觀點(diǎn)而言，上述 IEC 的工作均是基于 CES 或者 DES 的坚芜。三維價(jià)值激勵(lì)優(yōu)勢(shì)（3-D valence-arousal-dominance space览芳，VAD space）空間[13]，二維價(jià)值激勵(lì)空間（2-D valence-arousal space鸿竖，VA space）[15]沧竟，以及三維活動(dòng)熱重因子（3-D activity-weight-heat factors）[22]被用做DES模型，而其余工作認(rèn)為情感包括二進(jìn)制情緒只是少數(shù)基本的類別缚忧。
???????情感內(nèi)容分析也被廣泛用于文本[17]悟泵、演講[17]、音樂[31]和視頻的研究[41,40,39,25]闪水。

3. 研究綜述

???????這篇博士論文打算研究IEC的不同方面糕非，研究的概況如圖2所示。類似于[9]，圖像情感分為預(yù)期的情感和實(shí)際（個(gè)性化）的情感朽肥， As expected emotions are difficult to obtain in practice, dominant emotions are used as alternatives.正如預(yù)期的那樣情緒在實(shí)踐中很難獲得禁筏，主導(dǎo)情緒被用作替代品。

???????對(duì)于以圖像為中心的情緒(image-centric dominant emotions)衡招，主要的挑戰(zhàn)是語(yǔ)義鴻溝篱昔。情感分類獲取的低層特征大多是基于藝術(shù)元素的(elements-of-art, EAFF)，這些元素是一個(gè)藝術(shù)家創(chuàng)作藝術(shù)品的構(gòu)件或配料始腾，包括顏色紋理等旱爆。然而EAFF與感情之間的聯(lián)系是很微弱的，而且人們無(wú)法直接解釋EAFF[10,16]窘茁。對(duì)于第一個(gè)問題，我們提出基于藝術(shù)原理（principles-of-art, PAEF）提取情感特征來(lái)識(shí)別以圖像為中心的主導(dǎo)情緒（4.1節(jié)）脆烟。
???????對(duì)于個(gè)性化的情緒( personalized emotions)山林，主要的挑戰(zhàn)是情感感知的主觀性。除[12,20]外邢羔，我們通過大量的研究表明驼抹，不同觀眾的情緒是主觀不同的，如圖1 (b) (c) (d)所示拜鹤。對(duì)于這個(gè)問題框冀，我們建立了一個(gè)名為Image-Emotion-SocialNet的大規(guī)模數(shù)據(jù)集，以便為每個(gè)觀眾預(yù)測(cè)個(gè)性化的情感感知敏簿。在這種情況下明也，情感預(yù)測(cè)任務(wù)變成了以用戶為中心。提出了滾動(dòng)多任務(wù)超圖學(xué)習(xí)惯裕，將影響個(gè)性化圖像情感感知的不同類型因素聯(lián)合起來(lái)（4.2節(jié)）温数。

???????通過對(duì)多數(shù)人觀察的圖像進(jìn)行統(tǒng)計(jì)分析，我們發(fā)現(xiàn)蜻势，雖然個(gè)性化的情緒感知是主觀不同的撑刺，但也遵循一定的分布（參見圖1 e）。對(duì)于第三個(gè)研究問題握玛，我們針對(duì)每幅圖像提出預(yù)測(cè)以圖像為中心的情感分布代替單一的主導(dǎo)情感够傍，這可以表明用戶之間情感反應(yīng)的差異。一般來(lái)說挠铲，分布預(yù)測(cè)任務(wù)可以被形式化為回歸問題冕屯。對(duì)于不同的情緒表征模型，分布預(yù)測(cè)稍有不同市殷，對(duì)于CES愕撰，任務(wù)旨在預(yù)測(cè)不同情緒類別的離散概率，其總和等于1，而對(duì)于DES搞挣，任務(wù)則轉(zhuǎn)變?yōu)轭A(yù)測(cè)指定連續(xù)概率分布的參數(shù)带迟，我們提出共享稀疏學(xué)習(xí)來(lái)預(yù)測(cè)這兩種分布（第4.3節(jié)）。
???????此外囱桨，我們?cè)O(shè)計(jì)并實(shí)現(xiàn)了基于圖像的情感領(lǐng)域的一些應(yīng)用仓犬，如情感圖像檢索和基于情感的圖像化（4.4節(jié)）。

4. 方法

???????為解決介紹中遇到的挑戰(zhàn)舍肠，我們進(jìn)行了一些以圖像為中心和以用戶為中心的IEC的研究搀继，在[ 35, 38, 37，43, 42 ]中對(duì)研究的方向翠语、詳細(xì)方法和實(shí)驗(yàn)結(jié)果進(jìn)行了深入的討論叽躯。

4.1 基于藝術(shù)原理的情感特征提取
???????在藝術(shù)品中安排和編排藝術(shù)元素的規(guī)則、工具或指導(dǎo)方針被稱為藝術(shù)原則肌括，它考慮了各種藝術(shù)方面点骑，包括平衡（對(duì)稱），強(qiáng)調(diào)（對(duì)比）谍夭，和諧（統(tǒng)一） 黑滴，品種，層次紧索，運(yùn)動(dòng)袁辈，節(jié)奏和比例 [3,10]。我們系統(tǒng)地研究和規(guī)范了以前的6個(gè)藝術(shù)原則珠漂，而沒有考慮節(jié)奏和比例晚缩，因?yàn)樗鼈兒磺澹瑢?duì)于每個(gè)原則甘磨，我們?cè)赱3,10]的藝術(shù)理論下都解釋了其概念和意義橡羞，并將這些概念轉(zhuǎn)化為可量化測(cè)量的數(shù)學(xué)公式。
???????以強(qiáng)調(diào)為例：強(qiáng)調(diào)济舆，也被稱為對(duì)比卿泽，是用來(lái)強(qiáng)調(diào)某些元素的差異，強(qiáng)調(diào)可通過使用元素的突變來(lái)完成滋觉，通常用于指導(dǎo)和吸引觀眾對(duì)設(shè)計(jì)中最重要領(lǐng)域或中心的關(guān)注签夭，我們采用Itten色彩對(duì)比度和注意力集中度（RFA）來(lái)衡量它，文獻(xiàn)[35]詳情椎侠。

4.2 個(gè)性化情感預(yù)測(cè)

4.2.1 The Image-Emotion-Social-Net 數(shù)據(jù)集

???????因目前暫無(wú)可用于個(gè)性化情感預(yù)測(cè)的公共數(shù)據(jù)集第租，我們從Flickr上下載并建立了一個(gè)名為Image-Emotion-Social-Net的大規(guī)模數(shù)據(jù)集，為獲取個(gè)性化的情感標(biāo)簽我纪，首先使用傳統(tǒng)的基于詞典的方法從上傳者獲得標(biāo)題慎宾、標(biāo)簽和描述詞丐吓，再對(duì)文本分割以獲得預(yù)期的情感，并從觀眾的評(píng)論中獲得實(shí)際情緒的評(píng)論趟据。對(duì)于CES券犁，我們使用的是在心理學(xué)上嚴(yán)格定義的8個(gè)類別[18]，為了獲得標(biāo)簽汹碱，我們采用基于同義詞的搜索策略[1,11]粘衬，每個(gè)情緒類別的幾十個(gè)同義詞從公共同義詞搜索站點(diǎn)(www.thesaurus.com/browse/synonym)獲取并且經(jīng)手動(dòng)驗(yàn)證。以最常見的同義詞情感范疇為基礎(chǔ)咳促。需要注意的是稚新，若相關(guān)文本在目標(biāo)同義詞附近存在否定詞，如“我不高興”跪腹，那么我們會(huì)刪除這張圖片褂删。對(duì)于DES，基于最近公布的13,915個(gè)英語(yǔ)引理的VAD規(guī)范[27]冲茸，我們計(jì)算了分割結(jié)果的 愉悅度-激活度-優(yōu)勢(shì)度 各自的均值作為基礎(chǔ)笤妙，經(jīng)過細(xì)化，有11347位用戶上傳了1,012,901張圖片包含1,434,080個(gè)情感標(biāo)簽噪裕，并有106,688位用戶進(jìn)行了評(píng)論。

4.2.2 Rolling Multi-Task Hypergraph Learning

???????我們的目標(biāo)是預(yù)測(cè)用戶在社交網(wǎng)絡(luò)上觀看圖像后的情感股毫，直觀的說膳音，視覺內(nèi)容，社交上下文铃诬，時(shí)間演變和位置影響這四個(gè)因素可以影響情感感知祭陷，可被用于情感預(yù)測(cè)。

???????我們提出迭代多任務(wù)超圖學(xué)習(xí)(rolling multi-task hypergraph learning, RMTHG)就結(jié)合了這些因素趣席。形式上兵志，一個(gè)社交網(wǎng)絡(luò)中的用戶 Ui 在 t 時(shí)間看了一張圖片 Xit，在觀看圖像后他的情感感知是 Yit宣肚。在看圖片 Xit 之前想罕，他可能已經(jīng)看過很多圖片了，我們認(rèn)為他最近看過的一些圖片都會(huì)影響其當(dāng)前的情緒霉涨，把其中一部分選出來(lái)作為一個(gè)集合 Si按价，則情感社交網(wǎng)絡(luò)被形式化為一個(gè)混合超圖(hybrid hypergraph) G=<{U, X, S}, ε, W>。頂點(diǎn)集合 V = {U, X, S} 中的每個(gè)頂點(diǎn) v = (u, x, S) 是一個(gè)復(fù)合三元組 (u, x, S)笙瑟，其中 u 代表用戶楼镐，x 和 S 是 u 看的當(dāng)前的圖像和最近看過的圖像集，分別命名為“目標(biāo)圖像”和“歷史圖像集”往枷， ε 的每個(gè)超邊(hyperedge) e 表示基于三元組的一個(gè)分量的兩個(gè)頂點(diǎn)之間的邊框产，并且分配有權(quán)重w(e)凄杯， W 是邊權(quán)重的對(duì)角矩陣。

???????這種頂點(diǎn)集合公式可以使我們的系統(tǒng)為四個(gè)因素建模：目標(biāo)圖像和歷史圖像集合中的視覺描述符都可以被提取以表示視覺內(nèi)容; 用戶關(guān)系可以從用戶組件中被利用來(lái)考慮社交情境; 過去的情緒可以從歷史圖像集推斷出來(lái)秉宿，揭示時(shí)間的演變; 位置影響被嵌入到與目標(biāo)圖像和歷史圖像集相關(guān)聯(lián)的信息中戒突。 因此，我們可以基于復(fù)合頂點(diǎn)的每個(gè)元素來(lái)構(gòu)造 hyperedges蘸鲸。

（簡(jiǎn)書沒辦法插公式妖谴，我也很捉雞，我配合這個(gè)圖片給大家說說）

?????????????????????其中λ是折衷參數(shù)，Γ= ……是 empirical loss豪椿，Ψ=…… 其中的R是超圖結(jié)構(gòu)上的正規(guī)化器奔坟，
?????????????????????H 是關(guān)聯(lián)矩陣Dv和De是兩個(gè)對(duì)角線矩陣，對(duì)角線元素表示頂點(diǎn)度和邊緣度搭盾。
???????到此為止呢我們就可以用標(biāo)準(zhǔn)的Hypergraph Learning[44,6,5,7]來(lái)求解方程(2)了咳秉，個(gè)性化情緒感知預(yù)測(cè)的細(xì)節(jié)請(qǐng)參考[36]。

4.3 情感分布預(yù)測(cè)
???????有兩類概率分布：離散的和連續(xù)的鸯隅，分別對(duì)應(yīng)于CES和DES澜建。
???????對(duì)于離散概率分布，目標(biāo)是預(yù)測(cè)不同感情類別的離散概率并且概率總和為 1 [38]蝌以，對(duì)于連續(xù)概率分布霎奢，首先應(yīng)該指定它的分布形式比如是高斯分布還是指數(shù)分布，我們對(duì)一個(gè)例子(圖1 e)統(tǒng)計(jì)分析后有兩點(diǎn)發(fā)現(xiàn)：（1）感知維度情感遵循一定的分布饼灿，而這種分布可以明確的分為兩類：積極的和消極的感情幕侠；（2）通過兩個(gè)二維高斯分布的混合可以很好地模擬 VA 情感標(biāo)簽“恚基于此晤硕，我們指定 GMM 為 VA 感情表情的分布：

其中(大家注意 “l(fā)” 是 L的小寫)
x =（v; a）是成對(duì)的VA情感標(biāo)簽
μl 和 Σl 是第 l 個(gè)高斯分量的均值向量和協(xié)方差矩陣
πl(wèi) 是混合系數(shù)锭汛，滿足

本文中 L = 2硝烂， θ = (μ1; Σ1; μ2; Σ2; π1; π2)，由此，連續(xù)分布預(yù)測(cè)的問題轉(zhuǎn)向?yàn)轭A(yù)測(cè)參數(shù) θ 鲜漩。

???????我們提出共享稀疏學(xué)習(xí)來(lái)預(yù)測(cè)分布并提供幾個(gè)baselines殉簸，詳情請(qǐng)參閱[38,37]侧到。

4.4 基于情感的一些應(yīng)用
???????第一個(gè)應(yīng)用是情感圖像檢索奶浦，其目標(biāo)是檢索與給定圖像具有類似感情的圖像。 我們使用多圖學(xué)習(xí)作為特征融合方法來(lái)有效地探索不同特征的互補(bǔ)[43]捎迫，包括低層次的GIST和藝術(shù)元素晃酒，中層屬性和藝術(shù)原則，高層次的ANP和表達(dá)[43]窄绒。
???????第二個(gè)應(yīng)用是基于情感的圖像音樂化贝次，旨在讓人們?cè)谟^看時(shí)形象生動(dòng)。對(duì)于圖像情感的近似情感的音樂是
選擇用于將這些圖像音樂化[42]彰导。

下接
http://www.reibang.com/p/87597c2fd2b0