為什么有這本書
大神寥寥幾句就闡明了本書起源构灸，點明CIQB在這個時代發(fā)展背景下變得很重要——ESSENTIAL!
In 1999, digital cameras were introduced, and in the early 2000s cameras were first integrated into mobile phones. By 2015, more than 25% of the world's population were using smartphones.
大白話是數(shù)碼拍照用的多了上渴，怎么知道拍的好壞呢之斯，是機器問題還是人的手法技巧問題什乙。在數(shù)碼拍照之前惜颇，怎么衡量膠卷相機的好壞呢只冻？怎么衡量畫家畫的好壞呢鹿鳖？值得思考的問題操漠。
你能從本書得到什么
通過定義圖片質(zhì)量和屬性洒疚，詳述定性和定量評估圖片的方法鸠姨，呈現(xiàn)各種科學的主客觀評估圖像質(zhì)量的方法步驟寂拆，讓你理解The Framework for understanding the visual quality of digitally captured images. 最牛逼的是奢米，它還提升到了物理心理學層面抓韩，讓你對于人類視覺系統(tǒng)有所了解。比起完形心理學來說鬓长，更實際一些谒拴，不是那么晦澀。
It provides the reader with an understanding of the important elements of the camera itself as well as of the physiology and physicality of the human visual system.
書的源起
這是一本日積月累的書痢士，起源于2011年法國的DxO Labs彪薛，還有來自Kodak研究院成果，從400頁PPT變成了386頁的干貨書籍怠蹂，價錢也不菲善延，可以當做影像評測界的紅寶書了。
有待進一步完善的
老外寫東西就是非常嚴謹城侧，不得不贊
Still, there are areas in which the mobile phone camera is lacking, like low-light photography and zooming capabilities.
Chapter 5 Subjective Image Quality Assessment -- Theory and Practice
5.1 Psychophysics
開篇從已經(jīng)研究了200年的精神物理學開始易遣，探討刺激和感知之間的關系，并涉及心理測量學sychometric嫌佑。
- 基礎理論為Weber/Fechner
1850年10月22日早晨豆茫，費希納躺在床上，突然有了一個想法屋摇，他發(fā)現(xiàn)在日常生活中存在一種數(shù)量關係揩魂，當感覺強度按算術級數(shù)增加的時候，刺激似乎是以幾何級數(shù)增加的炮温。如果一個鈴在響火脉，再增加一個，對我們造成的印象比 10個響鈴增加一個要強烈得多柒啤；假如4-5支蠟燭正在發(fā)光倦挂，再點亮一支所造成的差異微乎其微，如果原來只點有2支蠟燭担巩，那它所造成的影響就相當大方援。刺激的作用不是絕對的，而是相對的涛癌，即與已經(jīng)存在的感覺量有關犯戏。費希納感到他可能會在精神世界與物質(zhì)世界中發(fā)現(xiàn)一個簡單的數(shù)學關係。於是他開始了一系列的亮度實驗拳话、舉重實驗和視覺先匪、觸覺距離實驗，以驗證他關於感覺強度和刺激強度關係的假說假颇。實驗開始後不久胚鸯，他偶然發(fā)現(xiàn)了20多年前韋伯的工作骨稿。韋伯已經(jīng)證明笨鸡，刺激強度和對兩個刺激強弱加以分辨的能力兩者間有某種關係姜钳，這種關係受一定法則的支配：「最小可覺差」是標準刺激的不變分數(shù)。費希納用公式ΔI／I=K概括韋伯的發(fā)現(xiàn)形耗，並把它命名爲「韋伯定律」哥桥。他注意到韋伯定律同他自己的假設的關係。他把握住激涤，充分加以利用拟糕，並做了大量實驗來印證它。但是費希納的假說與韋伯的研究間仍有很大差別倦踢，韋伯關心的是「最小可覺差」送滞，而費希納在意的是獲得一種對物質(zhì)世界和精神世界間的關係的說明。
- JND - Just Noticeable Difference
現(xiàn)實生活中辱挥，聲音越大犁嗅，感知同樣音貝提升差異卻越小。
5.2 Measurement Scales
5.3 Psychophysical Methodologies
有多種方法度量刺激晤碘，有的是整體度量褂微，有的是度量JND
- Rank Order，將評估對象排序园爷，弊端是排序之間的差異大小無法評估宠蚂。
- Category Scaling，一般選擇為奇數(shù)級別童社，主要是方便評估人員二分法快速判斷求厕。 級別之間盡量保持感知的均勻粒度，并統(tǒng)計結果標準差來確保不同評估者的一致性結果叠洗。
- Acceptability Scaling甘改，評估接受度，依據(jù)應用場景而變化的灭抑。比方說十艾，
* 拍照質(zhì)量，旗艦機上接受度和低端機的預期接受度是不一樣的
* 對于VR質(zhì)量而言腾节，消費級娛樂游戲要求就比專業(yè)應用如在教育上應用要求高很多 - Anchored Scaling, 使用離散的參考錨點忘嫉。本章節(jié)用了大量篇幅在談Quality Ruler，實際上就是這個方法的衍生
- Forced-Choice Comparison案腺，適合于差異比較小的情況庆冕。對于有選擇障礙的朋友來說，這樣的任務是很大的挑戰(zhàn)劈榨。 Pair-wise打分访递，歸屬于此類。
-
Magnitude Estimation同辣，量級估計拷姿，相比于參考圖像而言
各個方法的比拼
5.4 Cross-Modal Psychophysics
為何進了商場就有想購物的沖動惭载，為何到了餐館就有吃飯的欲望，營造場景氛圍進行多感官刺激响巢，讓你做出非理性的選擇描滔，在這一章節(jié)就通過嚴謹?shù)男睦韺W實驗告訴你，綜合多感官綜合刺激如何影響感知的踪古，大白話應該是通感含长。第一個實驗，顏色和氣味的關聯(lián)結果顯示伏穆，研究結果：棕色和焦糖關聯(lián)拘泞；粉色和草莓關聯(lián)；香檸檬油和黃色關聯(lián)枕扫；第二個實驗田弥，亮度和聽覺的關聯(lián)，研究結果：高音選擇亮色铡原，低音選擇暗色偷厦。
5.5 Thurstonian Scaling
可以用以評估JND，更有意思的是這個結果燕刻，三者對比時間會更快只泼，但是對于有選擇障礙的人來說不一定快。
5.6 Quality Ruler
特別提到卵洗，標準集無法全面覆蓋所有場景请唱，如何解決這個問題呢？在5.6.4中有簡要提及过蹂，識別提取出影響評估的特征十绑，通過特征合理采樣，如看Noise需選擇low spatial frequency場景酷勺。如何有效提取出影響評估的特征本橙，這又是一個問題，評測場景抽樣大千世界不一樣脆诉，那么得出來的評測結論也會不一樣甚亭，相信這是做這一行的絕對痛點之一。
Of course, the standard set cannot be expected to be entirely comprehensive, and there will be circumstances in which no supplied ruler scene corresponds to the photographic situation being assessed.
在評估時击胜，還強調(diào)明確判斷的聚焦點很重要亏狰，誠然，一張圖片要傳達的信息很多偶摔，需要聚焦判斷的維度和方向暇唾。
It is important that you judge the OVERALL QUALITY of the WHOLE image - not some particular attribute or a particular area of the image
Quality Ruler應用很廣，手機Camera IQ評測有一套成熟的方法，如何跟這個方法論映射是一個值得后續(xù)再探討的課題
... individual image quality attributes of a given camera, for example, lens geometric distortion, noise, and color saturation, can be judged using the quality ruler and subsequently the individual JND values can be added with the Minkowski metric to obtain an overall quality prediction.
5.7 Subjective Video Quality
如今視頻社交風靡策州，就連春晚也為抖音在帶鹽嘲叔，對于Video Quality其實還會再有更多的進一步探索。本書列舉了一些基本的方法抽活。
和圖像評估區(qū)別
相比于圖像評估，在每一幀質(zhì)量判斷上有重疊锰什，但是又有很大不同：1）視頻在空間和時間上變化下硕，而圖像只有空間上變化；2）視頻編碼影響汁胆；3）聲音感知梭姓，會影響視覺感知
視頻評估的方法
整理一些點如下
-
權威的要參考ITU(International Telecommunication Union)
ITU標準 - 評估者，需要考慮其年齡嫩码、性別和職業(yè)誉尖，而非簡單地區(qū)分專家和非專家，評估人員選擇不同那么結果也不同
-
觀看的環(huán)境铸题，分為Lab和Home铡恕，要求不一樣
觀看環(huán)境要求 - 觀看的距離和角度也會影響評估的結果
- 顯示設備的顏色管理、設備大小尺寸都是影響評估結果的關鍵因素
- 要考慮制式兼容轉(zhuǎn)換丢间，會影響質(zhì)量評估結果探熔。其實對于圖片而言，基于YUV處理還是JPEG處理烘挫，最后的效果也不一樣诀艰。
- 選擇評估的clip，視頻長度一般為8-15s
- 評估片段的展示順序饮六，在一些評估方法（如ACR）中會受影響其垄，同時時序上因為近因效應影響，視頻最后幾秒的印象會影響評估結果卤橄。
Chapter 6 Objective Image Quality Assessment -- Theory and Practice
因為有CMU課程學習和實測過CameraIQ绿满，這章看起來還是比較快，很多熟悉的名詞窟扑，看到了背后的緣起和各種度量方式的所能和所不能棒口，還是比較驚喜。之前做CameraIQ評測時辜膝，有些疑問也能從中找到答案无牵。
有主觀評測結果，又有客觀評測結果厂抖，這兩個結果是否一致呢茎毁？大神說，非也，因為主觀判斷和種族人群相關的七蜘。但是這一章定義的客觀評估標準谭溉，又會盡量和全人類的主觀評判結果一致，科學就是在這樣挑戰(zhàn)不可能中前進橡卤。
With these definitions, it may seem difficult to find a correlation between results from objective subjective experiments.
開篇扮念，大神強調(diào)了空間頻率和MTF的重要性和基礎性，值得好好看看碧库。
6.1 Exposure and Tone
先談談什么是理想解
A well-balanced tone reproduction then means that it should be possible to distinguish details in both highlights and shadows and all the midtones in between, if such details are present in the original scene.
但是為了藝術表現(xiàn)的需要柜与，各種曝光方法出現(xiàn)，還有l(wèi)ocal tone mappint的圖像處理技術嵌灰。
several different exposure methodologies have been developed during the past years, such as center-weighted exposure, spot metering, matrix-based methods, and so on.
白盒來看弄匕，相關度量就涉及到光電轉(zhuǎn)化效能
6.2 Dynamic Range
此處沒啥好說的
6.3 Color
大神提到，所有的客觀度量是獨立于人類判斷的沽瞭，除了顏色迁匠。印象派畫家，看到的顏色就與與常人不同驹溃。莫奈一個草垛子都能從早畫到晚城丧，從春天畫到冬天，才有睡蓮的繽紛異彩豌鹤。
Merely the fact that colors are perceived almost the same under a wide range of light sources gives a hint that the processing done by the human visual system has a big influence on how we perceive color.
看顏色幾大要素列舉如下芙贫，對于幾種色彩空間，CMU課程講得更透徹一些傍药。
- 光源
* 人眼能看到390-700nm的光磺平。很好奇，動物的眼睛呢拐辽，如果有技術可以重現(xiàn)看看動物眼里的世界拣挪，應該比較有趣。
* 黑體被物理學家定義出來是為了做理想輻射研究俱诸，進而也得到了色溫和波長的關系菠劝。一個物體越熱，其輻射譜的波長越短（或者說其輻射譜的頻率越高）睁搭，參見：https://zh.wikipedia.org/wiki/維恩位移定律
赶诊。譬如在宇宙中，不同恒星隨表面溫度的不同會顯示出不同的顏色园骆，溫度較高的顯藍色舔痪，次之顯白色。
* 幾種熟悉的光源：TL84锌唾，展柜用的熒光燈锄码； CWF(Cool White F光)熒光夺英； U30蠟燭；A光滋捶，白熾燈的光痛悯；UVA紫外燈 -
場景
物體反射光源和吸收光源的公式，除了熒光重窟。熒光载萌，可以吸收紫外光轉(zhuǎn)換成可見光，這也解釋了紙張增白劑和衣物漂洗劑為何要加熒光粉的原理巡扇。
- 觀察者
人是三視錐動物扭仁，看到多視錐動物的世界，應該比較有意思霎迫。當前sensor其實可以做到模擬。
6.4 Shading
- 通過劃分網(wǎng)絡計算Shading
- IR Cut Filter會容易產(chǎn)生Color Shading
6.5 Geometric Distortion
度量畸變帘靡，可以用TV distortion知给，但是也不是特別靠譜，在這種情況下TV distortion就有問題
可以采用點圖或者網(wǎng)格圖來計算畸變描姚，相比于網(wǎng)格圖涩赢，點圖能更精準定位點的位置，但是點的大小又決定了測量精度轩勘，無法達到亞像素級別的測量筒扒，而點本身也會產(chǎn)生畸變。測不準原理的一個現(xiàn)實案例绊寻。
6.6 Stray Light
雜光是由漫反射引起的花墩，有ghosting和flare兩種，用VGI可以測量ghosting, MTF可以測量flare
6.7 Sharpness and Resolution
大神說澄步，MTF很重要冰蘑，因為
In order to understand the reasons behind the distinctions between sharpness, pixel resolution, and limiting resolution, the concept of the modulation transfer function(MTF) must be firmly understood.
類比時間頻率和空間頻率，空間頻率就很好理解了
MTF是單方向的村缸，而圖像是二維的祠肥，所以需要計算多方向的MTF。
在度量MTF時梯皿，采樣的混疊現(xiàn)象會影響MTF的評估
6.8 Texture Blur
如下低對比度的紋理模糊仇箱，MTF很難度量，需要新的方法來衡量這種情況东羹。
因此剂桥，傳說中的枯葉圖出現(xiàn)了，但是枯葉圖對噪點敏感属提，#6.8.3列舉了各種替代評估方案渊额。而枯葉圖進一步演進變?yōu)椴噬萑~圖，以便不同色彩下紋理模糊度量清晰度。
6.9 Noise
SNR的額計算旬迹，和顏色的關系
6.10 Color Fringing
6.12 Video Quality Metrics
Video部分的度量火惊，還有很大的發(fā)展空間，書中列舉的方法尚未形成國際標準奔垦。
- Frame Rate and Frame Rate Consistency
- Frame Exposure Time and Consistency屹耐，曝光時間影響Image Tone和Motion Blur, Video曝光時間需要衡量一致性，不要忽明忽暗椿猎，很考驗自動曝光算法
- Auto White Balance Consistency惶岭，和曝光時間一樣，自動白平衡算法也會涉及到更新窗口
- Autofocusing Time and Stability犯眠，同理考驗著自動對焦算法
- Video Stabilization Performance按灶，書中列舉了測量穩(wěn)像的客觀方法，值得參考筐咧，SFR也用上了
- Audio-Video Synchronization鸯旁，音頻的同步，在視頻中不可忽視
