轉(zhuǎn)發(fā)自: 追隨技術(shù)WithPassion

一黔攒、介紹

1. 為什么要進(jìn)行視頻壓縮？

• 未經(jīng)壓縮的數(shù)字視頻的數(shù)據(jù)量巨大
• 存儲(chǔ)困難
  一張DVD只能存儲(chǔ)幾秒鐘未壓縮的數(shù)字視頻七芭。

• 傳輸困難
  1兆的帶寬傳輸一秒的數(shù)字電視視頻需要大約4分鐘煮纵。

  
  
  一分鐘視頻數(shù)據(jù)量

2. 為什么可以壓縮？

• 去除冗余

  空間冗余	圖像相鄰像素之間有較強(qiáng)的相關(guān)性
  時(shí)間冗余	視頻序列的相鄰圖像之間內(nèi)容相似
  編碼冗余	不同像素值出現(xiàn)的概率不同
  視覺冗余	人的視覺系統(tǒng)對(duì)某些細(xì)節(jié)不敏感
  知識(shí)冗余	規(guī)律性的結(jié)構(gòu)可由先驗(yàn)知識(shí)和背景知識(shí)得到

3. 數(shù)據(jù)壓縮分類

• 無損壓縮
  ?? 壓縮前解壓縮后圖像完全一致
  ?? 壓縮比低（2:1~3:1）

  例如 WinZip爬范，JPEG_LS

• 有損壓縮
  ?? 壓縮前解壓縮后圖片不一致
  ?? 壓縮比高（10:1~20:1）
  ?? 利用人的視覺系統(tǒng)的特征

  例如 ：MPEG-2，H.264/AVC弱匪，AVS

視頻壓縮

4. 編解碼器

• 編碼器（Encoder）
  ○ 壓縮信號(hào)的設(shè)備或程序
• 解碼器（Decoder）
  ○ 解壓縮信號(hào)的設(shè)備或程序
• 編解碼器(Codec)
  ○ 編解碼器對(duì)

5. 壓縮系統(tǒng)的組成

1. 編碼器的關(guān)鍵技術(shù)

   
   
   編碼器

2. 編解碼中的關(guān)鍵技術(shù)

   
   
   編解碼器

6. 編解碼器的實(shí)現(xiàn)

• 編解碼器的實(shí)現(xiàn)平臺(tái)：
  ?? 超大規(guī)模集成電路VLSI
  ○ ASIC青瀑， FPGA
  ?? 數(shù)字信號(hào)處理器DSP
  ?? 軟件
• 編解碼器產(chǎn)品：
  ?? 機(jī)頂盒
  ?? 數(shù)字電視
  ?? 攝像機(jī)
  ?? 監(jiān)控器

7. 視頻編碼標(biāo)準(zhǔn)

?視頻編碼標(biāo)準(zhǔn)的作用：

• 兼容
  不同廠家生產(chǎn)的編碼器壓縮的碼流能夠被不同廠家的解碼器解碼
• 高效
  標(biāo)準(zhǔn)編解碼器可以進(jìn)行批量生產(chǎn)，節(jié)約成本萧诫。

?主流的視頻編碼標(biāo)準(zhǔn)

• MPEG-2
• MPEG-4 Simple Profile
• H.264/AVC
• AVS
• VC-1

?標(biāo)準(zhǔn)化組織：

• ITU：International Telecommunications Union
  VECG：Video Coding Experts Group
• ISO：International Standards Organization
  MPEG：Motion Picture Experts Group

8. 視頻傳輸

? 視頻傳輸：通過傳輸系統(tǒng)將壓縮的視頻碼流從編碼端傳輸?shù)浇獯a端
? 傳輸系統(tǒng)：互聯(lián)網(wǎng)斥难，地面無線廣播，衛(wèi)星

9. 視頻傳輸面臨的問題

?傳輸系統(tǒng)不可靠

• 帶寬限制
• 信號(hào)衰減
• 噪聲干擾
• 傳輸延遲

?視頻傳輸出現(xiàn)的問題

• 不能解碼出正確的視頻
• 視頻播放延遲

10. 視頻傳輸差錯(cuò)控制

? 差錯(cuò)控制（Error Control）解決視頻傳輸過程中由于數(shù)據(jù)丟失或延遲導(dǎo)致的問題

? 差錯(cuò)控制技術(shù)：

• 信道編碼差錯(cuò)控制技術(shù)
• 編碼器差錯(cuò)恢復(fù)
• 解碼器差錯(cuò)隱藏

11. 視頻傳輸?shù)腝oS參數(shù)

• 數(shù)據(jù)包的端到端的延遲
• 帶寬：比特/秒
• 數(shù)據(jù)包的流失率
• 數(shù)據(jù)包的延遲時(shí)間的波動(dòng)

二帘饶、數(shù)字視頻

1. 圖像與視頻

? 圖像：是人對(duì)視覺感知的物質(zhì)再現(xiàn)哑诊。

• 三維自然場景的對(duì)象包括：深度，紋理和亮度信息

• 二維圖像：紋理和亮度信息

  
  
  圖像

? 視頻：連續(xù)的圖像及刻。

• 視頻由多幅圖像構(gòu)成镀裤，包含對(duì)象的運(yùn)動(dòng)信息竞阐，又稱為運(yùn)動(dòng)圖像。

  
  
  視頻采樣

2. 數(shù)字視頻

• 數(shù)字視頻：自然場景空間和時(shí)間的數(shù)字采樣表示暑劝。
  • 空間采樣
    • 解析度（Resolution）
  • 時(shí)間采樣

    • 幀率：幀/秒
      image

3. 空間采樣

二維數(shù)字視頻圖像空間采樣：

image

4. 數(shù)字視頻系統(tǒng)

• 采集
  ○ 照相機(jī)骆莹，攝像機(jī)
• 處理
  ○ 編解碼器，傳輸設(shè)備

• 顯示
  ○ 顯示器

  
  
  采樣--處理--顯示

5. 人類視覺系統(tǒng)HSV

? HVS

• 眼睛
• 神經(jīng)

• 大腦

  
  
  HSV

? HVS特點(diǎn)：

• 對(duì)高頻信息不敏感
• 對(duì)高對(duì)比度更敏感
• 對(duì)亮度信息比色度信息更敏感

• 對(duì)運(yùn)動(dòng)的信息更敏感

  
  
  image

6. 數(shù)字視頻系統(tǒng)的設(shè)計(jì)應(yīng)該考慮HVS的特點(diǎn)：

• 丟棄高頻信息担猛，只編碼低頻信息
• 提高邊緣信息的主觀質(zhì)量
• 降低色度的解析度

• 對(duì)感興趣區(qū)域（Region of Interesting幕垦，ROI）進(jìn)行特殊處理

  
  
  image

7. RGB色彩空間

?三原色：紅（R），綠（G）傅联，藍(lán)（B）智嚷。

?任何顏色都可以通過按一定比例混合三原色產(chǎn)生。

?RGB色度空間

• 由RGB三原色組成
• 廣泛用于BMP纺且，TIFF，PPM等

• 每個(gè)色度成分通常用8bit表示[0,255]
  三原色

8. YUV色彩空間

? YUV色彩空間：

• Y：亮度分量
• UV：兩個(gè)色度分量
• YUV更好的反映HVS特點(diǎn)

9. RGB轉(zhuǎn)化到Y(jié)UV空間

主流的編解碼標(biāo)準(zhǔn)的壓縮對(duì)象都是YUV圖像稍浆。
亮度分量Y與三原色有如下關(guān)系：

經(jīng)過大量實(shí)驗(yàn)后ITU-R給出了:

YUV與RGB轉(zhuǎn)化

10. YUV圖像分量采樣

• YUV圖像可以根據(jù)HVS的特點(diǎn)载碌，對(duì)色度分量下采樣，可以降低視頻數(shù)據(jù)量衅枫。

• 根據(jù)亮度和色度分量的采樣比率嫁艇，YUV圖像通常有以下幾種格式：

  
  
  YUV圖像采樣率

11. 通用 的YUV圖像格式

• 根據(jù)YUV圖像的亮度分辨率定義圖像格式

  
  
  image

12. 幀和場圖像

• 一幀圖像包括兩場——頂場，底場
  image
  image

13. 逐行與隔行圖像

• 逐行圖像：一幀圖像的兩場在同一時(shí)間得到弦撩，ttop=tbot步咪。

• 隔行圖像：一幀圖像的兩場在不同時(shí)間得到， ttop≠tbot益楼。

  
  
  image

14. 視頻質(zhì)量評(píng)價(jià)

• 有損視頻壓縮使編解碼圖像不同猾漫，需要一種手段來評(píng)價(jià)解碼圖像的質(zhì)量。

• 質(zhì)量評(píng)價(jià)：
  客觀質(zhì)量評(píng)價(jià)
  主觀質(zhì)量評(píng)價(jià)
  基于視覺的視頻質(zhì)量客觀評(píng)價(jià)

• 客觀質(zhì)量評(píng)價(jià)：通過數(shù)學(xué)方法測量圖像質(zhì)量評(píng)價(jià)的方式感凤。

• 優(yōu)點(diǎn)：
  可量化
  測量結(jié)果可重復(fù)
  測量簡單

• 缺點(diǎn)：
  不完全符合人的主觀感知

15. 客觀評(píng)價(jià)的方法

常用的客觀評(píng)價(jià)方法：

image

16. 主觀評(píng)價(jià)方法

• 主觀質(zhì)量評(píng)價(jià)：用人的主觀感知直接測量的方式悯周。

• 優(yōu)點(diǎn)：
  符合人的主觀感知

• 缺點(diǎn)：
  不容易量化
  受不確定因素影響，測量結(jié)果一般不可重復(fù)
  測量代價(jià)高

• 常用主觀評(píng)價(jià)方法

  
  
  image
  image

17. 基于視覺的視頻質(zhì)量客觀評(píng)價(jià)方法

• 基于視覺的視頻質(zhì)量客觀評(píng)價(jià)：將人的視覺特性用數(shù)學(xué)方法描述并用于視頻質(zhì)量評(píng)價(jià)的方式陪竿。
• 結(jié)合了主觀質(zhì)量評(píng)價(jià)和客觀質(zhì)量評(píng)價(jià)兩方面優(yōu)點(diǎn)禽翼。
• 常用方法：結(jié)構(gòu)相似度（Structural SIMilarity，SSIM）方法族跛。
• 將HVS的特征用數(shù)學(xué)模型表達(dá)出來闰挡。
• 未來重要的研究方向

三、信息論基礎(chǔ)

1. 通信系統(tǒng)的組成

• 信源：產(chǎn)生消息
• 信道：傳輸消息

• 信宿：接收消息

  
  
  image

2. 基本概念

• 通信中對(duì)信息的表達(dá)分為三個(gè)層次：信號(hào)礁哄，消息长酗，信息。
  • 信號(hào)：是信息的物理層表達(dá)桐绒，可測量花枫，可描述刻盐，可顯示。如電信號(hào)劳翰，光信號(hào)敦锌。
  • 消息：是信息的載體，以文字佳簸，語言乙墙，圖像等人類可以認(rèn)知的形式表示。
  • 信息：不確定的內(nèi)容生均。

3. 信息熵

? 信息的特點(diǎn)：

image

? 信息的測量

??自信息量

image

??條件信息量

image

4. 信息熵

image

image

5. 條件熵和聯(lián)合熵

image

6. 熵的性質(zhì)

• 非負(fù)性：信源熵是非負(fù)值听想，即 H(X) >=0;
• 擴(kuò)展性：信源熵X有M個(gè)符號(hào)，如果其中一個(gè)符號(hào)出現(xiàn)的概率趨于零马胧，信源熵就等于剩余M-1個(gè)符號(hào)的信源熵汉买；
• 極值性（最大信息熵）：對(duì)于具有M個(gè)符號(hào)的信源，只有在所有符號(hào)等概率出現(xiàn)的情況下佩脊，信源熵達(dá)到最大值蛙粘，即
• 可加性：
• 熵不增：條件熵不大于信息熵 H(X|Y) <= H(X)；
• 聯(lián)合熵不大于各信息熵的和威彰，即H(XY) <= H(X) + H(Y)出牧。

7. 互信息量

image

8. 互信息

image

• 物理意義：H(X)是X所含的信息，H(X|Y)是已知Y的條件下X還能帶來的信息量歇盼。那么兩者之差就是由于知道Y使得X減少的信息量舔痕，也即由Y可以得到的關(guān)于X的信息量。

9. 各種熵的關(guān)系

image

10. 信源編碼

• 信源編碼：將消息符號(hào)轉(zhuǎn)變成信道可傳輸?shù)男畔ⅰ?/li>
• 兩個(gè)基本問題：
  用盡可能少的信道傳輸符號(hào)來傳遞信源消息豹缀，提高傳輸效率伯复；
  減少由于信道傳輸符號(hào)的減少導(dǎo)致的失真。

11. 離散信源統(tǒng)計(jì)特性

image

image

12. 離散信源類型：簡單無記憶信源和馬爾可夫信源

image

13. 編碼分類

• 等長碼：在一組碼字集合C中的所有碼字cm (m = 1,2, …,M)邢笙，其碼長都相同边翼，則稱這組碼C為等長碼。

• 變長碼：若碼字集合C中的所有碼字cm (m = 1,2, …,M)鸣剪，其碼長不都相同组底，稱碼C為變長碼。

14. 平均碼長

image

15. 等長碼與變長碼比較

• 等長編碼將信源輸出符號(hào)序列的任意一種取值（概率可能不同）都編碼成相同長度的輸出碼字筐骇，沒有利用信源的統(tǒng)計(jì)特性债鸡；
• 變長編碼可以根據(jù)信源輸出符號(hào)序列各種取值的概率大小不同，將他們編碼成不同長度的輸出碼字铛纬，利用了信源的統(tǒng)計(jì)特性厌均。因此又稱其為熵編碼。

16. Huffman編碼

• Huffman編碼：典型的變長編碼告唆。
• 步驟：
  1. 將信源符號(hào)按概率從大到小的順序排列棺弊，假定p(x1)≥ p(x2)… ≥ p(xn)
  2. 給兩個(gè)概率最小的信源符號(hào)p(xn-1)晶密， p(xn)各分配一個(gè)碼位"0"和"1"，將這兩個(gè)信源符號(hào)合并成一個(gè)新符號(hào)模她，并用這兩個(gè)最小的概率之和作為新符號(hào)的概率稻艰，結(jié)果得到一個(gè)只包含(n-1)個(gè)信源符號(hào)的新信源。稱為信源的第一次縮減信源侈净，用S1表表示尊勿。
  3. 將縮減信源S1的符號(hào)仍按概率從大到小的順序排列，重復(fù)步驟2畜侦，得到只含(n-2)個(gè)符號(hào)的縮減信源S2元扔。
  4. 重復(fù)上述步驟，直至縮減信源只剩下兩個(gè)符號(hào)為止旋膳，此時(shí)所剩兩個(gè)符號(hào)的概率之和必為1澎语。然后從最后一級(jí)縮減信源開始，依編碼路徑向前返回验懊，就得到各信源符號(hào)所對(duì)應(yīng)的碼字擅羞。

image

17. 信道編碼

• 信道編碼主要考慮如何增加信號(hào)的抗干擾能力，提高傳輸?shù)目煽啃月成⑶姨岣邆鬏斝省?/li>
• 一般是采用冗余編碼法，賦予信碼自身一定的糾錯(cuò)和檢錯(cuò)能力振惰，使信道傳輸?shù)牟铄e(cuò)概率降到允許的范圍之內(nèi)歌溉。

18. 信道類型

• 根據(jù)信道連續(xù)與否分類

  離散信道
  連續(xù)信道
  半連續(xù)信道

• 根據(jù)信道是否有干擾分類

  無干擾信道
  有干擾信道

• 根據(jù)信道的統(tǒng)計(jì)特性分類

  無記憶信道
  有記憶信道
  恒參信道
  變參信道
  對(duì)稱信道
  非對(duì)稱信道

19. 信道容量

• 在信息論中，稱信道無差錯(cuò)傳輸?shù)淖畲笮畔⑺俾蕿樾诺廊萘俊?/li>
• 香農(nóng)信道容量公式：
  ??假設(shè)連續(xù)信道的加性高斯白噪聲功率為N骑晶，信道帶寬為B痛垛，信號(hào)功率為S，則該信道的容量為
  
  ??由于噪聲功率N與信道帶寬B有關(guān)桶蛔，則噪聲功率N=n0B 匙头。因此，香農(nóng)公式還可以表示為：
  

20. 香農(nóng)信道容量公式的意義

• 在給定B和S/N的情況下仔雷，信道的極限傳輸能力為C蹂析，而且此時(shí)能夠做到無差錯(cuò)傳輸。如果信道的實(shí)際傳輸速率大于C 值碟婆，則無差錯(cuò)傳輸在理論上就已不可能电抚。因此，實(shí)際傳輸速率一般不能大于信道容量C 竖共，除非允許存在一定的差錯(cuò)率蝙叛。
• 提高信噪比S/N（通過減小n0或增大S），可提高信道容量C公给。特別是借帘，若n0->0蜘渣，則C->∞ ，這意味著無干擾信道容量為無窮大肺然；
• 增加信道帶寬B蔫缸，也可增加信道容量C，但做不到無限制地增加狰挡。這是因?yàn)槲媪洌绻?S、n0一定加叁，有
  
• 維持同樣大小的信道容量倦沧，可以通過調(diào)整信道的B及S/N來達(dá)到，即信道容量可以通過系統(tǒng)帶寬與信噪比的互換而保持不變它匕。

21. 失真

• 失真：信源的消息經(jīng)過編解碼后不能完全復(fù)原
• 在實(shí)際的信源和信道編碼中展融，消息的傳輸并不總是無失真的。

  1.由于存儲(chǔ)和傳輸資源的限制

  2. 噪聲等因素的干擾

22. 率失真理論

• 香農(nóng)定義了信息率失真函數(shù)R(D)

  D是消息失真
  R是碼率

• 率失真定理：在允許一定失真度D的情況下豫柬，信源輸出的信息率可壓縮到R(D)告希。

23. 失真函數(shù)

• 失真函數(shù)：信源符號(hào)，經(jīng)信道傳輸接收端符號(hào)烧给，對(duì)于每一對(duì)指定一個(gè)非負(fù)函數(shù) 燕偶，稱為單個(gè)符號(hào)的失真度或失真函數(shù)。對(duì)于連續(xù)信源連續(xù)信道的情況础嫡，常用表示指么。

• 常用失真函數(shù)：

  
  
  image

• 平均失真度：

  
  
  image