一、文件格式
1.視頻文件格式
常見(jiàn)的視頻文件格式：mpeg、avi贡蓖、wmv、mov等煌茬，文件格式通常表現(xiàn)為文件在操作系統(tǒng)上存儲(chǔ)時(shí)的后綴名斥铺，用來(lái)與相應(yīng)的應(yīng)用程序進(jìn)行關(guān)聯(lián)
2.視頻封裝格式
視頻封裝格式，相當(dāng)于一種存儲(chǔ)視頻信息的容器坛善，包含封裝視頻文件需要的視頻信息晾蜘、音頻信息和相關(guān)的配置信息(比如視頻和音頻的關(guān)聯(lián)信息、解碼方式等)浑吟。
一種視頻封裝格式對(duì)應(yīng)響應(yīng)的視頻文件格式，常見(jiàn)的封裝格式如下圖耗溜。
3.容器
將已經(jīng)編碼壓縮好的視頻數(shù)據(jù)和音頻數(shù)據(jù) 按照一定格式放在一個(gè)文件中组力。這個(gè)文件可以稱為容器。
容器不僅僅存放音頻抖拴、視頻數(shù)據(jù)燎字，還會(huì)存放視頻同步的元數(shù)據(jù)，字幕等信息阿宅。在傳輸和存儲(chǔ)的時(shí)候候衍，這些多種數(shù)據(jù)都是被綁定在一起的。
常見(jiàn)的視頻容器格式：
- AVI:
- mov:Quicktime封裝
- wmv：微軟推出的
- mkv：萬(wàn)能封裝器洒放，有良好的兼容和跨平臺(tái)性蛉鹿、糾錯(cuò)性，可帶外掛字幕
- flv：可以很好地保護(hù)原始地址往湿，不容易被下載
- mp4：主要應(yīng)用于mpeg4的封裝妖异，主要在手機(jī)上使用
二惋戏、視頻編解碼方式
1.概念
視頻編解碼過(guò)程就是對(duì)數(shù)字視頻進(jìn)行壓縮或解壓縮的過(guò)程
視頻編解碼需要考慮的因素：
視頻的質(zhì)量
碼率：用來(lái)表示視頻所需要的數(shù)據(jù)量
編解碼算法的復(fù)雜度
針對(duì)數(shù)據(jù)丟失和錯(cuò)誤的魯棒性
編輯的方便性
隨機(jī)訪問(wèn)
端到端的延時(shí)以及其它一些因素
2.常見(jiàn)視頻編碼方式
- H.26X系列：包括H.261 H.262 H.263 H.264 H.265
- H.264 等同于MPEG-4第十部分，也被稱為高級(jí)視頻編碼(Advanced Video Coding他膳，簡(jiǎn)稱AVC)响逢，是一種廣泛使用的高精度視頻的錄制、壓縮和發(fā)布格式棕孙。
- MPEG系列 由國(guó)際標(biāo)準(zhǔn)組織機(jī)構(gòu)下屬的運(yùn)動(dòng)圖像專家組開(kāi)發(fā)
- MPEG-4 第二部分：可以用于網(wǎng)絡(luò)傳輸舔亭、廣播和媒體存儲(chǔ)上。比之前版本壓縮性能較高
- MPEG-4 第十部分蟀俊，等同于H.264
3.視頻編解碼方式和視頻封裝的關(guān)系
一種視頻封裝格式可以支持多種視頻編解碼方式钦铺，比如.mov支持幾乎所有的視頻編解碼方式，.MP4也支持相當(dāng)廣的視頻編解碼方式
可以用A/B的方式欧漱，表示一個(gè)視頻的編解碼方式和封裝格式职抡，比如一個(gè)H.264/MOV的視頻文件，它的封裝方式是QuickTime File Format误甚，編碼方式是H.264
三缚甩、音頻編解碼方式
在視頻中常用的音頻編解碼方式：
- AAC : Advanced Audio Coding，在1997年推出的基于MPEG-2的音頻編碼技術(shù)窑邦。2000年擅威，MPEG-4標(biāo)準(zhǔn)出現(xiàn)之后，AAC重新集成了其特性冈钦，加入了SBR技術(shù)和PS技術(shù)郊丛，為了區(qū)別于傳統(tǒng)的MPEG-2 AAC ，又稱為MPEG-4 AAC
- MP3 ：MPEG-1 or MPEG-2 Audio Layer ||| 瞧筛，當(dāng)時(shí)非常流行的一種數(shù)字音頻編碼有損壓縮模式厉熟，它被設(shè)計(jì)來(lái)大幅度降低音頻數(shù)據(jù)量
- WMA ： Windows Media Audio ，由微軟公司開(kāi)發(fā)的一種數(shù)字音頻壓縮格式较幌，本身包括有損和無(wú)損壓縮格式
四揍瑟、直播/小視頻中的編解碼方式
- 視頻編碼格式
- H264
優(yōu)點(diǎn)：低碼率、高質(zhì)量的圖像乍炉、容錯(cuò)能力強(qiáng)绢片、網(wǎng)絡(luò)適應(yīng)性強(qiáng)
最大的優(yōu)勢(shì)是，具有很高的數(shù)據(jù)壓縮比率岛琼，在同等圖像質(zhì)量下底循，H264的壓縮比是MPEG-2的2倍以上，是MEPG-4的1.5~2倍
- H264
- 音頻編碼格式
- AAC
是目前比較熱門的有損壓縮編碼技術(shù)槐瑞，并且衍生出LC-AAC熙涤、HE-AAC、HE-AAC v2三種主要的編碼格式- LC-AAC 是比較傳統(tǒng)的AAC ，主要應(yīng)用于中高碼率的場(chǎng)景（>=80kbit/s）
- HE-AAC 主要應(yīng)用于低碼率場(chǎng)景的編碼（<=48kbit/s）
- 優(yōu)勢(shì)：在小于128kbit/s的碼率下表現(xiàn)優(yōu)異灭袁，并且多用于視頻中的音頻編碼
- AAC
五猬错、YUV顏色模型
1.介紹
平時(shí)開(kāi)發(fā)場(chǎng)景中使用最多的是RGB模型，表示一個(gè)顏色需要三個(gè)數(shù)字茸歧，則需要24bits的空間
YUV是電視系統(tǒng)常用的顏色模型倦炒，它利用了人類視覺(jué)對(duì)亮度的敏感度比色度敏感度高的特點(diǎn)設(shè)計(jì)的。YUV將亮度信息從色度信息中分離出來(lái)软瞎，并且對(duì)同一幀圖像的亮度和色度采用了不同的采樣率逢唤，亮度信息Y與色度信息U/V相互獨(dú)立
現(xiàn)在的YUV是通常用于計(jì)算機(jī)領(lǐng)域來(lái)表示使用YCbCr編碼的文件，所以YUV又可以稱為YCbCr
可以用含有RGB的表達(dá)式來(lái)表示：
Y = kr*R + kg*G + kb*B
Y即亮度涤浇，kr鳖藕、kg、kb即R只锭、G著恩、B的權(quán)重值
3.YUV常見(jiàn)格式
根據(jù)采樣方式可以分為：
- YUV4:4:4
YUV三個(gè)分量具有相同的水平和垂直解析度 - YUV4:2:2
YUV三個(gè)分量具有相同的水平和垂直解析度，但是在水平方向上蜻展，UV兩個(gè)分量的解析度是Y的一半喉誊，即每4個(gè)亮度分量樣本值，對(duì)應(yīng)有2個(gè)U和2個(gè)V色度分量樣本值纵顾。所以表示一個(gè)顏色所需空間比RGB模型少了三分之一 - YUV4:2:0
在水平方向上和垂直方向上伍茄，UV兩個(gè)分量的解析度是Y的一半，即每4個(gè)亮度分量樣本值施逾，對(duì)應(yīng)有1個(gè)U和1個(gè)V色度分量樣本值- NV12 和 NV21都屬于YUV420
