最近在玩一個(gè)類似小咖秀的項(xiàng)目瞪浸，所以對(duì)AVFoundation有了一些的研究侦副。這是AVFoundation的第一篇嚼松，準(zhǔn)備先介紹一些AVFoundation中的基礎(chǔ)知識(shí)
音頻采樣
大自然中的聲音亩钟，他的形態(tài)是一種波焙蚓。我們通過采樣，將這種波量化成數(shù)據(jù)话速，記錄下來讶踪，如下圖所示：
如上圖所示，采樣的數(shù)據(jù)并不能完整的還原出原來的波形尿孔，只能做到盡量接近原波形俊柔。并且采樣率（采樣的次數(shù)）越高，波形越接近原波形活合。不過采樣的次數(shù)增多雏婶，必然會(huì)導(dǎo)致存儲(chǔ)的數(shù)據(jù)量要增加，所以我們不可能無限提升采樣率白指。經(jīng)過長(zhǎng)期的研究人們發(fā)現(xiàn)留晚，當(dāng)采樣率等于波形中最高頻率的2倍時(shí)，已經(jīng)足夠?qū)⒉ㄐ芜€原到可接受的程度了告嘲。這個(gè)頻率稱為奈奎斯特頻率错维。人耳能接受的最高頻率為20kHz，所以只要采樣率超過40kHz橄唬，就可以呈現(xiàn)出可接受的聲音赋焕。目前常見的CD采樣率為44.1kHz。
除了采樣率之外仰楚，音頻采樣還有一個(gè)重要參數(shù)叫做音頻的位元深度隆判。表示用多少位(bit)定義線性維度上的離散度來保存一個(gè)音頻樣本。位數(shù)越高僧界，離散度越多侨嘀，表示的聲音越精確（音質(zhì)越好）。一般來說16bit比較常見捂襟，可以表示65536個(gè)離散度咬腕。
一個(gè)音頻文件的體積，有如下算法：體積=采樣率*位元深度*音道數(shù)*時(shí)間葬荷。
音頻壓縮
對(duì)聲音進(jìn)行采樣涨共、量化過程被稱為脈沖編碼調(diào)制（Pulse Code Modulation）纽帖，直接脈沖編碼調(diào)制(Linear Pulse Code Modulation)產(chǎn)生的數(shù)據(jù)稱為L(zhǎng)inear PCM數(shù)據(jù)，LPCM數(shù)據(jù)是最原始的音頻數(shù)據(jù)完全無損煞赢，但是他的體積非常大抛计，比如一個(gè)44.1kHz哄孤，16bit照筑，雙音道的音頻文件，每分鐘的數(shù)據(jù)量為44.1*16*2*60kbit=10.3M瘦陈。一個(gè)普通5分鐘的音樂就得50M凝危，這個(gè)數(shù)據(jù)量對(duì)普通用戶來說是過于龐大的。
為了解決這個(gè)問題晨逝，誕生了一系列的壓縮算法蛾默，其中主要分為有無損壓縮（ALAC、APE捉貌、FLAC）和有損壓縮（MP3支鸡、AAC、OGG趁窃、WMA）兩種牧挣。其具體的壓縮算法對(duì)應(yīng)到AVFoundation的CoreAudioTypes.h中有：
CF_ENUM(AudioFormatID)
{
kAudioFormatLinearPCM = 'lpcm',
kAudioFormatAC3 = 'ac-3',
kAudioFormat60958AC3 = 'cac3',
kAudioFormatAppleIMA4 = 'ima4',
kAudioFormatMPEG4AAC = 'aac ',
kAudioFormatMPEG4CELP = 'celp',
kAudioFormatMPEG4HVXC = 'hvxc',
kAudioFormatMPEG4TwinVQ = 'twvq',
kAudioFormatMACE3 = 'MAC3',
kAudioFormatMACE6 = 'MAC6',
kAudioFormatULaw = 'ulaw',
kAudioFormatALaw = 'alaw',
kAudioFormatQDesign = 'QDMC',
kAudioFormatQDesign2 = 'QDM2',
kAudioFormatQUALCOMM = 'Qclp',
kAudioFormatMPEGLayer1 = '.mp1',
kAudioFormatMPEGLayer2 = '.mp2',
kAudioFormatMPEGLayer3 = '.mp3',
kAudioFormatTimeCode = 'time',
kAudioFormatMIDIStream = 'midi',
kAudioFormatParameterValueStream = 'apvs',
kAudioFormatAppleLossless = 'alac',
kAudioFormatMPEG4AAC_HE = 'aach',
kAudioFormatMPEG4AAC_LD = 'aacl',
kAudioFormatMPEG4AAC_ELD = 'aace',
kAudioFormatMPEG4AAC_ELD_SBR = 'aacf',
kAudioFormatMPEG4AAC_ELD_V2 = 'aacg',
kAudioFormatMPEG4AAC_HE_V2 = 'aacp',
kAudioFormatMPEG4AAC_Spatial = 'aacs',
kAudioFormatAMR = 'samr',
kAudioFormatAMR_WB = 'sawb',
kAudioFormatAudible = 'AUDB',
kAudioFormatiLBC = 'ilbc',
kAudioFormatDVIIntelIMA = 0x6D730011,
kAudioFormatMicrosoftGSM = 0x6D730031,
kAudioFormatAES3 = 'aes3',
kAudioFormatEnhancedAC3 = 'ec-3'
};
色彩二次抽樣
經(jīng)過大量的研究表明，人的眼睛對(duì)亮度非常敏感醒陆，但是對(duì)色彩信息比較遲鈍瀑构。色彩二次抽樣是指在原有的圖片樣本中，二次抽樣刨摩，減少對(duì)色彩信息的抽樣寺晌，而達(dá)到減小圖片體積（樣本數(shù)減小）澡刹，又不怎么影響圖片質(zhì)量（眼睛對(duì)色彩不敏感）的效果呻征。
視頻數(shù)據(jù)使用的是YCbCr的顏色模型，YCbCr也稱為YUV罢浇。其中Y表示亮度分量陆赋，Cb表示藍(lán)色分量，Cr表示紅色分量己莺。
常用的YCbCr有4:4:4奏甫、4:2:2、4:2:0凌受、4:1:1阵子。
- 4:4:4 亮度和色彩信息的比值為1:1，所有色彩信息都會(huì)被抽樣胜蛉，也就是全彩挠进。
- 4:2:2 亮度和色彩信息的比值為2:1色乾，只有1/2的色彩信息被抽樣
- 4:2:0和4:1:1 亮度和色彩信息比值為4:1，只有1/4的色彩信息被抽樣
對(duì)應(yīng)到AVFoundation的CVImageBuffer.h中有：
CV_EXPORT const CFStringRef CV_NONNULL kCVImageBufferChromaSubsamplingKey __OSX_AVAILABLE_STARTING(__MAC_10_5,__IPHONE_4_0); // CFString/CFNumber with one of the following values
CV_EXPORT const CFStringRef CV_NONNULL kCVImageBufferChromaSubsampling_420 __OSX_AVAILABLE_STARTING(__MAC_10_5,__IPHONE_4_0);
CV_EXPORT const CFStringRef CV_NONNULL kCVImageBufferChromaSubsampling_422 __OSX_AVAILABLE_STARTING(__MAC_10_5,__IPHONE_4_0);
CV_EXPORT const CFStringRef CV_NONNULL kCVImageBufferChromaSubsampling_411 __OSX_AVAILABLE_STARTING(__MAC_10_5,__IPHONE_4_0);
一些特別專業(yè)的相機(jī)可能會(huì)用到4:4:4參數(shù)捕捉圖片领突，大部分情況下會(huì)用4:2:2參數(shù)暖璧，普通的攝像頭（如：iPhone攝像頭）一般都是4:2:0、4:1:1
H.264
跟音頻文件相比君旦，視頻文件體積更大澎办。我們平時(shí)使用的視頻文件都是經(jīng)過壓縮處理的。大部分音視頻都使用編解碼器(codec)來進(jìn)行壓縮和解壓金砍，iOS中使用的主要編解碼器標(biāo)準(zhǔn)為H.264局蚀，H.264對(duì)應(yīng)AVFoundation的AVVideoSettings.h中：
AVF_EXPORT NSString *const AVVideoCodecKey /* NSString (CMVideoCodecType) */ NS_AVAILABLE(10_7, 4_0);
AVF_EXPORT NSString *const AVVideoCodecH264 /* @"avc1" */ NS_AVAILABLE(10_7, 4_0);
H.264通過空間和時(shí)間2個(gè)維度來壓縮體積：
- 空間：空間上的壓縮獨(dú)立于視頻幀，也稱為幀內(nèi)壓縮恕稠。主要通過壓縮圖片的方式（如色彩二次抽樣等）來減小體積琅绅，幀內(nèi)壓縮一般為有損壓縮
- 時(shí)間：時(shí)間上的壓縮也稱為幀間壓縮。視頻是由連續(xù)的幀（圖片）組成鹅巍。一段視頻中（很多張圖片）有很多不變的冗余元素千扶，通過減小這些冗余元素來達(dá)到壓縮的目的，這就是幀間壓縮骆捧，幀間壓縮一般為無損壓縮
H.264有3種profile澎羞，用于確定編碼過程中幀間壓縮使用的算法:
- BaseLine：這個(gè)標(biāo)準(zhǔn)提供了最低效的壓縮，經(jīng)過這個(gè)標(biāo)準(zhǔn)壓縮后的文件體積任然比較大凑懂，但是這種算法計(jì)算強(qiáng)度最小
- Main：這個(gè)標(biāo)準(zhǔn)的計(jì)算強(qiáng)度比BaseLine大煤痕，但是能達(dá)到更高的壓縮效果
- High：這個(gè)標(biāo)準(zhǔn)能達(dá)到最高質(zhì)量的壓縮效果，但他的壓縮算法最復(fù)雜
H.264除了profile還有一個(gè)等級(jí)(Level)標(biāo)準(zhǔn)接谨，Level是對(duì)自身特性的一些描述(碼率摆碉，分辨率,fps等)，Level越高脓豪，視頻的碼率巷帝、分辨率、fps越高扫夜。
對(duì)應(yīng)AVfoundation的AVVideoSettings.h中：
AVF_EXPORT NSString *const AVVideoProfileLevelKey /* NSString, H.264 only, one of: */ NS_AVAILABLE(10_8, 4_0);
AVF_EXPORT NSString *const AVVideoProfileLevelH264Baseline30 /* Baseline Profile Level 3.0 */ NS_AVAILABLE(10_8, 4_0);
AVF_EXPORT NSString *const AVVideoProfileLevelH264Baseline31 /* Baseline Profile Level 3.1 */ NS_AVAILABLE(10_8, 4_0);
AVF_EXPORT NSString *const AVVideoProfileLevelH264Baseline41 /* Baseline Profile Level 4.1 */ NS_AVAILABLE(10_8, 5_0);
AVF_EXPORT NSString *const AVVideoProfileLevelH264BaselineAutoLevel /* Baseline Profile Auto Level */ NS_AVAILABLE(10_9, 7_0);
AVF_EXPORT NSString *const AVVideoProfileLevelH264Main30 /* Main Profile Level 3.0 */ NS_AVAILABLE(10_8, 4_0);
AVF_EXPORT NSString *const AVVideoProfileLevelH264Main31 /* Main Profile Level 3.1 */ NS_AVAILABLE(10_8, 4_0);
AVF_EXPORT NSString *const AVVideoProfileLevelH264Main32 /* Main Profile Level 3.2 */ NS_AVAILABLE(10_8, 5_0);
AVF_EXPORT NSString *const AVVideoProfileLevelH264Main41 /* Main Profile Level 4.1 */ NS_AVAILABLE(10_8, 5_0);
AVF_EXPORT NSString *const AVVideoProfileLevelH264MainAutoLevel /* Main Profile Auto Level */ NS_AVAILABLE(10_9, 7_0);
AVF_EXPORT NSString *const AVVideoProfileLevelH264High40 /* High Profile Level 4.0 */ NS_AVAILABLE(10_9, 6_0);
AVF_EXPORT NSString *const AVVideoProfileLevelH264High41 /* High Profile Level 4.1 */ NS_AVAILABLE(10_9, 6_0);
AVF_EXPORT NSString *const AVVideoProfileLevelH264HighAutoLevel /* High Profile Auto Level */ NS_AVAILABLE(10_9, 7_0);
一些移動(dòng)設(shè)備（手機(jī)楞泼、游戲機(jī)、PMP）由于性能有限笤闯，不支持全部高級(jí)視頻壓縮特性和高分辨率圖像堕阔，只支持基礎(chǔ)壓縮特性和分辨率低一些的圖像。
視頻碼率(bitRate)
碼率是指單位時(shí)間內(nèi)傳輸?shù)臄?shù)據(jù)位數(shù)颗味。視頻體積=視頻碼率*時(shí)間超陆，由此可見固定長(zhǎng)度的視頻，碼率是決定大小的唯一因素浦马。視頻碼率決定著視頻的壓縮效果时呀，也決定了視頻是質(zhì)量张漂。碼率越高，質(zhì)量越好谨娜，體積越大航攒。碼率越低，體積越小趴梢，視頻質(zhì)量也越差漠畜。
編碼時(shí)，根據(jù)碼率可以分為固定碼率(CBR)編碼和可變碼率(VBR)編碼垢油。
- 固定碼率：指編碼器輸出的碼率一直為一個(gè)固定值盆驹，這種編碼方式計(jì)算量小圆丹，編碼速度快滩愁，但是編碼效果不怎么好。對(duì)于畫面變化大的視頻片段辫封，由于碼率限制硝枉，導(dǎo)致視頻非常模糊，然而對(duì)于畫面變化小的片段倦微，卻會(huì)造成碼率浪費(fèi)妻味。
- 可變碼率：指編碼器的輸出碼率可以根據(jù)編碼器的輸入源信號(hào)的復(fù)雜度自適應(yīng)的調(diào)整，這種方式編碼效果比較好
碼率對(duì)應(yīng)于AVFoundation中AVVideoSettings.h：
AVF_EXPORT NSString *const AVVideoAverageBitRateKey /* NSNumber (bits per second, H.264 only) */ NS_AVAILABLE(10_7, 4_0);
Reference
AV Foundation 開發(fā)秘籍
iOS音頻播放 (一)：概述
H.264中profile和level
音頻的位元深度
奈奎斯特頻率
