學(xué)習(xí)整理的相關(guān)章節(jié)鏈接：
基礎(chǔ)篇_1.音視頻學(xué)習(xí)框架
基礎(chǔ)篇_2. 顏色空間模型 RBG籍救、YUV脓规、HSV
基礎(chǔ)篇_3.圖像編碼之Bmp
基礎(chǔ)篇_4.音頻基礎(chǔ)概念
基礎(chǔ)篇_5.音頻數(shù)據(jù)采集
基礎(chǔ)篇_6.音頻編碼PCM
基礎(chǔ)篇_7.音頻編碼WAV
基礎(chǔ)篇_8.音頻編碼MP3\AAC
1.MP3
mp3編碼詳細(xì)信息參考如下鏈接
http://www.reibang.com/p/58df71a19901
2.AAC
2.1 AAC概述
AAC是高級(jí)音頻編碼（Advanced Audio Coding）的縮寫(xiě)，出現(xiàn)于1997年售貌，最初是基于MPEG-2的音頻編碼技術(shù)咐鹤。由Fraunhofer IIS粘茄、Dolby Laboratories霸旗、AT&T贷帮、Sony等公司共同開(kāi)發(fā)，目的是取代MP3格式诱告。2000年撵枢，MPEG-4標(biāo)準(zhǔn)出臺(tái)，AAC重新集成了其它技術(shù)（PS,SBR），為區(qū)別于傳統(tǒng)的MPEG-2 AAC锄禽，故含有SBR或PS特性的AAC又稱為MPEG-4 AAC潜必。
AAC是新一代的音頻有損壓縮技術(shù)，它通過(guò)一些附加的編碼技術(shù)（比如PS,SBR等）沃但，衍生出了LC-AAC,HE-AAC,HE-AACv2三種主要的編碼磁滚，LC-AAC就是比較傳統(tǒng)的AAC，相對(duì)而言宵晚，主要用于中高碼率(>=80Kbps)垂攘，HE-AAC(相當(dāng)于AAC+SBR)主要用于中低碼(<=80Kbps)，而新近推出的HE-AACv2(相當(dāng)于AAC+SBR+PS)主要用于低碼率(<=48Kbps）,事實(shí)上大部分編碼器設(shè)成<=48Kbps自動(dòng)啟用PS技術(shù)坝疼，而>48Kbps就不加PS,就相當(dāng)于普通的HE-AAC
2.2AAC規(guī)格簡(jiǎn)述
AAC共有9種規(guī)格搜贤，以適應(yīng)不同的場(chǎng)合的需要：
MPEG-2 AAC LC 低復(fù)雜度規(guī)格（Low Complexity）--比較簡(jiǎn)單谆沃，沒(méi)有增益控制钝凶，但提高了編碼效率，在中等碼率的編碼效率以及音質(zhì)方面唁影，都能找到平衡點(diǎn)
MPEG-2 AAC Main 主規(guī)格
MPEG-2 AAC SSR 可變采樣率規(guī)格（Scaleable Sample Rate）
MPEG-4 AAC LC 低復(fù)雜度規(guī)格（Low Complexity）------現(xiàn)在的手機(jī)比較常見(jiàn)的MP4文件中的音頻部份就包括了該規(guī)格音頻文件
MPEG-4 AAC Main 主規(guī)格 ------包含了除增益控制之外的全部功能耕陷，其音質(zhì)最好
MPEG-4 AAC SSR 可變采樣率規(guī)格（Scaleable Sample Rate）
MPEG-4 AAC LTP 長(zhǎng)時(shí)期預(yù)測(cè)規(guī)格（Long Term Predicition）
MPEG-4 AAC LD 低延遲規(guī)格（Low Delay）
MPEG-4 AAC HE 高效率規(guī)格（High Efficiency）-----這種規(guī)格適合用于低碼率編碼，有
Nero ACC 編碼器支持
目前使用最多的是LC和HE(適合低碼率)据沈。流行的Nero AAC編碼程序只支持LC哟沫，HE，HEv2這三種規(guī)格锌介，編碼后的AAC音頻嗜诀，規(guī)格顯示都是LC。HE其實(shí)就是AAC（LC）+SBR技術(shù)孔祸，HEv2就是AAC（LC）+SBR+PS技術(shù)隆敢；
** Hev1和HEv2用此圖簡(jiǎn)單表示：**
** (圖中AAC即指的是原來(lái)的AAC-LC)**
** HE：“High Efficiency”（高效性）。HE-AAC v1（又稱AACPlusV1崔慧，SBR)拂蝎，用容器的方法實(shí)現(xiàn)了AAC（LC）+SBR技術(shù)。SBR其實(shí)代表的是Spectral Band Replication(頻段復(fù)制)**惶室。簡(jiǎn)要敘述一下温自，音樂(lè)的主要頻譜集中在低頻段，高頻段幅度很小皇钞，但很重要悼泌，決定了音質(zhì)。如果對(duì)整個(gè)頻段編碼夹界，若是為了保護(hù)高頻就會(huì)造成低頻段編碼過(guò)細(xì)以致文件巨大券躁；若是保存了低頻的主要成分而失去高頻成分就會(huì)喪失音質(zhì)。SBR把頻譜切割開(kāi)來(lái)，低頻單獨(dú)編碼保存主要成分也拜，高頻單獨(dú)放大編碼保存音質(zhì)以舒，“統(tǒng)籌兼顧”了，在減少文件大小的情況下還保存了音質(zhì)慢哈，完美的化解這一矛盾蔓钟。
** HEv2：**用容器的方法包含了HE-AAC v1和PS技術(shù)。PS指“parametric stereo”（參數(shù)立體聲）卵贱。原來(lái)的立體聲文件文件大小是一個(gè)聲道的兩倍滥沫。但是兩個(gè)聲道的聲音存在某種相似性，根據(jù)香農(nóng)信息熵編碼定理键俱，相關(guān)性應(yīng)該被去掉才能減小文件大小兰绣。所以PS技術(shù)存儲(chǔ)了一個(gè)聲道的全部信息，然后编振，花很少的字節(jié)用參數(shù)描述另一個(gè)聲道和它不同的地方
2.3 AAC特點(diǎn)
（1）AAC是一種高壓縮比的音頻壓縮算法缀辩，但它的壓縮比要遠(yuǎn)超過(guò)較老的音頻壓縮算法，如AC-3踪央、MP3等臀玄。并且其質(zhì)量可以同未壓縮的CD音質(zhì)相媲美。
（2）同其他類似的音頻編碼算法一樣畅蹂，AAC也是采用了變換編碼算法健无，但AAC使用了分辨率更高的濾波器組，因此它可以達(dá)到更高的壓縮比液斜。
（3）AAC使用了臨時(shí)噪聲重整累贤、后向自適應(yīng)線性預(yù)測(cè)、聯(lián)合立體聲技術(shù)和量化哈夫曼編碼等最新技術(shù)少漆，這些新技術(shù)的使用都使壓縮比得到進(jìn)一步的提高臼膏。
（4）AAC支持更多種采樣率和比特率、支持1個(gè)到48個(gè)音軌检疫、支持多達(dá)15個(gè)低頻音軌讶请、具有多種語(yǔ)言的兼容能力、還有多達(dá)15個(gè)內(nèi)嵌數(shù)據(jù)流屎媳。
（5）AAC支持更寬的聲音頻率范圍夺溢，最高可達(dá)到96kHz，最低可達(dá)8KHz烛谊，遠(yuǎn)寬于MP3的16KHz-48kHz的范圍风响。
（6）不同于MP3及WMA，AAC幾乎不損失聲音頻率中的甚高丹禀、甚低頻率成分状勤，并且比WMA在頻譜結(jié)構(gòu)上更接近于原始音頻鞋怀，因而聲音的保真度更好。專業(yè)評(píng)測(cè)中表明持搜，AAC比WMA聲音更清晰密似，而且更接近原音。
（7）AAC采用優(yōu)化的算法達(dá)到了更高的解碼效率葫盼，解碼時(shí)只需較少的處理能力残腌。
2.4 AAC音頻文件格式
2.4.1. AAC的音頻文件格式有ADIF ＆ ADTS：
ADIF：Audio Data Interchange Format 音頻數(shù)據(jù)交換格式。這種格式的特征是可以確定的找到這個(gè)音頻數(shù)據(jù)的開(kāi)始贫导，不需進(jìn)行在音頻數(shù)據(jù)流中間開(kāi)始的解碼抛猫，即它的解碼必須在明確定義的開(kāi)始處進(jìn)行。故這種格式常用在磁盤(pán)文件中孩灯。
ADTS：Audio Data Transport Stream 音頻數(shù)據(jù)傳輸流闺金。這種格式的特征是它是一個(gè)有同步字的比特流，解碼可以在這個(gè)流中任何位置開(kāi)始峰档。它的特征類似于mp3數(shù)據(jù)流格式败匹。
簡(jiǎn)單說(shuō)，ADTS可以在任意幀解碼面哥，也就是說(shuō)它每一幀都有頭信息哎壳。ADIF只有一個(gè)統(tǒng)一的頭毅待，所以必須得到所有的數(shù)據(jù)后解碼尚卫。且這兩種的header的格式也是不同的，目前一般編碼后的和抽取出的都是ADTS格式的音頻流尸红。兩者具體的組織結(jié)構(gòu)如下所示：
AAC的ADIF格式見(jiàn)下圖：
AAC的ADTS的一般格式見(jiàn)下圖：
圖中表示出了ADTS一幀的簡(jiǎn)明結(jié)構(gòu)吱涉，其兩邊的空白矩形表示一幀前后的數(shù)據(jù)。
2.4.2 ADIF和ADTS的header
ADIF 的頭信息：
ADIF頭信息位于AAC文件的起始處外里，接下來(lái)就是連續(xù)的 raw data blocks怎爵。
組成ADIF頭信息的各個(gè)域如下所示：
ADTS 的固定頭信息：
ADTS的可變頭信息：
（1）幀同步目的在于找出幀頭在比特流中的位置，13818-7規(guī)定盅蝗，aac ADTS格式的幀頭同步字為12比特的“1111 1111 1111”.
（2）ADTS的頭信息為兩部分組成鳖链，其一為固定頭信息，緊接著是可變頭信息墩莫。固定頭信息中的數(shù)據(jù)每一幀都相同芙委，而可變頭信息則在幀與幀之間可變。
2.5 .AAC元素信息
在AAC中狂秦，原始數(shù)據(jù)塊的組成可能有六種不同的元素：
SCE: Single Channel Element單通道元素。單通道元素基本上只由一個(gè)ICS組成。一個(gè)原始數(shù)據(jù)塊最可能由16個(gè)SCE組成儡嘶。
CPE: Channel Pair Element 雙通道元素张峰，由兩個(gè)可能共享邊信息的ICS和一些聯(lián)合立體聲編碼信息組成牛柒。
CCE: Coupling Channel Element 藕合通道元素。代表一個(gè)塊的多通道聯(lián)合立體聲信息或者多語(yǔ)種程序的對(duì)話信息痊乾。
LFE: Low Frequency Element 低頻元素皮壁。包含了一個(gè)加強(qiáng)低采樣頻率的通道。
DSE: Data Stream Element 數(shù)據(jù)流元素哪审，包含了一些并不屬于音頻的附加信息闪彼。
PCE: Program Config Element 程序配置元素。包含了聲道的配置信息协饲。它可能出現(xiàn)在ADIF 頭部信息中畏腕。
FIL: Fill Element 填充元素。包含了一些擴(kuò)展信息茉稠。如SBR描馅，動(dòng)態(tài)范圍控制信息等。
AAC解碼流程
[圖片上傳失敗...(image-eaf24c-1543569949388)]
2.6 AAC解碼流程
如圖：
在主控模塊開(kāi)始運(yùn)行后而线，主控模塊將AAC比特流的一部分放入輸入緩沖區(qū)铭污，通過(guò)查找同步字得到一幀的起始，找到后膀篮，根據(jù)ISO/IEC 13818-7所述的語(yǔ)法開(kāi)始進(jìn)行Noisless Decoding(無(wú)噪解碼)嘹狞，無(wú)噪解碼實(shí)際上就是哈夫曼解碼，通過(guò)反量化(Dequantize)誓竿、聯(lián)合立體聲（Joint Stereo）磅网，知覺(jué)噪聲替換（PNS）,瞬時(shí)噪聲整形（TNS），反離散余弦變換（IMDCT）筷屡，頻段復(fù)制 （SBR）這幾個(gè)模塊之后涧偷，得出左右聲道的PCM碼流，再由主控模塊將其放入輸出緩沖區(qū)輸出到聲音播放設(shè)備毙死。
技術(shù)解析：
1.主控模塊：
所謂的主控模塊燎潮，它的主要任務(wù)是操作輸入輸出緩沖區(qū)，調(diào)用其它各模塊協(xié)同工作扼倘。
其中确封，輸入輸出緩沖區(qū)均由DSP控制模塊提供接口。輸出緩沖區(qū)中將存放的數(shù)據(jù)為解碼出來(lái)的PCM數(shù)據(jù)再菊，代表了聲音的振幅爪喘。它由一塊固定長(zhǎng)度的緩沖區(qū)構(gòu)成，通過(guò)調(diào)用DSP控制模塊的接口函數(shù)袄简，得到頭指針腥放，在完成輸出緩沖區(qū)的填充后，調(diào)用中斷處理輸出至I2S接口所連接的音頻ADC芯片（立體聲音頻DAC和DirectDrive耳機(jī)放大器）輸出模擬聲音绿语。
2.Noisless Decoding(無(wú)噪解碼)：
無(wú)噪編碼就是哈夫曼編碼秃症，它的作用在于進(jìn)一步減少尺度因子和量化后頻譜的冗余候址，
即將尺度因子和量化后的頻譜信息進(jìn)行哈夫曼編碼。全局增益編碼成一個(gè)8位的無(wú)符號(hào)整數(shù)种柑，第一個(gè)尺度因子與全局增益值進(jìn)行差分編碼后再使用尺度因子編碼表進(jìn)行哈夫曼編碼岗仑。后續(xù)的各尺度因子都與前一個(gè)尺度因子進(jìn)行差分編碼。量化頻譜的無(wú)噪編碼有兩個(gè)頻譜系數(shù)的劃分聚请。其一為4元組和2元組的劃分荠雕，另一個(gè)為節(jié)劃分。對(duì)前一個(gè)劃分來(lái)說(shuō)驶赏，確定了一次哈夫曼表查找出的數(shù)值是4個(gè)還是2個(gè)炸卑。對(duì)后一個(gè)劃分來(lái)說(shuō)，確定了應(yīng)該用哪一個(gè)哈夫曼表煤傍，一節(jié)中含有若干的尺度因子帶并且每節(jié)只用一個(gè)哈夫曼表盖文。
——分段
無(wú)噪聲編碼將輸入的1024個(gè)量化頻譜系數(shù)分為幾個(gè)段（section），段內(nèi)的各點(diǎn)均使用
同一個(gè)哈夫曼表蚯姆，考慮到編碼效率五续，每一段的邊界最好同尺度因子帶的邊界重合。所以每一段必段傳送信息應(yīng)該有：段長(zhǎng)度龄恋，所在的尺度因子帶疙驾，使用的哈夫曼表。
——分組和交替
分組是指忽略頻譜系數(shù)所在窗郭毕，將連續(xù)的它碎，具有相同尺度因子帶的頻譜系數(shù)分為一組放在
一起，共享一個(gè)尺度因子從而得到更好的編碼效率铣卡。這樣做必然會(huì)引起交替链韭，即本來(lái)是以
c[組][窗][尺度因子帶][ 系數(shù)索引]為順序的系數(shù)排列偏竟，變?yōu)閷⒊叨纫蜃訋南禂?shù)放在一起： c[組][尺度因子帶][窗][ 系數(shù)索引]
這樣就引起了相同窗的系數(shù)的交替煮落。
——大量化值的處理
大量化值在AAC中有兩種處理方法：在哈夫曼編碼表中使用escape標(biāo)志或使用脈沖
escape方法。前者跟mp3編碼方法相似踊谋，在許多大量化值出現(xiàn)時(shí)采用專門(mén)的哈夫曼表蝉仇，這個(gè)表暗示了它的使用將會(huì)在哈夫曼編碼后面跟跟一對(duì)escape值及對(duì)值的符號(hào)。在用脈沖escape方法時(shí)殖蚕，大數(shù)值被減去一個(gè)差值變?yōu)樾?shù)值轿衔，然后使用哈夫曼表編碼，后面會(huì)跟一個(gè)脈沖結(jié)構(gòu)來(lái)幫助差值的還原.
3.尺度因子解碼及逆量化
在AAC編碼中睦疫，逆量化頻譜系數(shù)是由一個(gè)非均勻量化器來(lái)實(shí)現(xiàn)的害驹，在解碼中需進(jìn)行其逆運(yùn)算。即保持符號(hào)并進(jìn)行4/3次冪運(yùn)算蛤育。在頻域調(diào)整量化噪聲的基本方法就是用尺度因子來(lái)進(jìn)行噪聲整形宛官。尺度因子就是一個(gè)用來(lái)改變?cè)谝粋€(gè)尺度因子帶的所有的頻譜系數(shù)的振幅增益值葫松。使用尺度因子這種機(jī)制是為了使用非均勻量化器在頻域中改變量化噪聲的比特分配。
——尺度因子帶（scalefactor-band）
頻率線根據(jù)人耳的聽(tīng)覺(jué)特性被分成多個(gè)組底洗，每個(gè)組對(duì)應(yīng)若干個(gè)尺度因子腋么，這些組就叫做尺度因子帶。為了減少信息含有短窗的邊信息亥揖，連續(xù)的短窗可能會(huì)被分為一組珊擂，即將若干個(gè)短窗當(dāng)成一個(gè)窗口一起傳送，然后尺度因子將會(huì)作用到所有分組后的窗口去费变。
4.聯(lián)合立體聲(Joint Stereo)
聯(lián)合立體聲的是對(duì)原來(lái)的取樣進(jìn)行的一定的渲染工作摧扇，使聲音更”好聽(tīng)”些。
5.知覺(jué)噪聲替換（PNS）
知覺(jué)噪聲替換模塊是一種以參數(shù)編碼的方式模擬噪聲的模塊挚歧。在判別出音頻值中的噪
聲后扳剿，將這些噪聲不進(jìn)行量化編碼，而是采用一些參數(shù)告訴解碼器端這是某種噪聲昼激，然后解碼器端將會(huì)對(duì)這些噪聲用一些隨機(jī)的編碼來(lái)制造出這一類型的噪聲庇绽。
在具體操作上，PNS模塊對(duì)每個(gè)尺度因子帶偵測(cè)頻率4kHz以下的信號(hào)成分橙困。如果這個(gè)
信號(hào)既不是音調(diào)瞧掺，在時(shí)間上也無(wú)強(qiáng)烈的能量變動(dòng)，就被認(rèn)為是噪聲信號(hào)凡傅。其信號(hào)的音調(diào)及能量變化都在心理聲學(xué)模型中算出辟狈。
在解碼中，如果發(fā)現(xiàn)使用了哈夫曼表13(NOISE_HCB)夏跷，則表明使用了PNS哼转。由于M/S立體聲解碼與PNS解碼互斥，故可以用參數(shù)ms_used來(lái)表明是否兩個(gè)聲道都用同樣的PNS槽华。如果 ms_used參數(shù)為1壹蔓，則兩個(gè)聲道會(huì)用同樣的隨機(jī)向量來(lái)生成噪聲信號(hào)。PNS的能量信號(hào)用noise_nrg來(lái)表示猫态，如果使用了PNS佣蓉，則能量信號(hào)將會(huì)代替各自的尺度因子來(lái)傳送。噪聲能量編碼同尺度因子一樣亲雪，采用差分編碼的方式勇凭。第一個(gè)值同樣為全局增益值。它同強(qiáng)度立體聲位置值及尺度因子交替地放在一起义辕，但對(duì)差分解碼來(lái)說(shuō)又彼此忽略虾标。即下一個(gè)噪聲能量值以上一個(gè)噪聲能量值而不是強(qiáng)度立體聲位置或尺度因子為標(biāo)準(zhǔn)差分解碼。隨機(jī)能量將會(huì)在一個(gè)尺度因子帶內(nèi)產(chǎn)生noise_nrg所計(jì)算出的平均能量分布灌砖。此項(xiàng)技術(shù)只有在MPEG-4 AAC中才會(huì)使用璧函。
6.瞬時(shí)噪聲整形（TNS）
這項(xiàng)神奇的技術(shù)可以通過(guò)在頻率域上的預(yù)測(cè)贞让，來(lái)修整時(shí)域上的量化噪音的分布。在一
些特殊的語(yǔ)音和劇烈變化信號(hào)的量化上柳譬，TNS技術(shù)對(duì)音質(zhì)的提高貢獻(xiàn)巨大喳张！TNS瞬態(tài)噪聲整形用于控制一個(gè)轉(zhuǎn)換窗口內(nèi)的瞬時(shí)噪聲形態(tài)。它是用一個(gè)對(duì)單個(gè)通道的濾波過(guò)程來(lái)實(shí)現(xiàn)的美澳。傳統(tǒng)的變換編碼方案常常遇到信號(hào)在時(shí)域變化非常劇烈的問(wèn)題销部，特別是語(yǔ)音信號(hào)，這個(gè)問(wèn)題是因?yàn)榱炕蟮脑肼暦植茧m然在頻率域上得到控制制跟，但在時(shí)域上卻以一個(gè)常數(shù)分布在一個(gè)轉(zhuǎn)換塊內(nèi)舅桩。如果這種塊中信號(hào)變化得很劇烈卻又不轉(zhuǎn)向一個(gè)短塊去，那這個(gè)常數(shù)分布的噪聲將會(huì)被聽(tīng)到雨膨。TNS的原理利用了時(shí)域和頻域的二元性和LPC(線性預(yù)測(cè)編碼)的時(shí)頻對(duì)稱性擂涛，即在其中的任意一個(gè)域上做編碼與在另一域上做預(yù)測(cè)編碼等效，也就是說(shuō)聊记，在一個(gè)域內(nèi)做預(yù)測(cè)編碼可以在另一域內(nèi)增加其解析度撒妈。量化噪聲產(chǎn)生是在頻域產(chǎn)生的，降低了時(shí)域的解析度排监，故在這里是在頻域上做預(yù)測(cè)編碼狰右。在AACplus中，由于基于AAC profile LC舆床，故TNS的濾波器階數(shù)被限制在 12階以內(nèi)棋蚌。
7.反離散余弦變換（IMDCT）
將音頻數(shù)據(jù)從頻域轉(zhuǎn)換到時(shí)域的過(guò)程主要是由將頻域數(shù)據(jù)填入一組IMDCT濾波器來(lái)實(shí)現(xiàn)的。在進(jìn)行IMDCT變換后挨队，輸出數(shù)值經(jīng)過(guò)加窗谷暮，疊加，最后得到時(shí)域數(shù)值盛垦。
8.頻段復(fù)制（SBR）
簡(jiǎn)要敘述湿弦，音樂(lè)的主要頻譜集中在低頻段，高頻段幅度很小情臭，但很重要省撑，決定了
音質(zhì)。如果對(duì)整個(gè)頻段編碼俯在，若是為了保護(hù)高頻就會(huì)造成低頻段編碼過(guò)細(xì)以致文件巨大；若是保存了低頻的主要成分而失去高頻成分就會(huì)喪失音質(zhì)娃惯。SBR把頻譜切割開(kāi)來(lái)跷乐，低頻單獨(dú)編碼保存主要成分，高頻單獨(dú)放大編碼保存音質(zhì)趾浅，“統(tǒng)籌兼顧”了愕提，在減少文件大小的情況下還保存了
音質(zhì)馒稍，完美的化解這一矛盾。
9.參數(shù)立體聲(PS）
對(duì)于之前的立體聲文件來(lái)說(shuō)浅侨，其文件大小是單聲道的兩倍纽谒，但是兩個(gè)聲道的聲音存在
某種相似性，根據(jù)香農(nóng)信息熵編碼定理如输，相關(guān)性應(yīng)該被去掉才能減小文件大小鼓黔。所以PS技術(shù)存儲(chǔ)了一個(gè)聲道的全部信息，之后不见，用很少的字節(jié)當(dāng)作參數(shù)來(lái)描述另一個(gè)聲道和它不同的地方澳化。
