AudioUnit是什么？ 它是ios端進(jìn)行音視頻采集的框架朝卒，最全证逻，最屌的！但是缺點(diǎn)就是學(xué)習(xí)成本大抗斤，但是大沒(méi)關(guān)系囚企，既然您已經(jīng)看到這里丈咐，想必就是想搞音視頻，這點(diǎn)小的困難應(yīng)該能克服的洞拨。
我這邊就先看怎么用扯罐，用完在講講具體的是什么東西比較好，這也是我一向?qū)W習(xí)新東西的習(xí)慣和方法烦衣，這個(gè)世界上的理論很多歹河，真理也很多，我們可以選擇接收和不接受花吟，如果你看看下面的實(shí)現(xiàn)結(jié)果如果不滿意就可以直接關(guān)閉秸歧，如果有興趣可以歡迎一直看下去咯！
廢話不多說(shuō)了衅澈，我也沒(méi)時(shí)間了键菱，直接介紹：
操作流程:
no1:?描述音頻元件：?kAudioUnitType_Output。kAudioUnitSubType_RemoteIO/kAudioUnitManufacturerApple? ?這個(gè)知道就行今布，不需要了解
no2: 使用AudioComponentFindNext : 這個(gè)就當(dāng)作是生產(chǎn)AudioUnit 的工廠
no3 ：?AudioComponentInstanceNew： 顧名思義经备，就是Audio Unit 的實(shí)例
no4:??AudioUnitSetProperty函數(shù)為錄制和回放開啟IO
no5: 使用 AudioStreamBasicDescription 結(jié)構(gòu)體描述音頻格式，并使用AudioUnitSetProperty進(jìn)行設(shè)置
no6:?使用 AudioUnitSetProperty 設(shè)置音頻錄制與放播的回調(diào)函數(shù)
no7:?分配緩沖區(qū)
no8: 初始化Audio Unit
no9: 啟動(dòng)Audio? Unit
理論：
Core Audio
數(shù)字音頻處理的基礎(chǔ)設(shè)施部默，它是應(yīng)用程序用來(lái)處理音頻的一組軟件框架侵蒙，所有關(guān)于iOS音頻開發(fā)的接口都是由Core Audio來(lái)提供或者經(jīng)過(guò)它提供的接口來(lái)進(jìn)行封裝的。Apple官方對(duì)Core Audio的框架分層圖示如下：
OutputOnlyWithRenderCallback_2x.png
較復(fù)雜的構(gòu)建
輸入端有兩路音頻流傅蹂，都是通過(guò)rendercallback方式抓取數(shù)據(jù)纷闺，其中一路音頻流直接給入到Mixer Unit中，另一路先經(jīng)過(guò)EQ Unit處理后給入到Mixer Unit中份蝴，
OutputOnlyWithRenderCallbackExtended_2x.png
Tips
1. 多線程及內(nèi)存管理
盡可能的避免render callback方法內(nèi)做加鎖及處理耗時(shí)較高的操作犁功，這樣可以最大限度的提升實(shí)時(shí)性能，如果播放數(shù)據(jù)或者采集數(shù)據(jù)存在不同線程讀寫的情況婚夫，必需要加鎖保護(hù)浸卦，推薦pthread相關(guān)lock方法性能比其它鎖要高
音頻的輸入輸出一般都是一個(gè)持續(xù)的過(guò)程，在采集與播放的callback中案糙，應(yīng)盡量復(fù)用buffer及避免多次buffer拷貝限嫌，而不是每次回調(diào)都重新申請(qǐng)和釋放，在適當(dāng)?shù)奈恢眉由螥autoreleasepool避免長(zhǎng)時(shí)間運(yùn)行內(nèi)存不斷上漲
2. 格式
Core Audio Type中定義了AudioStreamBasicDescription結(jié)構(gòu)侍筛，Audio Unit及其它很多音頻API對(duì)格式的配置都需要用到它萤皂，根據(jù)需要將該結(jié)構(gòu)的信息填充正確，下面是44.1K,stereo,16bit的填充例子
audioDescription.mSampleRate = 44100;
audioDescription.mChannelsPerFrame = 2;
audioDescription.mBitsPerChannel = 16;
audioDescription.mFramesPerPacket = 1;
audioDescription.mFormatID = kAudioFormatLinearPCM;
audioDescription.mFormatFlags = kLinearPCMFormatFlagIsSignedInteger | kAudioFormatFlagIsPacked;
audioDescription.mBytesPerFrame = (audioDescription.mBitsPerChannel/8) * audioDescription.mChannelsPerFrame;
audioDescription.mBytesPerPacket = audioDescription.mBytesPerFrame ;
蘋果官方建議在整個(gè)Audio Processing Graph或者Unit之間盡量以相同的音頻格式流通匣椰，盡管Audio Unit的輸入輸出可以不同裆熙。另外在Unit之間輸入輸出連接點(diǎn)要保持一致。
3. 音質(zhì)
在使用過(guò)程中，Audio Unit的format是可以動(dòng)態(tài)改變的入录，但存在一種情況蛤奥，Unit在銷毀前最好恢復(fù)到默認(rèn)創(chuàng)建時(shí)的format，否則在銷毀后再重建Unit后僚稿，可能出現(xiàn)播放音質(zhì)變差（音量變小凡桥，聲音粗糙）的情況。
在使用VoiceProcessing I/O Unit過(guò)程蚀同，遇到在有些iphone上開啟揚(yáng)聲器后缅刽，Unit從Mic采集過(guò)來(lái)的數(shù)據(jù)為空或者噪音的情況，從APP STORE中下載了其它的VOIP類型的APP也同樣存在該問(wèn)題蠢络，后來(lái)將AudioUnitSubType改成RemoteIO類型后衰猛，問(wèn)題消失，懷疑蘋果在VoiceProcessing Unit上對(duì)回聲消除功能的處理上有bug
4. AudioSession
既然使用了音頻特性刹孔，就會(huì)用到AudioSession啡省，隨著功能需求跟進(jìn)，與它相關(guān)的問(wèn)題也瞞多的髓霞，比如路由管理（聽筒揚(yáng)聲器卦睹、線控耳機(jī)、藍(lán)牙耳機(jī)）方库，打斷處理(interruption结序、iphone call)等，這里以Audio Unit為主薪捍，就不對(duì)它進(jìn)行詳細(xì)描述了笼痹，需要注意的是
音頻的路由變更（用戶挺拔耳機(jī)配喳，或者代碼調(diào)用強(qiáng)制切換）涉及到iOS硬件上輸入和輸出設(shè)備的改變酪穿，I/O類型Unit的采集和播放線程在切換過(guò)程中會(huì)阻塞一定時(shí)間（200ms左右），如果是語(yǔ)音對(duì)講類對(duì)實(shí)時(shí)性要求較高的應(yīng)用場(chǎng)景要考慮丟包策略晴裹。
在APP前臺(tái)工作時(shí)被济，iPhone來(lái)電或者用戶主動(dòng)切換到其它音頻類APP后，要及時(shí)處理音頻的打斷機(jī)制涧团，在恰當(dāng)?shù)臅r(shí)機(jī)停止及恢復(fù)Unit的工作只磷，由于iOS平臺(tái)對(duì)資源的獨(dú)占方式，iPhone在通話等操作時(shí)泌绣，APP中的Unit是無(wú)法初始化或者繼續(xù)工作的钮追。
作者：MasonFu
鏈接：http://www.reibang.com/p/5d18180c69b8
來(lái)源：簡(jiǎn)書
著作權(quán)歸作者所有。商業(yè)轉(zhuǎn)載請(qǐng)聯(lián)系作者獲得授權(quán)阿迈，非商業(yè)轉(zhuǎn)載請(qǐng)注明出處元媚。
