前言
使用VideoToolbox硬編碼H.264
使用VideoToolbox硬解碼H.264
使用AudioToolbox編碼AAC
在上一篇中焕毫，介紹了如何從麥克風(fēng)采集聲音并用AudioToolbox編碼成AAC碼流驶乾，這次是使用AudioToolbox來播放之前錄制的AAC碼流。
介紹
在iOS設(shè)備上播放音頻幸乒，可以使用AVAudioPlayer（AVFoundation框架內(nèi)）唇牧，但是不支持流式播放。
Apple recommends that you use this class for audio playback unless you are playing audio captured from a network stream or require very low I/O latency.
本文嘗試兩種播放方式：
- 使用
AudioServicesPlaySystemSound（音頻小于等于30s）腔召； - 使用Audio Queue Services音頻隊(duì)列扮惦；
Guide
AAC碼流結(jié)構(gòu)圖
AAC原始碼流（又稱為“裸流”）是由一個(gè)一個(gè)的ADTS frame組成的。他們的結(jié)構(gòu)如下圖所示崖蜜。
了解AAC的碼流結(jié)構(gòu)，對Audio Queue Services的參數(shù)設(shè)置更清晰抡柿。
具體實(shí)現(xiàn)
1等恐、使用AudioServicesPlaySystemSound
AudioServicesCreateSystemSoundID創(chuàng)建系統(tǒng)聲音
AudioServicesAddSystemSoundCompletion設(shè)置回調(diào)
AudioServicesPlaySystemSound開始播放
- (void)onClick:(UIButton *)button {
[self.mButton setHidden:YES];
NSURL *audioURL=[[NSBundle mainBundle] URLForResource:@"abc" withExtension:@"aac"];
SystemSoundID soundID;
//Creates a system sound object.
AudioServicesCreateSystemSoundID((__bridge CFURLRef)(audioURL), &soundID);
//Registers a callback function that is invoked when a specified system sound finishes playing.
AudioServicesAddSystemSoundCompletion(soundID, NULL, NULL, &playCallback, (__bridge void * _Nullable)(self));
// AudioServicesPlayAlertSound(soundID);
AudioServicesPlaySystemSound(soundID);
}
- (void)onPlayCallback {
[self.mButton setHidden:NO];
}
以下是API的限制
- No longer than 30 seconds in duration
- In linear PCM or IMA4 (IMA/ADPCM) format
- Packaged in a .caf, .aif, or .wav file
雖然AAC音頻不在支持列表里面备蚓，但是經(jīng)過測試囱稽，播放是可以的。
2流昏、使用Audio Queue Services音頻隊(duì)列
Audio Queue Services的播放步驟如下：
- 1样傍，給buffer填充數(shù)據(jù)铺遂，并把buffer放入就緒的buffer queue；
- 2襟锐，應(yīng)用通知隊(duì)列開始播放；
- 3蚊荣、隊(duì)列播放第一個(gè)填充的buffer莫杈；
- 4、隊(duì)列返回已經(jīng)播放完畢的buffer筝闹，并開始播放下面一個(gè)填充好的buffer；
- 5糊秆、隊(duì)列調(diào)用之前設(shè)置的回調(diào)函數(shù)议双，填充播放完畢的buffer痘番；
-
6、回調(diào)函數(shù)中把buffer填充完畢汞舱，并放入buffer queue中宗雇。
遇到的問題
問題1：malloc錯(cuò)誤
malloc: *** error for object 0x154e58498: incorrect checksum for freed object - object was probably modified after being freed.
Set a breakpoint in malloc_error_break to debug.
問題2：selector調(diào)用錯(cuò)誤
Method cache corrupted. This may be a message to an invalid object, or a memory error somewhere else.
objc[12730]: receiver 0x13fe1d4f0, SEL 0x10004e2d8, isa 0x100051828, cache 0x100051838, buckets 0x13fd86650, mask 0x7, occupied 0x1
objc[12730]: receiver 112 bytes, buckets 128 bytes
objc[12730]: selector 'fillBuffer:'
objc[12730]: isa 'AACPlayer'
objc[12730]: Method cache corrupted.
這兩個(gè)問題是出現(xiàn)在AudioQueueAllocateBuffer方法和fillBuffer的調(diào)用逾礁，而且是時(shí)而正常访惜，時(shí)而崩潰腻扇。
先查看參數(shù)是否正確，通過xcode的debug工具幼苛，我們可以看到以下的數(shù)據(jù)：
(AudioStreamBasicDescription) $0 = {
mSampleRate = 44100
mFormatID = 1633772320
mFormatFlags = 0
mBytesPerPacket = 0
mFramesPerPacket = 1024
mBytesPerFrame = 0
mChannelsPerFrame = 1
mBitsPerChannel = 0
mReserved = 0
}
maxSize = 768
packetNums = 85
(mStartOffset = 0, mVariableFramesInPacket = 0, mDataByteSize = 23)
AudioStreamBasicDescription的參數(shù)很熟悉，因?yàn)榫褪俏覀兩弦黄木幋a所設(shè)置的參數(shù)墙杯。
AudioQueueAllocateBuffer的參數(shù)audioQueue括荡、buffer_size、audioBuffers都很正常畸冲，暫時(shí)排除存在問題的可能性。
fillBuffer方法中算行，有AudioFileReadPackets和AudioQueueEnqueueBuffer兩個(gè)方法苫耸。AudioQueueEnqueueBuffer是把buffer放入到AudioQueue，參數(shù)檢查沒有問題褪子。初步判斷是AudioFileReadPackets存在問題。
通過多次調(diào)試类少，發(fā)現(xiàn)AudioFileReadPackets在偶然情況下回返回-60的情況渔扎，這時(shí)會(huì)導(dǎo)致崩潰。
通過google查到-60對應(yīng)的是kAudioFilePositionError晃痴，回來檢查AudioFileReadPackets的參數(shù)，發(fā)現(xiàn)參數(shù)沒有初始化泣侮，每次調(diào)用的參數(shù)都不同紧唱。
查API文檔知道AudioFileReadPackets的參數(shù)除了audioFileID和cache隶校、packet長度蛹锰，均為傳入?yún)?shù)，參數(shù)是否初始化并不會(huì)影響铜犬。至此，fillBuffer方法的線索斷了癣猾。
回顧了一下整體的流程，決定從malloc錯(cuò)誤入手夸盟，在so上找到以下解釋呐粘。
- you are freeing an object twice,
- you are freeing a pointer that was never allocated
- you are writing through an invalid pointer which previously pointed to an object which was already freed
內(nèi)存訪問越界转捕，怎么會(huì)和selector調(diào)用錯(cuò)誤扯上關(guān)系？百思不得其解五芝。
最后，幾經(jīng)波折終于找到罪魁禍?zhǔn)壮辽尽＞褪且韵逻@行代碼：
audioStreamPacketDescrption = malloc(sizeof(audioStreamPacketDescrption) * packetNums);
當(dāng)我打過一次audioStreamPacketDescrption醉途，再打AudioStreamPacketDescrption的時(shí)候，Xcode會(huì)自動(dòng)索引為audioStreamPacketDescrption隘擎，導(dǎo)致sizeof會(huì)計(jì)算出不同的大小。
PS：按理說對一個(gè)結(jié)構(gòu)體的類和結(jié)構(gòu)體的實(shí)例進(jìn)行sizeof采幌，應(yīng)該是一樣的大姓鹜啊（不算動(dòng)態(tài)分配）。
這個(gè)并沒有錯(cuò)蹲姐，可是為了方便我把a(bǔ)udioStreamPacketDescrption定義成指針了人柿！
兩個(gè)教訓(xùn)：
1忙厌、不要起和類名一樣的變量；
2隘截、指針和實(shí)例的區(qū)別要從名字即可分清汹胃；
總結(jié)
本篇因?yàn)橐粋€(gè)小失誤，導(dǎo)致demo整整弄了6個(gè)多小時(shí)才完工着饥。
播放比解碼容易多，Audio Queue Services的使用就參照demo和上圖的6個(gè)步驟呵哨，可以很清晰看懂轨奄，就不贅述。
順便提一下挪拟，之前錄制的aac音頻和h264可以很方便的打包成mp4！看下圖：
只需簡單的一行指令：
ffmpeg -i abc.h264 -i abc.aac -vcodec copy -f mp4 abc.mp4
