音頻編碼

音頻基礎(chǔ)知識

PCM格式
pcm是經(jīng)過話筒錄音后直接得到的未經(jīng)壓縮的數(shù)據(jù)流
數(shù)據(jù)大小=采樣頻率采樣位數(shù)聲道*秒數(shù)/8
采樣頻率一般是44k，位數(shù)一般是8位或者16位，聲道一般是單聲道或者雙聲道
pcm屬于編碼格式农曲，就是一串由多個(gè)樣本值組成的數(shù)據(jù)流翁都，本身沒有任何頭信息或者幀的概念。如果不是音頻的錄制者，光憑一段PCM數(shù)據(jù)描扯，是沒有辦法知道它的采樣率等信息的。

AAC格式
初步了解趟薄，AAC文件可以沒有文件頭绽诚，全部由幀序列組成，每個(gè)幀由幀頭和數(shù)據(jù)部分組成。幀頭包含采樣率恩够、聲道數(shù)卒落、幀長度等，有點(diǎn)類似MP3格式蜂桶。

AAC編碼
初始化編碼轉(zhuǎn)換器

-(BOOL)createAudioConvert{
     if(m_converter != nil){
         return TRUE;
     }
    AudioStreamBasicDescription inputFormat  =  {0};
    inputFormat.mSampleRate = _configuration.audioSampleRate;
    inputFormat.mFormatID     = kAudioFormatLinearPCM;
    inputFormat.mFormatFlags = kAudioFormatFlagIsSignedInteger | kAudioFormatFlagsNativeEndian | kAudioFormatFlagIsPacked;
    inputFormat.mChannelsPerFrame = (UInt32)_configuration.numberOfChannels;
    inputFormat.mFramesPerPacket = 1; 
    inputFormat.mBitsPerChannel = 16;
    inputFormat.mBytesPerFrame = inputFormat.mBitsPerChannel / 8 * inputFormat.mChannelsPerFrame; 
    inputFormat.mBytesPerPacket = inputFormat.mBytesPerFrame * inputFormat.mFramesPerPacket;

    AudioStreamBasicDescription outputFormat; // 這里開始是輸出音頻格式
    memset(&outputFormat, 0, sizeof(outputFormat)); 
    outputFormat.mSampleRate = inputFormat.mSampleRate; // 采樣率保持一致 
    outputFormat.mFormatID = kAudioFormatMPEG4AAC; // AAC編碼 kAudioFormatMPEG4AAC kAudioFormatMPEG4AAC_HE_V2 
    outputFormat.mChannelsPerFrame = (UInt32)_configuration.numberOfChannels;;
    outputFormat.mFramesPerPacket = 1024; // AAC一幀是1024個(gè)字節(jié) 
    const OSType subtype = kAudioFormatMPEG4AAC; 
    AudioClassDescription requestedCodecs[2] = { 
       {
           kAudioEncoderComponentType, 
           subtype,
           kAppleSoftwareAudioCodecManufacturer 
       }, 
       {
           kAudioEncoderComponentType, 
           subtype,
           kAppleHardwareAudioCodecManufacturer 
        } 
    };
    OSStatus result = AudioConverterNewSpecific(&inputFormat, &outputFormat, 2, requestedCodecs, &m_converter); 

    if(result != noErr) return NO; 
    return YES; 
}

編碼轉(zhuǎn)換

char *aacBuf;
if(!aacBuf){
    aacBuf = malloc(inBufferList.mBuffers[0].mDataByteSize);
}
// 初始化一個(gè)輸出緩沖列表 
AudioBufferList outBufferList; 
outBufferList.mNumberBuffers = 1; 
outBufferList.mBuffers[0].mNumberChannels = inBufferList.mBuffers[0].mNumberChannels; 
outBufferList.mBuffers[0].mDataByteSize = inBufferList.mBuffers[0].mDataByteSize; // 設(shè)置緩沖區(qū)大小 
outBufferList.mBuffers[0].mData = aacBuf; // 設(shè)置AAC緩沖區(qū) UInt32 
outputDataPacketSize = 1; 
if (AudioConverterFillComplexBuffer(m_converter, inputDataProc, &inBufferList, &outputDataPacketSize, &outBufferList, NULL) != noErr){ 
   return; 
} 
AudioFrame *audioFrame = [AudioFrame new]; 
audioFrame.timestamp = timeStamp;
 audioFrame.data = [NSData dataWithBytes:aacBuf length:outBufferList.mBuffers[0].mDataByteSize];
 char exeData[2]; 
exeData[0] = _configuration.asc[0]; 
exeData[1] = _configuration.asc[1]; 
audioFrame.audioInfo =[NSData dataWithBytes:exeData length:2];

在Ios中儡毕，實(shí)現(xiàn)打開和捕獲麥克風(fēng)大多是用的AVCaptureSession這個(gè)組件來實(shí)現(xiàn)的，它可以不僅可以實(shí)現(xiàn)音頻捕獲扑媚，還可以實(shí)現(xiàn)視頻的捕獲腰湾。
針對打開麥克風(fēng)和捕獲音頻的代碼，簡單的整理了一下：

首先疆股，我們需要定義一個(gè)AVCaptureSession類型的變量费坊，它是架起在麥克風(fēng)設(shè)備和數(shù)據(jù)輸出上的一座橋，通過它可以方便的得到麥克風(fēng)的實(shí)時(shí)原始數(shù)據(jù)旬痹。

    AVCaptureSession  *m_capture;

同時(shí)附井，定義一組函數(shù)，用來打開和關(guān)閉麥克風(fēng)两残；為了能使數(shù)據(jù)順利的導(dǎo)出永毅，你還需要實(shí)現(xiàn)AVCaptureAudioDataOutputSampleBufferDelegate這個(gè)協(xié)議

    -(void)open;  
    -(void)close;  
    -(BOOL)isOpen;

下面我們將分別實(shí)現(xiàn)上述參數(shù)函數(shù)，來完成數(shù)據(jù)的捕獲

-(void)open {  
    NSError *error;  
    m_capture = [[AVCaptureSession alloc]init];  
    AVCaptureDevice *audioDev = [AVCaptureDevice defaultDeviceWithMediaType:AVMediaTypeAudio];  
    if (audioDev == nil)  
    {  
        CKPrint("Couldn't create audio capture device");  
        return ;  
    }  
      
    // create mic device  
    AVCaptureDeviceInput *audioIn = [AVCaptureDeviceInput deviceInputWithDevice:audioDev error:&error];  
    if (error != nil)  
    {  
        CKPrint("Couldn't create audio input");  
        return ;  
    }  
      
      
    // add mic device in capture object  
    if ([m_capture canAddInput:audioIn] == NO)  
    {  
        CKPrint("Couldn't add audio input")  
        return ;  
    }  
    [m_capture addInput:audioIn];  
    // export audio data  
    AVCaptureAudioDataOutput *audioOutput = [[AVCaptureAudioDataOutput alloc] init];  
    [audioOutput setSampleBufferDelegate:self queue:dispatch_get_main_queue()];  
    if ([m_capture canAddOutput:audioOutput] == NO)  
    {  
        CKPrint("Couldn't add audio output");  
        return ;  
    }  
    [m_capture addOutput:audioOutput];  
    [audioOutput connectionWithMediaType:AVMediaTypeAudio];  
    [m_capture startRunning];  
    return ;  
} 

    -(void)close {  
        if (m_capture != nil && [m_capture isRunning])  
        {  
            [m_capture stopRunning];  
        }  
          
        return;  
    }  
    -(BOOL)isOpen {  
        if (m_capture == nil)  
        {  
            return NO;  
        }  
          
        return [m_capture isRunning];  
    }

通過上面三個(gè)函數(shù)人弓，即可完成所有麥克風(fēng)捕獲的準(zhǔn)備工作卷雕，現(xiàn)在我們就等著數(shù)據(jù)主動(dòng)送上門了。要想數(shù)據(jù)主動(dòng)送上門票从，我們還需要實(shí)現(xiàn)一個(gè)協(xié)議接口：

    - (void)captureOutput:(AVCaptureOutput *)captureOutput didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection *)connection {  
        char szBuf[4096];  
        int  nSize = sizeof(szBuf);  
          
    #if SUPPORT_AAC_ENCODER  
        if ([self encoderAAC:sampleBuffer aacData:szBuf aacLen:&nSize] == YES)  
        {  
            [g_pViewController sendAudioData:szBuf len:nSize channel:0];  
        }  
    #else //#if SUPPORT_AAC_ENCODER  
        AudioStreamBasicDescription outputFormat = *(CMAudioFormatDescriptionGetStreamBasicDescription(CMSampleBufferGetFormatDescription(sampleBuffer)));  
        nSize = CMSampleBufferGetTotalSampleSize(sampleBuffer);  
        CMBlockBufferRef databuf = CMSampleBufferGetDataBuffer(sampleBuffer);  
        if (CMBlockBufferCopyDataBytes(databuf, 0, nSize, szBuf) == kCMBlockBufferNoErr)  
        {  
            [g_pViewController sendAudioData:szBuf len:nSize channel:outputFormat.mChannelsPerFrame];  
        }  
    #endif  
    }

到這里漫雕，我們的工作也就差不多做完了，所捕獲出來的數(shù)據(jù)是原始的PCM數(shù)據(jù)峰鄙。

當(dāng)然浸间，由于PCM數(shù)據(jù)本身比較大，不利于網(wǎng)絡(luò)傳輸吟榴，所以如果需要進(jìn)行網(wǎng)絡(luò)傳輸時(shí)魁蒜，就需要對數(shù)據(jù)進(jìn)行編碼；Ios系統(tǒng)本身支持多種音頻編碼格式吩翻，這里我們就以AAC為例來實(shí)現(xiàn)一個(gè)PCM編碼AAC的函數(shù)兜看。

在Ios系統(tǒng)中，PCM編碼AAC的例子狭瞎，在網(wǎng)上也是一找一大片细移，但是大多都是不太完整的，而且相當(dāng)一部分都是E文的熊锭，對于某些童鞋而言弧轧，這些都是深惡痛絕的雪侥。我這里就做做好人，把它們整理了一下精绎，寫成了一個(gè)函數(shù)速缨，方便使用。

在編碼前代乃，需要先創(chuàng)建一個(gè)編碼轉(zhuǎn)換對象

 AVAudioConverterRef m_converter;

#if SUPPORT_AAC_ENCODER  
-(BOOL)createAudioConvert:(CMSampleBufferRef)sampleBuffer { //根據(jù)輸入樣本初始化一個(gè)編碼轉(zhuǎn)換器  
    if (m_converter != nil)  
    {  
        return TRUE;  
    }  
      
    AudioStreamBasicDescription inputFormat = *(CMAudioFormatDescriptionGetStreamBasicDescription(CMSampleBufferGetFormatDescription(sampleBuffer))); // 輸入音頻格式  
    AudioStreamBasicDescription outputFormat; // 這里開始是輸出音頻格式  
    memset(&outputFormat, 0, sizeof(outputFormat));  
    outputFormat.mSampleRate       = inputFormat.mSampleRate; // 采樣率保持一致  
    outputFormat.mFormatID         = kAudioFormatMPEG4AAC;    // AAC編碼  
    outputFormat.mChannelsPerFrame = 2;  
    outputFormat.mFramesPerPacket  = 1024;                    // AAC一幀是1024個(gè)字節(jié)  
      
    AudioClassDescription *desc = [self getAudioClassDescriptionWithType:kAudioFormatMPEG4AAC fromManufacturer:kAppleSoftwareAudioCodecManufacturer];  
    if (AudioConverterNewSpecific(&inputFormat, &outputFormat, 1, desc, &m_converter) != noErr)  
    {  
        CKPrint(@"AudioConverterNewSpecific failed");  
        return NO;  
    }  
  
    return YES;  
} 
-(BOOL)encoderAAC:(CMSampleBufferRef)sampleBuffer aacData:(char*)aacData aacLen:(int*)aacLen { // 編碼PCM成AAC  
    if ([self createAudioConvert:sampleBuffer] != YES)  
    {  
        return NO;  
    }  
      
    CMBlockBufferRef blockBuffer = nil;  
    AudioBufferList  inBufferList;  
    if (CMSampleBufferGetAudioBufferListWithRetainedBlockBuffer(sampleBuffer, NULL, &inBufferList, sizeof(inBufferList), NULL, NULL, 0, &blockBuffer) != noErr)  
    {  
        CKPrint(@"CMSampleBufferGetAudioBufferListWithRetainedBlockBuffer failed");  
        return NO;  
    }  
    // 初始化一個(gè)輸出緩沖列表  
    AudioBufferList outBufferList;  
    outBufferList.mNumberBuffers              = 1;  
    outBufferList.mBuffers[0].mNumberChannels = 2;  
    outBufferList.mBuffers[0].mDataByteSize   = *aacLen; // 設(shè)置緩沖區(qū)大小  
    outBufferList.mBuffers[0].mData           = aacData; // 設(shè)置AAC緩沖區(qū)  
    UInt32 outputDataPacketSize               = 1;  
    if (AudioConverterFillComplexBuffer(m_converter, inputDataProc, &inBufferList, &outputDataPacketSize, &outBufferList, NULL) != noErr)  
    {  
        CKPrint(@"AudioConverterFillComplexBuffer failed");  
        return NO;  
    }  
      
    *aacLen = outBufferList.mBuffers[0].mDataByteSize; //設(shè)置編碼后的AAC大小  
    CFRelease(blockBuffer);  
    return YES;  
}  
-(AudioClassDescription*)getAudioClassDescriptionWithType:(UInt32)type fromManufacturer:(UInt32)manufacturer { // 獲得相應(yīng)的編碼器  
    static AudioClassDescription audioDesc;  
      
    UInt32 encoderSpecifier = type, size = 0;  
    OSStatus status;  
      
    memset(&audioDesc, 0, sizeof(audioDesc));  
    status = AudioFormatGetPropertyInfo(kAudioFormatProperty_Encoders, sizeof(encoderSpecifier), &encoderSpecifier, &size);  
    if (status)  
    {  
        return nil;  
    }  
      
    uint32_t count = size / sizeof(AudioClassDescription);  
    AudioClassDescription descs[count];  
    status = AudioFormatGetProperty(kAudioFormatProperty_Encoders, sizeof(encoderSpecifier), &encoderSpecifier, &size, descs);  
    for (uint32_t i = 0; i < count; i++)  
    {  
        if ((type == descs[i].mSubType) && (manufacturer == descs[i].mManufacturer))  
        {  
            memcpy(&audioDesc, &descs[i], sizeof(audioDesc));  
            break;  
        }  
    }  
    return &audioDesc;  
}  
OSStatus inputDataProc(AudioConverterRef inConverter, UInt32 *ioNumberDataPackets, AudioBufferList *ioData,AudioStreamPacketDescription **outDataPacketDescription, voidvoid *inUserData) { //<span style="font-family: Arial, Helvetica, sans-serif;">AudioConverterFillComplexBuffer 編碼過程中旬牲，會(huì)要求這個(gè)函數(shù)來填充輸入數(shù)據(jù)，也就是原始PCM數(shù)據(jù)</span>  
    AudioBufferList bufferList = *(AudioBufferList*)inUserData;  
    ioData->mBuffers[0].mNumberChannels = 1;  
    ioData->mBuffers[0].mData           = bufferList.mBuffers[0].mData;  
    ioData->mBuffers[0].mDataByteSize   = bufferList.mBuffers[0].mDataByteSize;  
    return noErr;  
}  
#endif

好了搁吓，世界是那么美好引谜，一個(gè)函數(shù)即可所有的事情搞定了。當(dāng)你需要進(jìn)行AAC編碼時(shí)擎浴，調(diào)用encoderAAC這個(gè)函數(shù)就可以了（在上面有完整的代碼）

    char szBuf[4096];  
    int  nSize = sizeof(szBuf);  
    if ([self encoderAAC:sampleBuffer aacData:szBuf aacLen:&nSize] == YES)  
    {  
        // do something   
    }
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 人面猴
    序言：七十年代末员咽，一起剝皮案震驚了整個(gè)濱河市，隨后出現(xiàn)的幾起案子贮预，更是在濱河造成了極大的恐慌玛荞，老刑警劉巖妹田，帶你破解...
    沈念sama閱讀 206,723評論 6贊 481
  • 死咒
    序言：濱河連續(xù)發(fā)生了三起死亡事件右冻，死亡現(xiàn)場離奇詭異淳地，居然都是意外死亡，警方通過查閱死者的電腦和手機(jī)唤冈，發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,485評論 2贊 382
  • 救了他兩次的神仙讓他今天三更去死
    文/潘曉璐 我一進(jìn)店門峡迷，熙熙樓的掌柜王于貴愁眉苦臉地迎上來，“玉大人你虹，你說我怎么就攤上這事绘搞。” “怎么了傅物？”我有些...
    開封第一講書人閱讀 152,998評論 0贊 344
  • 道士緝兇錄：失蹤的賣姜人
    文/不壞的土叔 我叫張陵夯辖，是天一觀的道長。 經(jīng)常有香客問我董饰，道長蒿褂，這世上最難降的妖魔是什么？ 我笑而不...
    開封第一講書人閱讀 55,323評論 1贊 279
  • ?港島之戀（遺憾婚禮）
    正文 為了忘掉前任卒暂，我火速辦了婚禮啄栓，結(jié)果婚禮上，老公的妹妹穿的比我還像新娘也祠。我一直安慰自己昙楚，他們只是感情好，可當(dāng)我...
    茶點(diǎn)故事閱讀 64,355評論 5贊 374
  • 惡毒庶女頂嫁案：這布局不是一般人想出來的
    文/花漫 我一把揭開白布齿坷。 她就那樣靜靜地躺著桂肌，像睡著了一般。 火紅的嫁衣襯著肌膚如雪永淌。 梳的紋絲不亂的頭發(fā)上崎场，一...
    開封第一講書人閱讀 49,079評論 1贊 285
  • 城市分裂傳說
    那天，我揣著相機(jī)與錄音遂蛀，去河邊找鬼谭跨。 笑死，一個(gè)胖子當(dāng)著我的面吹牛李滴，可吹牛的內(nèi)容都是我干的螃宙。 我是一名探鬼主播，決...
    沈念sama閱讀 38,389評論 3贊 400
  • 雙鴛鴦連環(huán)套：你想象不到人心有多黑
    文/蒼蘭香墨 我猛地睜開眼所坯，長吁一口氣：“原來是場噩夢啊……” “哼谆扎！你這毒婦竟也來了？” 一聲冷哼從身側(cè)響起芹助，我...
    開封第一講書人閱讀 37,019評論 0贊 259
  • 萬榮殺人案實(shí)錄
    序言：老撾萬榮一對情侶失蹤堂湖，失蹤者是張志新（化名）和其女友劉穎，沒想到半個(gè)月后状土，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體无蜂，經(jīng)...
    沈念sama閱讀 43,519評論 1贊 300
  • ?護(hù)林員之死
    正文 獨(dú)居荒郊野嶺守林人離奇死亡，尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 35,971評論 2贊 325
  • ?白月光啟示錄
    正文 我和宋清朗相戀三年蒙谓，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了斥季。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 38,100評論 1贊 333
  • 活死人
    序言：一個(gè)原本活蹦亂跳的男人離奇死亡累驮，死狀恐怖酣倾，靈堂內(nèi)的尸體忽然破棺而出，到底是詐尸還是另有隱情谤专，我是刑警寧澤灶挟，帶...
    沈念sama閱讀 33,738評論 4贊 324
  • ?日本核電站爆炸內(nèi)幕
    正文 年R本政府宣布，位于F島的核電站毒租，受9級特大地震影響稚铣，放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜墅垮，卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,293評論 3贊 307
  • 男人毒藥：我在死后第九天來索命
    文/蒙蒙 一惕医、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧算色，春花似錦抬伺、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,289評論 0贊 19
  • 一樁弒父案峡钓，背后竟有這般陰謀
    文/蒼蘭香墨 我抬頭看了看天上的太陽妓笙。三九已至，卻和暖如春能岩，著一層夾襖步出監(jiān)牢的瞬間寞宫，已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,517評論 1贊 262
  • 情欲美人皮
    我被黑心中介騙來泰國打工拉鹃， 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留辈赋，地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 45,547評論 2贊 354
  • 代替公主和親
    正文 我出身青樓膏燕，卻偏偏與公主長得像钥屈，于是被迫代替她去往敵國和親。 傳聞我的和親對象是個(gè)殘疾皇子坝辫，可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,834評論 2贊 345

推薦閱讀更多精彩內(nèi)容

  • 前言 本篇開始講解在Android平臺(tái)上進(jìn)行的音頻編輯開發(fā)篷就，首先需要對音頻相關(guān)概念有基礎(chǔ)的認(rèn)識。所以本篇要講解以下...
    Ihesong閱讀 7,755評論 2贊 18
  • 介紹 AAC（Advanced Audio Coding）近忙，中文稱為“高級音頻編碼”腻脏，出現(xiàn)于1997年，基于 MP...
    sxyxsp123閱讀 6,850評論 0贊 7
  • 大年三十晚上银锻，大柱抱著一個(gè)嬰兒在自家門口東張西望永品，嘴里還不停地念叨著：“怎么還不來，怎么還不來击纬《悖” 站了一會(huì)兒又回...
    簡訊ing閱讀 420評論 7贊 7
  • 中式 鮮花 韓式 化妝筆記
    Walking林楊閱讀 774評論 0贊 1
  • 喜歡說隨便的人炕桨，說好聽一點(diǎn)，是你為人隨和肯腕，究其原因献宫，要么是你自身沒有主見，要么是不敢或不愿承擔(dān)責(zé)任实撒。隨便姊途，意思是出...
    南久木閱讀 709評論 11贊 18