不同于視頻采集一幀編碼一幀，音頻采集和編碼之間稍微復(fù)雜一些调俘，記錄下相關(guān)內(nèi)容
音頻采集
在windows上獲取音頻的方法伶棒，主要嘗試了2種旺垒，效果差不多。一種是通過ffmpeg的dshow獲取肤无，另一種是直接從windows的Core Audio API 來獲取先蒋。通過這兩種方式采集到的音頻的采樣率都是當(dāng)前聲音播放的揚聲器的采樣率。
ffmpeg dshow 采集
使用dshow抓屏需要安裝抓屏軟件：screen-capture-recorder宛渐。
在命令行用dshow:
ffmpeg -f dshow -i video="screen-capture-recorder" -f dshow -i audio="virtual-audio-capturer" -t 30 -r 20 -vcodec libx264 output.mp4
在代碼中用dshow:
//視頻采集
AVInputFormat *ifmt=av_find_input_format("dshow");
if(avformat_open_input(&pFormatCtx,"video=screen-capture-recorder",ifmt,NULL)!=0){
qDebug() << "Couldn't open input stream.";
return -1;
}
//音頻采集
AVInputFormat *ifmt=av_find_input_format("dshow");
if(avformat_open_input(&pFormatCtx,audio="virtual-audio-capturer",ifmt,NULL)!=0){
qDebug() << "Couldn't open input stream.";
return -1;
}
具體采集可以參考ffmpeg實現(xiàn)錄屏+錄音竞漾，懶得貼代碼了。
Core Audio 音頻采集
Core Audio不支持XP窥翩，只可以在Vista以上（包括Vista）的操作系統(tǒng)中才能使用业岁，主要用來取代Wave系列API函數(shù)和DirectSound。
具體采集可以參考windows音頻聲卡采集寇蚊。主要說下采集到的buffer中framesAvailable就是采集一次包含的采樣點多少了笔时，同AVFrame中的nb_samples：
hr = m_CACaptureClient->GetBuffer(&pData, &framesAvailable, &flags, NULL, NULL);
if (SUCCEEDED(hr))
{
if (framesAvailable!=0)
{
if (flags & AUDCLNT_BUFFERFLAGS_SILENT)
{
pData = NULL;
}
else
{
//Copy data from the audio engine buffer to the output buffer.
int nDataLen = framesAvailable*m_CAFrameSize;
AVFrame *frame;
frame = av_frame_alloc();
frame->format = m_SrcParams.sample_fmt;
frame->nb_samples = framesAvailable;
frame->channels = m_SrcParams.channels;
frame->channel_layout = av_get_default_channel_layout(m_SrcParams.channels);
frame->sample_rate = m_SrcParams.sample_rate;
av_frame_get_buffer(frame, 1);
memcpy(frame->data[0], pData, nDataLen);
EncoderData *node = new EncoderData();
node->type = DATA_TYPE_AUDIO;
node->frame = frame;
// fwrite(pData, 1, nDataLen, pcmFp);
async_queue_push(m_AvailPtr, (void *)node);
CalcCapRate();
}
}
}
音頻格式中的Plane
默認用ffmpeg采集到的格式是AV_SAMPLE_FMT_S16，但是AAC編碼要的又是AV_SAMPLE_FMT_FLTP仗岸，中間需要通過swr_convert來轉(zhuǎn)換允耿。
enum AVSampleFormat {
AV_SAMPLE_FMT_NONE = -1,
AV_SAMPLE_FMT_U8, ///< unsigned 8 bits
AV_SAMPLE_FMT_S16, ///< signed 16 bits
AV_SAMPLE_FMT_S32, ///< signed 32 bits
AV_SAMPLE_FMT_FLT, ///< float
AV_SAMPLE_FMT_DBL, ///< double
AV_SAMPLE_FMT_U8P, ///< unsigned 8 bits, planar
AV_SAMPLE_FMT_S16P, ///< signed 16 bits, planar
AV_SAMPLE_FMT_S32P, ///< signed 32 bits, planar
AV_SAMPLE_FMT_FLTP, ///< float, planar
AV_SAMPLE_FMT_DBLP, ///< double, planar
AV_SAMPLE_FMT_S64, ///< signed 64 bits
AV_SAMPLE_FMT_S64P, ///< signed 64 bits, planar
AV_SAMPLE_FMT_NB ///< Number of sample formats. DO NOT USE if linking dynamically
};
- 無論是不是帶P的數(shù)據(jù)總量是相同的.
- 帶P的格式是左右聲道分開存儲的：
data[0]：LLLLLLLLLLLLL....; data[1]: RRRRRRRRR... - 不帶P的格式是交替存儲的，只在data[0] 有數(shù)據(jù)：
data[0] :LRLRLRLRLRLRLRLRLRLR....
AAC編碼
AAC幀時長
一個AAC原始幀包含某段時間內(nèi)1024個采樣點相關(guān)數(shù)據(jù)（mp3則包含1152個采樣點）扒怖。音頻幀的播放時間 = 一個AAC幀對應(yīng)的采樣樣本的個數(shù) / 采樣頻率(單位為s)较锡。
采樣率(sample rate)為 44100Hz，表示每秒 44100個采樣點, 根據(jù)公式盗痒，當(dāng)前一幀的播放時間 = 1024 * 1000/44100= 23.22ms(單位為ms)
采樣率為48000Hz蚂蕴，根據(jù)公式，當(dāng)前一幀的播放時間 = 1024 * 1000/48000= 21.33ms(單位為ms)
AAC幀數(shù)據(jù)大小
AV_SAMPLE_FMT_FLTP 格式 (32bits per sample)俯邓、AV_SAMPLE_FMT_S16 格式 (16bits per sample)骡楼，采集到的PCM是AV_SAMPLE_FMT_S16 格式
AAC幀一幀包含1024個采樣點，數(shù)據(jù)量大小 = 一個AAC幀對應(yīng)的采樣樣本的個數(shù) * 通道數(shù)* 數(shù)據(jù)位數(shù)/8看成。采集數(shù)據(jù)為雙通道君编，16位數(shù)據(jù)時，根據(jù)公式川慌， 一幀數(shù)據(jù)量大小 = 1024*2 *16/8 = 4096吃嘿。
在采集采樣率和編碼采樣率相同的情況下（就是不需要重采樣），通道數(shù)梦重，數(shù)據(jù)位數(shù)一般不會改變兑燥，那么采集的數(shù)據(jù)大小和編碼的數(shù)據(jù)大小是一樣的。也就是說琴拧，當(dāng)采集了4096個字節(jié)的數(shù)據(jù)后降瞳，再送去給編碼器編碼一幀AAC幀，不同的采樣率只是會改變每秒鐘的AAC幀的數(shù)量。
采樣率(sample rate)為 44100Hz挣饥，1秒鐘有：44100 / 1024 = 43.066幀
采樣率為48000Hz除师，1秒鐘有：48000 / 1024 = 48000 / 1024 = 46.875幀
所以，如果自己弄一個音頻緩沖buffer扔枫，就需要每滿4096字節(jié)就編碼一幀汛聚，更簡單的方式是用ffmpeg提供的AVAudioFifo，每次讀取寫入都是根據(jù)采樣點的個數(shù)來的：
av_audio_fifo_write(m_pAudioFifo, (void **)frame->data, frame->nb_samples);
av_frame_free(&frame);
RELEASE_CLASS(node);
while(av_audio_fifo_size(m_pAudioFifo) >= m_inputSamples)
{
av_audio_fifo_read(m_pAudioFifo, (void **)m_pInputData, m_inputSamples);
...
}
AAC的ADTS
ADTS 頭中相對有用的信息 采樣率短荐、聲道數(shù)倚舀、幀長度。想想也是忍宋，我要是解碼器的話痕貌，你給我一堆得AAC音頻ES流我也解不出來。每一個帶ADTS頭信息的AAC流會清晰的告送解碼器他需要的這些信息糠排。
這里有個坑爹的情況舵稠，ffmpeg的2.5版本，編碼出的AAC幀好像是帶有ADTS的乳讥，但是最新的ffmpeg4.0沒有ADTS柱查，直接把編碼的AAC幀扔給播放器是沒有聲音的，需要你自己加...想要了解ADTS相關(guān)信息的可以看看這里云石，我就貼下從gayhub上翻到的添加ADTS的相關(guān)代碼：
#define ADTS_HEADER_SIZE 7
const int avpriv_mpeg4audio_sample_rates[16] = {
96000, 88200, 64000, 48000, 44100, 32000,
24000, 22050, 16000, 12000, 11025, 8000, 7350
};
const uint8_t ff_mpeg4audio_channels[8] = {
0, 1, 2, 3, 4, 5, 6, 8
};
static int GetSampleIndex(int sample_rate)
{
for (int i = 0; i < 16; i++)
{
if (sample_rate == avpriv_mpeg4audio_sample_rates[i])
{
return i;
}
}
return -1;
}
void AudioEncoder::WriteADTSHeader(int Size, int sample_rate,int channels)
{
if (ADTSHeader == nullptr)
{
ADTSHeader = (char*)av_malloc(ADTS_HEADER_SIZE);
}
memset(ADTSHeader,0, ADTS_HEADER_SIZE);
int length = ADTS_HEADER_SIZE + Size;
length &= 0x1FFF;
int sample_index = GetSampleIndex(sample_rate);
int channel = 0;
if (channels < (int)FF_ARRAY_ELEMS(ff_mpeg4audio_channels))
channel = ff_mpeg4audio_channels[channels];
ADTSHeader[0] = (char)0xff;
ADTSHeader[1] = (char)0xf1;
ADTSHeader[2] = (char)(0x40 | (sample_index << 2) | (channel >> 2));
ADTSHeader[3] = (char)((channel & 0x3) << 6 | (length >> 11));
ADTSHeader[4] = (char)(length >> 3) & 0xff;
ADTSHeader[5] = (char)(((length & 0x7) << 5) & 0xff) | 0x1f;
ADTSHeader[6] = (char)0xfc;
}
int AudioEncoder::ADTS(AVPacket *src, AVPacket **des)
{
if (src == nullptr) {
return -1;
}
if (des == nullptr) {
return -1;
}
AVPacket *adtsPacket = av_packet_alloc();
av_init_packet(adtsPacket);
av_new_packet(adtsPacket, src->size + ADTS_HEADER_SIZE);
WriteADTSHeader(src->size, m_pCoderCtx->sample_rate, m_pCoderCtx->channels);
memcpy(adtsPacket->data, ADTSHeader, ADTS_HEADER_SIZE);
memcpy(adtsPacket->data + ADTS_HEADER_SIZE, src->data, src->size);
adtsPacket->pts = src->pts;
adtsPacket->dts = src->dts;
adtsPacket->duration = src->duration;
adtsPacket->flags = src->flags;
adtsPacket->stream_index = src->stream_index;
adtsPacket->pos = src->pos;
if (*des == src)
{
av_packet_unref(src);
av_packet_move_ref(*des, adtsPacket);
}
else if (*des != nullptr)
{
av_packet_move_ref(*des, adtsPacket);
}
else
{
*des = adtsPacket;
}
return 0;
}
使用方法就是在初始化的時候調(diào)用下AudioEncoder::WriteADTSHeader；編碼出來一個AAC幀的packet就調(diào)用下AudioEncoder::ADTS(packet, *packet); 播放器就可以愉快的播放啦~~
重采樣
先說下我碰到的問題研乒，我的需求是將聲卡采集后傳輸?shù)搅硪粋€設(shè)備上播放汹忠，用swr_convert重采樣的時候碰到個坑，我設(shè)置聲卡的采樣率為44100Hz的時候雹熬，如果編碼采樣率設(shè)置為48000Hz宽菜，每次要是扔給編碼器4096的數(shù)據(jù)的話，編碼出來的AAC幀拿去播放時間會變長竿报，實時采集再播放的時候聲音就會越來越慢铅乡，但是我也沒有什么buffer存著數(shù)據(jù)，后來發(fā)現(xiàn)：
/** Convert audio.
*
* in and in_count can be set to 0 to flush the last few samples out at the
* end.
*
* If more input is provided than output space, then the input will be buffered.
* You can avoid this buffering by using swr_get_out_samples() to retrieve an
* upper bound on the required number of output samples for the given number of
* input samples. Conversion will run directly without copying whenever possible.
*
* @param s allocated Swr context, with parameters set
* @param out output buffers, only the first one need be set in case of packed audio
* @param out_count amount of space available for output in samples per channel
* @param in input buffers, only the first one need to be set in case of packed audio
* @param in_count number of input samples available in one channel
*
* @return number of samples output per channel, negative value on error
*/
int swr_convert(struct SwrContext *s, uint8_t **out, int out_count,
const uint8_t **in , int in_count);
注釋說到烈菌，如果提供的輸入多于輸出空間阵幸，則輸入將被緩沖...應(yīng)該是緩沖在這里了Orz...打印了下swrcontext的buffer：
int fifo_size = swr_get_out_samples(m_pSwrCtx, 0);
qDebug() << "swr_get_out_samples" << fifo_size;
確實在漲....emmm
看了下其他博客的重采樣，感覺是解碼了AAC幀再重新采樣編碼芽世，我的情況是想采集了(采集的幀只有448個采樣點) 直接重采樣編碼挚赊，不想編碼完了再重采樣一遍。
回到上面關(guān)于數(shù)據(jù)大小的討論济瓢，在采集44100->編碼44100荠割、采集48000->編碼48000的情況下，采集和編碼的數(shù)據(jù)量是相同的旺矾，在用swr_convert的時候蔑鹦，in_count夺克、out_count相等就行：
swr_convert(m_pSwrCtx, m_pDesFrame->data, m_pCoderCtx->frame_size, (const uint8_t**)m_pConvertData, m_pCoderCtx->frame_size);
那么，在44100->48000的情況下嚎朽，out_count由于AAC幀需要海雪，1024不變，設(shè)in_count為x稳摄，得到個等式：
44100/x = 48000 /1024 => x = 44100*1024/48000 => x = 940.8
差不多就取個941藻雪，由于不是整數(shù)，out_count也要設(shè)置比1024大點：
swr_convert(m_pSwrCtx, m_pDesFrame->data, 1040, (const uint8_t**)m_pInputData, 941);
swr的buffer差不多保持在38左右魁索，不是很明白為啥是這個值融撞，但是需求基本達到了.
不過反過來就不行了，48000->44100要是把in_count直接改成1114的話粗蔚，程序會崩潰(:з)∠)尝偎，如果有需要的話可以采集完了先重采樣，然后再扔去編碼鹏控，同時操作高采樣到低采樣有點問題致扯。
