前言
音頻是移動端很重要的能力丧荐,像直播類周叮、在線教育類诬垂、唱歌類牍戚、短視頻類等APP,都離不開音頻功能获搏。
具備音頻相關(guān)知識與能力赖条,對未來的職業(yè)發(fā)展有很大優(yōu)勢。
本文主要圍繞音頻知識的基礎(chǔ)——PCM,介紹PCM的原理和相關(guān)操作纬乍。
聲音是模擬的連續(xù)信號碱茁,而計算機(jī)只能離散的存儲。為了使得計算機(jī)具備音頻的能力仿贬,必須支持連續(xù)音頻信號的離散化描述纽竣,而PCM具備這個能力。
正文
PCM脈沖編碼調(diào)制(Pulse Code Modulation)
脈沖編碼調(diào)制就是把一個時間連續(xù)茧泪,取值連續(xù)的模擬信號變換成時間離散蜓氨,取值離散的數(shù)字信號后在信道中傳輸。脈沖編碼調(diào)制就是對模擬信號先抽樣调炬,再對樣值幅度量化语盈,編碼的過程舱馅。
總結(jié)起來就是三個步驟:
1缰泡、抽樣;
2代嗤、量化棘钞;
3、編碼干毅;
PCM基礎(chǔ)概念
了解PCM的基本原理之后宜猜,再看看PCM衍生出來的常見概念。
1硝逢、聲道姨拥;
錄制和播放時,音頻信號的數(shù)量渠鸽。
2叫乌、采樣率;
每秒從連續(xù)信號中提取并組成離散信號的采樣個數(shù)徽缚,單位是赫茲(Hz)憨奸;
奈奎斯特采樣定理:當(dāng)采樣頻率大于聲音最高頻率的兩倍,能完整的保留聲音的信息凿试。
3排宰、采樣深度;
量化的二進(jìn)制位數(shù)那婉,常為16位板甘;
4、碼率详炬;
音頻流每秒的大小盐类,單位常用bps;
一個采樣率為44.1KHz,采樣大小為16bit傲醉,雙聲道的PCM編碼的文件蝇闭,碼率為 44.1K×16×2 =1411.2 Kbps
PCM數(shù)據(jù)操作
了解完P(guān)CM的相關(guān)概念后,再來看看PCM相關(guān)的數(shù)據(jù)操作硬毕。
1呻引、PCM混合;
重采樣吐咳,對位相加逻悠,溢出處理;
2韭脊、單聲道變立體聲童谒;
增加聲道,復(fù)制數(shù)據(jù)沪羔;
3饥伊、立體聲變單聲道;
減少聲道蔫饰,聲道混合或只取其一琅豆;
4、音量調(diào)整和靜音篓吁;
改變量化值茫因,對數(shù)優(yōu)化,清零靜音杖剪;
5冻押、播放速率調(diào)整;
快放:相鄰位合并盛嘿,縮減長度洛巢;
慢放:長度增加,量化值不變孩擂;
PCM數(shù)據(jù)的操作狼渊,就是直接操作音頻流數(shù)據(jù),比如一個簡單的音量變大操作:
int16_t *curData = (int16_t *)ioData->mBuffers[0].mData;
int size = ioData->mBuffers[0].mDataByteSize;
// 音量操作
for (int pos = 0; pos < size; pos += 2, ++curData) {
int data = *curData;
{ // 音量調(diào)整
data = data * 2;
// 溢出
if (data > 32767) {
data = 32767;
}
else if (data < -32768) {
data = -32768;
}
}
*curData = data;
}
Audio Unit 播放 PCM
AudioStreamBasicDescription
iOS的音頻描述結(jié)構(gòu)體类垦,包括解析音頻數(shù)據(jù)需要的各種參數(shù)
- mSampleRate:采樣率
- mFormatID:編碼格式
- mFormatFlags:數(shù)據(jù)格式狈邑;(L/R,整形or浮點)
- mBytesPerPacket:每個Packet的Bytes數(shù)
- mFramesPerPacket:每個Packet的幀數(shù)
- mBytesPerFrame:每幀的Byte數(shù)
- mChannelsPerFrame:每幀的聲道數(shù)
- mBitsPerChannel:每個聲道的采樣深度
立體聲的PCM音頻數(shù)據(jù)蚤认,通常是以L/R交替(左右聲道交替)的方式存儲米苹。
在iOS平臺可以通過設(shè)置kAudioFormatFlagIsNonInterleaved,使得左右聲道的數(shù)據(jù)分別存儲在AudioBufferList的兩個AudioBuffers中砰琢。
由于硬件要求蘸嘶,錄制和播放都是整形格式良瞧。但在音頻處理的過程中, 音頻數(shù)據(jù)可能會溢出(整形格式表示范圍有限)训唱,故而有些處理需要用浮點數(shù)來進(jìn)行褥蚯。
總結(jié)
本文源自中午分享的PPT內(nèi)容,排版有所修改况增。
希望看完本文的你赞庶,對PCM有初步的認(rèn)識。
PCM的數(shù)據(jù)操作部分澳骤,可以把樣例代碼放到Audio Unit播放PCM文件demo的PlayCallback
方法中歧强,體會下效果。