iOS音頻能力——PCM基礎(chǔ)

前言

音頻是移動端很重要的能力丧荐,像直播類周叮、在線教育類诬垂、唱歌類牍戚、短視頻類等APP,都離不開音頻功能获搏。
具備音頻相關(guān)知識與能力赖条,對未來的職業(yè)發(fā)展有很大優(yōu)勢。
本文主要圍繞音頻知識的基礎(chǔ)——PCM,介紹PCM的原理和相關(guān)操作纬乍。
聲音是模擬的連續(xù)信號碱茁,而計算機(jī)只能離散的存儲。為了使得計算機(jī)具備音頻的能力仿贬,必須支持連續(xù)音頻信號的離散化描述纽竣,而PCM具備這個能力。

正文

PCM脈沖編碼調(diào)制(Pulse Code Modulation)

脈沖編碼調(diào)制就是把一個時間連續(xù)茧泪,取值連續(xù)的模擬信號變換成時間離散蜓氨,取值離散的數(shù)字信號后在信道中傳輸。脈沖編碼調(diào)制就是對模擬信號先抽樣调炬,再對樣值幅度量化语盈,編碼的過程舱馅。

總結(jié)起來就是三個步驟:
1缰泡、抽樣;
2代嗤、量化棘钞;
3、編碼干毅;

PCM基礎(chǔ)概念

了解PCM的基本原理之后宜猜,再看看PCM衍生出來的常見概念。

1硝逢、聲道姨拥;

錄制和播放時,音頻信號的數(shù)量渠鸽。

2叫乌、采樣率;

每秒從連續(xù)信號中提取并組成離散信號的采樣個數(shù)徽缚,單位是赫茲(Hz)憨奸;
奈奎斯特采樣定理:當(dāng)采樣頻率大于聲音最高頻率的兩倍,能完整的保留聲音的信息凿试。

3排宰、采樣深度;

量化的二進(jìn)制位數(shù)那婉,常為16位板甘;

4、碼率详炬;

音頻流每秒的大小盐类,單位常用bps;
一個采樣率為44.1KHz,采樣大小為16bit傲醉,雙聲道的PCM編碼的文件蝇闭,碼率為 44.1K×16×2 =1411.2 Kbps

PCM數(shù)據(jù)操作

了解完P(guān)CM的相關(guān)概念后,再來看看PCM相關(guān)的數(shù)據(jù)操作硬毕。

1呻引、PCM混合;

重采樣吐咳,對位相加逻悠,溢出處理;

2韭脊、單聲道變立體聲童谒;

增加聲道,復(fù)制數(shù)據(jù)沪羔;

3饥伊、立體聲變單聲道;

減少聲道蔫饰,聲道混合或只取其一琅豆;

4、音量調(diào)整和靜音篓吁;

改變量化值茫因,對數(shù)優(yōu)化,清零靜音杖剪;

5冻押、播放速率調(diào)整;

快放:相鄰位合并盛嘿,縮減長度洛巢;
慢放:長度增加,量化值不變孩擂;

PCM數(shù)據(jù)的操作狼渊,就是直接操作音頻流數(shù)據(jù),比如一個簡單的音量變大操作:


    int16_t *curData = (int16_t *)ioData->mBuffers[0].mData;
    int size = ioData->mBuffers[0].mDataByteSize;

//     音量操作
    for (int pos = 0; pos < size; pos += 2, ++curData) {
        int data = *curData;

        { // 音量調(diào)整
            data = data * 2;
            // 溢出
            if (data > 32767) {
                data = 32767;
            }
            else if (data < -32768) {
                data = -32768;
            }
        }
        *curData = data;
    }

Audio Unit 播放 PCM

AudioStreamBasicDescription

iOS的音頻描述結(jié)構(gòu)體类垦,包括解析音頻數(shù)據(jù)需要的各種參數(shù)

  • mSampleRate:采樣率
  • mFormatID:編碼格式
  • mFormatFlags:數(shù)據(jù)格式狈邑;(L/R,整形or浮點)
  • mBytesPerPacket:每個Packet的Bytes數(shù)
  • mFramesPerPacket:每個Packet的幀數(shù)
  • mBytesPerFrame:每幀的Byte數(shù)
  • mChannelsPerFrame:每幀的聲道數(shù)
  • mBitsPerChannel:每個聲道的采樣深度

立體聲的PCM音頻數(shù)據(jù)蚤认,通常是以L/R交替(左右聲道交替)的方式存儲米苹。
在iOS平臺可以通過設(shè)置kAudioFormatFlagIsNonInterleaved,使得左右聲道的數(shù)據(jù)分別存儲在AudioBufferList的兩個AudioBuffers中砰琢。

由于硬件要求蘸嘶,錄制和播放都是整形格式良瞧。但在音頻處理的過程中, 音頻數(shù)據(jù)可能會溢出(整形格式表示范圍有限)训唱,故而有些處理需要用浮點數(shù)來進(jìn)行褥蚯。

總結(jié)

本文源自中午分享的PPT內(nèi)容,排版有所修改况增。
希望看完本文的你赞庶,對PCM有初步的認(rèn)識。
PCM的數(shù)據(jù)操作部分澳骤,可以把樣例代碼放到Audio Unit播放PCM文件demo的PlayCallback方法中歧强,體會下效果。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末为肮,一起剝皮案震驚了整個濱河市摊册,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌颊艳,老刑警劉巖茅特,帶你破解...
    沈念sama閱讀 219,188評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異籽暇,居然都是意外死亡温治,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,464評論 3 395
  • 文/潘曉璐 我一進(jìn)店門戒悠,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人舟山,你說我怎么就攤上這事绸狐。” “怎么了累盗?”我有些...
    開封第一講書人閱讀 165,562評論 0 356
  • 文/不壞的土叔 我叫張陵寒矿,是天一觀的道長。 經(jīng)常有香客問我若债,道長符相,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,893評論 1 295
  • 正文 為了忘掉前任蠢琳,我火速辦了婚禮啊终,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘傲须。我一直安慰自己蓝牲,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 67,917評論 6 392
  • 文/花漫 我一把揭開白布泰讽。 她就那樣靜靜地躺著例衍,像睡著了一般昔期。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上佛玄,一...
    開封第一講書人閱讀 51,708評論 1 305
  • 那天硼一,我揣著相機(jī)與錄音,去河邊找鬼梦抢。 笑死欠动,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的惑申。 我是一名探鬼主播具伍,決...
    沈念sama閱讀 40,430評論 3 420
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼圈驼!你這毒婦竟也來了人芽?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,342評論 0 276
  • 序言:老撾萬榮一對情侶失蹤绩脆,失蹤者是張志新(化名)和其女友劉穎萤厅,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體靴迫,經(jīng)...
    沈念sama閱讀 45,801評論 1 317
  • 正文 獨居荒郊野嶺守林人離奇死亡惕味,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,976評論 3 337
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了玉锌。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片名挥。...
    茶點故事閱讀 40,115評論 1 351
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖主守,靈堂內(nèi)的尸體忽然破棺而出禀倔,到底是詐尸還是另有隱情,我是刑警寧澤参淫,帶...
    沈念sama閱讀 35,804評論 5 346
  • 正文 年R本政府宣布救湖,位于F島的核電站,受9級特大地震影響涎才,放射性物質(zhì)發(fā)生泄漏鞋既。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,458評論 3 331
  • 文/蒙蒙 一耍铜、第九天 我趴在偏房一處隱蔽的房頂上張望邑闺。 院中可真熱鬧,春花似錦业扒、人聲如沸检吆。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,008評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽蹭沛。三九已至臂寝,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間摊灭,已是汗流浹背咆贬。 一陣腳步聲響...
    開封第一講書人閱讀 33,135評論 1 272
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留帚呼,地道東北人掏缎。 一個月前我還...
    沈念sama閱讀 48,365評論 3 373
  • 正文 我出身青樓,卻偏偏與公主長得像煤杀,于是被迫代替她去往敵國和親眷蜈。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,055評論 2 355

推薦閱讀更多精彩內(nèi)容

  • 前言 音頻是移動端很重要的能力沈自,像直播類酌儒、在線教育類、唱歌類枯途、短視頻類等APP忌怎,都離不開音頻功能。具備音頻相關(guān)知識...
    落影l(fā)oyinglin閱讀 9,954評論 8 45
  • 前些日子由于項目需要,一直在研究iOS CoreAudio相關(guān)的內(nèi)容.在這里記錄一些筆記.現(xiàn)實生活中酪夷,我們聽到的聲...
    brownfeng閱讀 4,550評論 4 14
  • 在正式學(xué)習(xí)音頻開發(fā)之前榴啸,我們要認(rèn)識下關(guān)于音頻的一些基礎(chǔ)。這些知識會有助于我們后面學(xué)習(xí)iOS的音頻框架晚岭。 基礎(chǔ)知識 ...
    hoping_sir再次歸來閱讀 2,071評論 1 3
  • 我是黑夜里大雨紛飛的人啊 1 “又到一年六月鸥印,有人笑有人哭,有人歡樂有人憂愁腥例,有人驚喜有人失落辅甥,有的覺得收獲滿滿有...
    陌忘宇閱讀 8,536評論 28 53
  • 人工智能是什么?什么是人工智能燎竖?人工智能是未來發(fā)展的必然趨勢嗎?以后人工智能技術(shù)真的能達(dá)到電影里機(jī)器人的智能水平嗎...
    ZLLZ閱讀 3,781評論 0 5