前言
音頻編輯系列：
本篇主要講解音頻PCM數(shù)據(jù)的合成，這里合成包括音頻之間的拼接挪蹭，混合蚕脏。
- 音頻拼接：一段音頻連接著另一段音頻跪腹，兩段音頻不會同時播放淆两，有先后順序。
- 音頻混合：一段音頻和另一段音頻存在相同的區(qū)間网棍，兩者會有同時播放的區(qū)間师骗。
下面是音頻拼接历等，音頻混合的效果圖：
音頻拼接
如果大家理解了android音頻編輯之音頻轉(zhuǎn)換PCM與WAV和android音頻編輯之音頻裁剪的原理。那么音頻拼接的原理其實就很好理解了辟癌。總的說來就是新建一個音頻文件寒屯，將一段音頻的PCM數(shù)據(jù)復(fù)制到新音頻上，再將另一段音頻的PCM數(shù)據(jù)復(fù)制到新音頻上黍少。但這里還是有一些需要注意的寡夹。
情景一
假設(shè)A音頻40秒，B音頻20秒仍侥，B音頻數(shù)據(jù)拼接到A音頻后面要出，得到60秒的C音頻文件。
這種情況最簡單了农渊，新建音頻文件C患蹂，將A音頻的PCM數(shù)據(jù)復(fù)制到C音頻文件上，再將B音頻的PCM數(shù)據(jù)復(fù)制到C音頻文件上砸紊，然后為C音頻寫上wav文件頭信息传于，得到可播放的WAV文件。
情景二
假設(shè)A音頻40秒醉顽，B音頻20秒沼溜，B音頻數(shù)據(jù)插入到A音頻10秒的地方，得到60秒的C音頻文件游添。
這種情況稍微復(fù)雜點系草，新建音頻文件C通熄，將A音頻前10秒的PCM數(shù)據(jù)復(fù)制到C音頻文件上，再將B音頻的PCM數(shù)據(jù)復(fù)制到C音頻文件上找都，再將A音頻后30秒的PCM數(shù)據(jù)復(fù)制到C音頻文件上唇辨，最后為C音頻寫上wav文件頭信息，得到可播放的WAV文件能耻。
情景三
假設(shè)A音頻40秒赏枚，B音頻20秒，B音頻5至15秒的數(shù)據(jù)插入到A音頻10秒的地方晓猛，得到50秒的C音頻文件饿幅。
這種情況更復(fù)雜，也是最常見的插入場景戒职，裁剪B音頻并插入到A音頻的某個位置栗恩，這里涉及到B音頻數(shù)據(jù)的裁剪，當(dāng)然原理其實也是簡單的帕涌，計算出B音頻5秒和10秒對應(yīng)的文件數(shù)據(jù)位置摄凡，然后復(fù)制這個區(qū)間的數(shù)據(jù)到C上续徽，針對A文件的數(shù)據(jù)蚓曼，也是同樣道理。
情景四
A音頻和B音頻中多段數(shù)據(jù)相互拼接
這種情況钦扭，原理同上面一樣纫版，只要知道指定時間對應(yīng)的數(shù)據(jù)是什么，就可以實現(xiàn)自由拼接了客情。
音頻拼接的實現(xiàn)參考我的Github項目 AudioEdit其弊，這里我就不貼具體代碼了。
音頻混合
音頻混合是指一段音頻和另一段音頻合在一起膀斋，能夠同時播放梭伐，比如最常見的人聲錄音和背景音樂的合成，可以得到一首人聲歌曲仰担。
音頻混合的原理是
音頻混合原理: 量化的語音信號的疊加等價于空氣中聲波的疊加糊识。
也就是說將輸入的每段音頻的某個時間點的采樣點數(shù)值進行相加，即可將聲音信號加入到輸出的音頻中摔蓝。
音頻采樣點數(shù)值的大小是（-32768赂苗，32767），對應(yīng)short的最小值和最大值贮尉，音頻采樣點數(shù)據(jù)就是由一個個數(shù)值組成的的拌滋。如果單純疊加，可能會造成相加后的值會大于32767猜谚，超出short的表示范圍败砂，也就是溢出赌渣，所以在音頻混合上回采用一些算法進行處理。下面列舉下簡單的混合方式昌犹。
直接疊加法
A（A1,A2,A3,A4）和B（B1,B2,B3,B4）疊加后求平均值锡垄，得到C（（A1+B1）,（A2+B2）,（A3+B3）,（A4+B4））
這種情況，輸出的音頻中A和B音頻數(shù)據(jù)都可以以相同聲音大小播放祭隔，但是可能出現(xiàn)溢出的情況货岭。假設(shè)A音頻指定時間點的某段采樣數(shù)據(jù)是（23,67,511,139,307），B音頻對應(yīng)該時間點的采樣數(shù)據(jù)是（1101,300,47,600,22）疾渴，那么兩者直接疊加的話千贯，得到的采樣數(shù)據(jù)是（1124,367,558,739,329），這個短采樣數(shù)據(jù)就是兩者聲音混合的數(shù)據(jù)了搞坝。
疊加后求平均值
A（A1,A2,A3,A4）和B（B1,B2,B3,B4）疊加后求平均值搔谴，得到C（（A1+B1）/2,（A2+B2）/2,（A3+B3）/2,（A4+B4）/2）
這樣可以避免出現(xiàn)溢出的情況，但是會出現(xiàn)兩者聲音會比之前單獨的聲音小了一半桩撮，比如人聲和背景音樂混合敦第，導(dǎo)致輸出的音頻中，人聲小了一半店量，背景音樂也小了一半芜果，這種情況可能就不是想要的效果，特別是多段音頻混合的情況融师。
權(quán)值疊加法
A（A1,A2,A3,A4）和B（B1,B2,B3,B4）權(quán)值疊加右钾，A權(quán)值為x，B權(quán)值為y旱爆，得到C（（A1 * x+B1 * y）,（A2 * x+B2 * y）,（A3 * x+B3 * y）,（A4 * x+B4 * y））
這樣可以更方便條件A和B的音量的大小舀射，比如A的權(quán)值為1.2，B的權(quán)值為0.8怀伦，那么A的聲音相對提高了脆烟，B的聲音相對減弱了。嚴(yán)格來說房待，直接疊加法和疊加求平均值法都屬于該類型邢羔。
此外還有各種更復(fù)雜的混合算法，如動態(tài)權(quán)值法吴攒，A和B的權(quán)值會根據(jù)當(dāng)前時刻采樣點數(shù)值的大小進行動態(tài)變化张抄，得到一個動態(tài)增益和衰減的混合方式。
下面是直接疊加法的實現(xiàn)洼怔，需要注意short值要按大端存儲的方式計算署惯，存儲時按大端方式存儲。
/**
* 疊加合成器
* @author Darcy
*/
private static class AddAudioMixer extends MultiAudioMixer{
@Override
public byte[] mixRawAudioBytes(byte[][] bMulRoadAudioes) {
if (bMulRoadAudioes == null || bMulRoadAudioes.length == 0)
return null;
byte[] realMixAudio = bMulRoadAudioes[0];
if(bMulRoadAudioes.length == 1)
return realMixAudio;
for(int rw = 0 ; rw < bMulRoadAudioes.length ; ++rw){
if(bMulRoadAudioes[rw].length != realMixAudio.length){
Log.e("app", "column of the road of audio + " + rw +" is diffrent.");
return null;
}
}
//row 代表參與合成的音頻數(shù)量
//column 代表一段音頻的采樣點數(shù)镣隶，這里所有參與合成的音頻的采樣點數(shù)都是相同的
int row = bMulRoadAudioes.length;
int coloum = realMixAudio.length / 2;
short[][] sMulRoadAudioes = new short[row][coloum];
//PCM音頻16位的存儲是大端存儲方式极谊，即低位在前诡右，高位在后，例如(X1Y1, X2Y2, X3Y3)數(shù)據(jù)轻猖，它代表的采樣點數(shù)值就是(（Y1 * 256 + X1）, （Y2 * 256 + X2）, （Y3 * 256 + X3）)
for (int r = 0; r < row; ++r) {
for (int c = 0; c < coloum; ++c) {
sMulRoadAudioes[r][c] = (short) ((bMulRoadAudioes[r][c * 2] & 0xff) | (bMulRoadAudioes[r][c * 2 + 1] & 0xff) << 8);
}
}
short[] sMixAudio = new short[coloum];
int mixVal;
int sr = 0;
for (int sc = 0; sc < coloum; ++sc) {
mixVal = 0;
sr = 0;
//這里采取累加法
for (; sr < row; ++sr) {
mixVal += sMulRoadAudioes[sr][sc];
}
//最終值不能大于short最大值帆吻，因此可能出現(xiàn)溢出
sMixAudio[sc] = (short) (mixVal);
}
//short值轉(zhuǎn)為大端存儲的雙字節(jié)序列
for (sr = 0; sr < coloum; ++sr) {
realMixAudio[sr * 2] = (byte) (sMixAudio[sr] & 0x00FF);
realMixAudio[sr * 2 + 1] = (byte) ((sMixAudio[sr] & 0xFF00) >> 8);
}
return realMixAudio;
}
}
注意事項
音頻的拼接和混音，有一些是需要注意和處理的咙边。
- 需要確保A音頻和B音頻的采樣位數(shù)一致猜煮。例如A音頻是16位采樣位數(shù)，B音頻是8位采樣位數(shù)败许，那么這時是不能直接拼接的王带，需要轉(zhuǎn)換成相同的采樣位數(shù)，才能做后續(xù)操作市殷。
- 需要確保A音頻和B音頻的采樣率一致愕撰。這個在錄音和歌曲拼接時要特別注意，假如錄音的音頻頻率是16000醋寝，歌曲的音頻是44100搞挣，那么兩者也是不能直接拼接的，需要轉(zhuǎn)換成相同的采樣率音羞，轉(zhuǎn)換采樣率可以使用resample庫囱桨。
- 需要確保A音頻和B音頻的聲道數(shù)一致。當(dāng)然這個并不是指單聲道和雙聲道的音頻不能合成了黄选，事實上錄音音頻通常是單聲道的蝇摸，而歌曲通常是雙聲道的。單聲道和雙聲道音頻合成办陷，一般是按雙聲道為基準(zhǔn)，需要將單聲道音頻轉(zhuǎn)換成雙聲道音頻律歼，轉(zhuǎn)換原理也簡單民镜，將單聲道的采樣點數(shù)據(jù)多復(fù)制一份，比如將單聲道的ABCD數(shù)據(jù)轉(zhuǎn)換成雙聲道的AABBCCDD數(shù)據(jù)险毁。
那么我們可能會有疑問制圈，如果A音頻和B音頻的采樣率位數(shù)，采樣率畔况，聲道數(shù)不一樣的話鲸鹦，合成后是有效的音頻文件嗎？這個其實是有效的跷跪，同樣可以播放馋嗜，但是會造成合成后的音頻不同部分的音頻播放速度不一樣，例如單聲道的A和雙聲道的B拼接吵瞻，會造成A部分的播放速度比B的播放速度快一倍葛菇，而B的播放速度是正常的甘磨。
總結(jié)
到這里我想大家已經(jīng)對音頻的裁剪，拼接眯停，混合的原理有了基本的了解了济舆，不過大家可能會發(fā)現(xiàn)輸出的音頻都是WAV或者PCM格式的，而我最終需要的是MP3或者AAC等格式的音頻莺债，那么該如何轉(zhuǎn)換呢滋觉？其實這個就是涉及到音頻的編碼了，mp3編碼可以使用第三方庫mp3lame齐邦，AAC編碼可以使用Android自帶的MediaCodec實現(xiàn)椎瘟。
我的Github項目 AudioEdit
