音視頻同步事關(guān)多媒體產(chǎn)品的最直觀用戶(hù)體驗(yàn)挂滓，是音視頻媒體數(shù)據(jù)傳輸和渲染播放的最基本質(zhì)量保證。音視頻如果不同步啸胧，有可能造成延遲赶站、卡頓等非常影響用戶(hù)體驗(yàn)的現(xiàn)象幔虏。因此，它非常重要贝椿。一般說(shuō)來(lái)想括，音視頻同步維護(hù)媒體數(shù)據(jù)的時(shí)間線順序，即發(fā)送端在某一時(shí)刻采集的音視頻數(shù)據(jù)烙博，接收端在另一時(shí)刻同時(shí)播放和渲染瑟蜈。

本文在深入研究WebRTC源代碼的基礎(chǔ)上，分析其音視頻同步的實(shí)現(xiàn)細(xì)節(jié)渣窜，包括RTP時(shí)間戳的產(chǎn)生铺根，RTCP SR報(bào)文的構(gòu)造、發(fā)送和接收乔宿，音視頻同步的初始化和同步過(guò)程位迂。RTP時(shí)間戳是RTP數(shù)據(jù)包的基石，而RTCP SR報(bào)文是時(shí)間戳和NTP時(shí)間之間進(jìn)行轉(zhuǎn)換的基準(zhǔn)予颤。下面詳細(xì)描述之囤官。

1 RTP時(shí)間戳的產(chǎn)生

個(gè)人認(rèn)為，RTP時(shí)間戳和序列號(hào)是RTP協(xié)議的精華所在：前者定義媒體負(fù)載數(shù)據(jù)的采樣時(shí)刻蛤虐，描述負(fù)載數(shù)據(jù)的幀間順序党饮；后者定義RTP數(shù)據(jù)包的先后順序，描述媒體數(shù)據(jù)的幀內(nèi)順序驳庭。關(guān)于RTP時(shí)間戳：

“The timestamp reflects the sampling instant of the first octet in the RTP data packet. The sampling instant must be derived from a clock that increments monotonically and linearly in time to allow synchronization and jitter calculations. The resolution of the clock must be sufficient for the desired synchronization accuracy and for measuring packet arrival jitter (one tick per video frame is typically not sufficient). ”

由以上定義可知刑顺，RTP時(shí)間戳反映RTP負(fù)載數(shù)據(jù)的采樣時(shí)刻，從單調(diào)線性遞增的時(shí)鐘中獲取饲常。時(shí)鐘的精度由RTP負(fù)載數(shù)據(jù)的采樣頻率決定郁轻，比如視頻的采樣頻率一般是90khz宫盔，那么時(shí)間戳增加1腻要，則實(shí)際時(shí)間增加1/90000秒郭计。

下面回到WebRTC源代碼內(nèi)部，以視頻采集為例分析RTP時(shí)間戳的產(chǎn)生過(guò)程播聪，如圖1所示朽基。

圖1 RTP時(shí)間戳構(gòu)造過(guò)程

視頻采集線程以幀為基本單位采集視頻數(shù)據(jù)，視頻幀從系統(tǒng)API被采集出來(lái)离陶，經(jīng)過(guò)初步加工之后到達(dá)VideoCaptureImpl::IncomingFrame()函數(shù)稼虎，設(shè)置render_time_ms_為當(dāng)前時(shí)間(其實(shí)就是采樣時(shí)刻)。

執(zhí)行流程到達(dá)VideoCaptureInput::IncomingCapturedFrame()函數(shù)后招刨，在該函數(shù)設(shè)置視頻幀的timestamp霎俩，ntp_time_ms和render_time_ms。其中render_time_ms為當(dāng)前時(shí)間，以毫秒為單位打却；ntp_time_ms為采樣時(shí)刻的絕對(duì)時(shí)間表示杉适，以毫秒為單位；timestamp則是采樣時(shí)間的時(shí)間戳表示学密，是ntp_time_ms和采樣頻率frequency的乘積淘衙，以1/frequency秒為單位传藏。由此可知腻暮，timestamp和ntp_time_ms是同一采樣時(shí)刻的不同表示。

接下來(lái)視頻幀經(jīng)過(guò)編碼器編碼之后毯侦，發(fā)送到RTP模塊進(jìn)行RTP打包和發(fā)送哭靖。構(gòu)造RTP數(shù)據(jù)包頭部時(shí)調(diào)用RtpSender::BuildRTPheader()函數(shù)，確定時(shí)間戳的最終值為rtphdr->timestamp = start_timestamp + timestamp侈离，其中start_timestamp是RtpSender在初始化時(shí)設(shè)置的初始時(shí)間戳试幽。RTP報(bào)文構(gòu)造完畢之后，經(jīng)由網(wǎng)絡(luò)發(fā)送到對(duì)端卦碾。

2 SR報(bào)文構(gòu)造和收發(fā)

由上一節(jié)論述可知铺坞，NTP時(shí)間和RTP時(shí)間戳是同一時(shí)刻的不同表示，區(qū)別在于精度不同洲胖。NTP時(shí)間是絕對(duì)時(shí)間济榨，以毫秒為精度，而RTP時(shí)間戳則和媒體的采樣頻率有關(guān)绿映。因此擒滑，我們需要維護(hù)一個(gè)NTP時(shí)間和RTP時(shí)間戳的對(duì)應(yīng)關(guān)系，該用以對(duì)兩種時(shí)間的進(jìn)行轉(zhuǎn)換叉弦。RTCP協(xié)議定義的SR報(bào)文維護(hù)了這種對(duì)應(yīng)關(guān)系丐一，下面詳細(xì)描述。

2.1 時(shí)間戳初始化

在初始化階段淹冰，ModuleRtpRtcpImpl::SetSendingStatus()函數(shù)會(huì)獲取當(dāng)前NTP時(shí)間的時(shí)間戳表示(ntp_time * frequency)库车，作為時(shí)間戳初始值分別設(shè)置RTPSender和RTCPSender的start_timestamp參數(shù)(即上節(jié)在確定RTP數(shù)據(jù)包頭不時(shí)間戳?xí)r的初始值)。

視頻數(shù)據(jù)在編碼完之后發(fā)往RTP模塊構(gòu)造RTP報(bào)文時(shí)樱拴，視頻幀的時(shí)間戳timestamp和本地時(shí)間capture_time_ms通過(guò)RTCPSender::SetLastRtpTime()函數(shù)記錄到RTCPSender對(duì)象的last_rtp_timestamp和last_frame_capture_time_ms參數(shù)中柠衍，以將來(lái)將來(lái)構(gòu)造RTCP SR報(bào)文使用。

2.2 SR報(bào)文構(gòu)造及發(fā)送

WebRTC內(nèi)部通過(guò)ModuleProcessThread線程周期性發(fā)送RTCP報(bào)文疹鳄，其中SR報(bào)文通過(guò)RTCPSender::BuildSR(ctx)構(gòu)造拧略。其中ctx中包含當(dāng)前時(shí)刻的NTP時(shí)間，作為SR報(bào)文[1]中的NTP時(shí)間瘪弓。接下來(lái)需要計(jì)算出此刻對(duì)應(yīng)的RTP時(shí)間戳垫蛆，即假設(shè)此刻有一幀數(shù)據(jù)剛好被采樣，則其時(shí)間戳為：

rtp_timestamp = start_timestamp_ + last_rtp_timestamp_ +

(clock_->TimeInMilliseconds() – last_frame_capture_time_ms_) *

(ctx.feedback_state_.frequency_hz / 1000);

至此，NTP時(shí)間和RTP時(shí)間戳全部齊活兒袱饭，就可以構(gòu)造SR報(bào)文進(jìn)行發(fā)送了川无。

2.3 SR接收

接收端在收到SR報(bào)文后，把其中包含的NTP時(shí)間和RTP時(shí)間戳記錄在RTCPSenderInfo對(duì)象中虑乖，供其他模塊獲取使用懦趋。比如通過(guò)RTCPReceiver::NTP()或者SenderInfoReceived()函數(shù)獲取。

3 音視頻同步

前面兩節(jié)做必要的鋪墊后疹味，本節(jié)詳細(xì)分析WebRTC內(nèi)部的音視頻同步過(guò)程仅叫。

3.1 初始化配置

音視頻同步的核心就是根據(jù)媒體負(fù)載所攜帶RTP時(shí)間戳進(jìn)行同步。在WebRTC內(nèi)部糙捺，同步的基本對(duì)象是AudioReceiveStream/VideoReceiveStream诫咱，根據(jù)sync_group進(jìn)行相互配對(duì)。同步的初始化設(shè)置過(guò)程如圖2所示洪灯。

圖2 音視頻同步初始化配置

Call對(duì)象在創(chuàng)建Audio/VideoReceiveStream時(shí)坎缭，調(diào)用ConfigureSync()進(jìn)行音視頻同步的配置。配置參數(shù)為sync_group签钩，該參數(shù)在PeerConnectionFactory在創(chuàng)建MediaStream時(shí)指定掏呼。在ConfigureSync()函數(shù)內(nèi)部，通過(guò)sync_group查找得到AudioReceiveStream铅檩，然后再在video_receive_streams中查找得到VideoReceiveStream憎夷。得到兩個(gè)媒體流，調(diào)用VideoReceiveStream::SetSyncChannel同步柠并，在ViESyncModule::ConfigureSync()函數(shù)中把音視頻參數(shù)進(jìn)行保存岭接，包括音頻的voe_channel_id、voe_sync_interface, 和視頻的video_rtp_receiver臼予、video_rtp_rtcp鸣戴。

3.2 同步過(guò)程

音視頻的同步過(guò)程在ModuleProcessThread線程中執(zhí)行。ViESyncModule作為一個(gè)模塊注冊(cè)到ModuleProcessThread線程中粘拾，其Process()函數(shù)被該線程周期性調(diào)用窄锅，實(shí)現(xiàn)音視頻同步操作。

音視頻同步的核心思想就是以RTCP SR報(bào)文中攜帶的NTP時(shí)間和RTP時(shí)間戳作為時(shí)間基準(zhǔn)缰雇，以AudioReceiveStream和VideoReceiveStream各自收到最新RTP時(shí)間戳timestamp和對(duì)應(yīng)的本地時(shí)間receive_time_ms作為參數(shù)入偷，計(jì)算音視頻流的相對(duì)延遲，然后結(jié)合音視頻的當(dāng)前延遲計(jì)算最終的目標(biāo)延遲械哟，最后把目標(biāo)延遲發(fā)送到音視頻模塊進(jìn)行設(shè)置疏之。目標(biāo)延遲作為音視頻渲染時(shí)的延遲下限值。整個(gè)過(guò)程如圖3所示暇咆。

圖3 音視頻同步過(guò)程

首先锋爪，從VideoReceiver獲得當(dāng)前視頻延遲current_video_delay丙曙，即video_jitter_delay，decode_delay和render_delay的總和其骄。然后從VoEVideoSyncImpl獲得當(dāng)前音頻延遲current_audio_delay亏镰，即audio_jitter_delay和playout_delay的總和。

然后拯爽，音視頻分別以各自的rtp_rtcp和rtp_receiver更新各自的measure索抓。其基本操作包括：從rtp_receiver獲取最新接收到的RTP報(bào)文的RTP時(shí)間戳latest_timestamp和對(duì)應(yīng)的本地接收時(shí)刻latest_receive_time_ms，從rtp_rtcp獲取最新接收的RTCP SR報(bào)文中的NTP時(shí)間和RTP時(shí)間戳毯炮。然后把這些數(shù)據(jù)都存儲(chǔ)到measure中逼肯。注意measure中保存最新兩對(duì)RTCP SR報(bào)文中的NTP時(shí)間和RTP時(shí)間戳，用來(lái)在下一步計(jì)算媒體流的采樣頻率否副。

接下來(lái)汉矿，計(jì)算最新收到的音視頻數(shù)據(jù)的相對(duì)延遲。其基本流程如下：首先得到最新收到RTP時(shí)間戳latest_timestamp對(duì)應(yīng)的NTP時(shí)間latest_capture_time备禀。這里用到measure中存儲(chǔ)的latest_timestamp和RTCP SR的NTP時(shí)間和RTP時(shí)間戳timestamp，利用兩對(duì)數(shù)值計(jì)算得到采樣頻率frequency奈揍，然后有l(wèi)atest_capture_time = latest_timestamp / frequency曲尸，得到單位為毫秒的采樣時(shí)間。最后得到音視頻的相對(duì)延遲：

relative_delay = video_measure.latest_receive_time_ms –

audio_measure.latest_receive_time_ms –

(video_last_capture_time – audio_last_capture_time);

至此男翰，我們得到三個(gè)重要參數(shù)：視頻當(dāng)前延遲current_video_delay, 音頻當(dāng)前延遲current_audio_delay和相對(duì)延遲relative_delay另患。接下來(lái)用這三個(gè)參數(shù)計(jì)算音視頻的目標(biāo)延遲：首先計(jì)算總相對(duì)延遲current_diff = current_video_delay – current_audio_delay + relative_delay，根據(jù)歷史值對(duì)其求加權(quán)平均值蛾绎。如果current_diff > 0昆箕，表明當(dāng)前視頻延遲比音頻延遲長(zhǎng)，需要減小視頻延遲或者增大音頻延遲租冠；反之如果current < 0鹏倘，則需要增大視頻延遲或者減小視頻延遲。經(jīng)過(guò)此番調(diào)整之后顽爹，我們得到音視頻的目標(biāo)延遲audio_target_delay和video_target_delay纤泵。

最后，我們把得到的目標(biāo)延遲audio_target_delay和video_target_delay分別設(shè)置到音視頻模塊中镜粤，作為將來(lái)渲染延遲的下限值捏题。到此為止，一次音視頻同步操作完成肉渴。該操作在ModuleProcessThread線程中會(huì)周期性執(zhí)行公荧。

4 總結(jié)

本文詳細(xì)分析了WebRTC內(nèi)部音視頻同步的實(shí)現(xiàn)細(xì)節(jié)，包括RTP時(shí)間戳的產(chǎn)生同规，RTCP SR報(bào)文的構(gòu)造循狰、發(fā)送和接收庸诱，音視頻同步的初始化和同步過(guò)程。通過(guò)本文晤揣，對(duì)RTP協(xié)議桥爽、流媒體通信和音視頻同步有更深入的認(rèn)識(shí)。