音視頻學(xué)習(xí)筆記 - RTP與RTCP
? 實(shí)時(shí)傳輸協(xié)議(RTP)詳細(xì)說明了在互聯(lián)網(wǎng)上傳遞音頻和視頻的標(biāo)準(zhǔn)數(shù)據(jù)包格式. 它一開始被設(shè)計(jì)為一個(gè)多播協(xié)議, 但后來被用在很多單播應(yīng)用中. RTP協(xié)議常用于流媒體系統(tǒng), 視頻會議, 它是IP電話產(chǎn)業(yè)的技術(shù)基礎(chǔ). RTP協(xié)議和RTP控制協(xié)議RTCP一起使用, 而且它是創(chuàng)建在UDP協(xié)議上的.
RTP
報(bào)文結(jié)構(gòu)
一般情況下, 在實(shí)時(shí)互動直播系統(tǒng)傳輸音視頻數(shù)據(jù)流時(shí), 并不直接將音視頻數(shù)據(jù)流交給UDP傳輸, 而是先給音視頻數(shù)據(jù)加個(gè)RTP頭, 然后再交給UDP進(jìn)行傳輸.
字段含義
sequence number: 序號, 用于記錄包的順序.
timestamp: 時(shí)間戳, 同一個(gè)幀的不同分片的時(shí)間戳是相同的, 不同幀的時(shí)間戳肯定是不一樣的.
PT: Payload Type, 數(shù)據(jù)負(fù)載類型. 音頻流的PT值與視頻流的PT值是不同的, 通過它就可以知道這個(gè)包存放的是什么類型的數(shù)據(jù).
SSRC: 共享媒體流的源. 它是全局唯一的, 不同的SSRC表示不同的共享源.
CC: CSRC的個(gè)數(shù).
CSRC: 共享源. 一般用在混音或混屏上. 如, 在一路音頻流中混合了幾個(gè)人的聲音, 那么每個(gè)人的聲音就是一個(gè)CSRC.
X: RTP擴(kuò)展標(biāo)記. 如果該位置是1, 說明此RTP包還有擴(kuò)展頭. 如果有擴(kuò)展頭, 它就被放在CSRC之后.
M: Mark位. 一般用于界定視頻幀邊界.
P: 填充位. 包的末尾包含了一個(gè)或多個(gè)填充字節(jié).
示例:
...
{V=2,P=0,X=0,CC=0,M=0,PT:98,seq:13,ts:1122334455,ssrc=2345},
{V=2,P=0,X=0,CC=0,M=0,PT:111,seq:14,ts:1122334455,ssrc=888},
{V=2,P=0,X=0,CC=0,M=0,PT:98,seq:14,ts:1122334455,ssrc=2345},
{V=2,P=0,X=0,CC=0,M=0,PT:111,seq:15,ts:1122334455,ssrc=888},
{V=2,P=0,X=0,CC=0,M=0,PT:98,seq:15,ts:1122334455,ssrc=2345},
{V=2,P=0,X=0,CC=0,M=0,PT:111,seq:16,ts:1122334455,ssrc=888},
{V=2,P=0,X=0,CC=0,M=0,PT:98,seq:16,ts:1122334455,ssrc=2345},
{V=2,P=0,X=0,CC=0,M=0,PT:111,seq:17,ts:1122334455,ssrc=888},
{V=2,P=0,X=0,CC=0,M=0,PT:98,seq:17,ts:1122334455,ssrc=2345},
{V=2,P=0,X=0,CC=0,M=0,PT:111,seq:18,ts:1122334455,ssrc=888},
{V=2,P=0,X=0,CC=0,M=0,PT:98,seq:18,ts:1122334455,ssrc=2345},
{V=2,P=0,X=0,CC=0,M=0,PT:111,seq:19,ts:1122334455,ssrc=888},
{V=2,P=0,X=0,CC=0,M=0,PT:98,seq:19,ts:1122334455,ssrc=2345},
{V=2,P=0,X=0,CC=0,M=0,PT:111,seq:20,ts:1122334455,ssrc=888},
{V=2,P=0,X=0,CC=0,M=1,PT:98,seq:20,ts:1122334455,ssrc=2345},
...
PT=98表示視頻數(shù)據(jù), PT=111表示音頻數(shù)據(jù)
RTCP
? 實(shí)時(shí)傳輸控制協(xié)議, 它為RTP媒體流提供信道外控制. RTCP本身并不傳輸數(shù)據(jù), 但和RTP一起協(xié)作將多媒體數(shù)據(jù)打包和發(fā)送. RTCP定期在流多媒體會話參加者間傳輸控制數(shù)據(jù). RTCP的主要功能是為RTP所提供的服務(wù)質(zhì)量提供反饋.
RTCP收集相關(guān)媒體連接的統(tǒng)計(jì)信息, 如傳輸字節(jié)數(shù), 傳輸分組數(shù), 丟失分組數(shù), 單向和雙向網(wǎng)絡(luò)延遲等等, 網(wǎng)絡(luò)應(yīng)用程序即可利用RTCP的統(tǒng)計(jì)信息來控制傳輸?shù)钠焚|(zhì), 如當(dāng)網(wǎng)絡(luò)帶寬高負(fù)載時(shí)限制信息流量或改用壓縮比較小的編解碼器.
報(bào)文結(jié)構(gòu)
字段含義
- V=2: 報(bào)文的版本, 默認(rèn)是2.
- P: 填充標(biāo)識位, 如果該位置是1, 則在RTCP報(bào)文的最后會有填充字節(jié).
- RC: Report Count, 指RTCP報(bào)文中接收報(bào)告的報(bào)文塊個(gè)數(shù).
- PT: Payload Type.
- Length: 該長度包括RTCP頭, 報(bào)文內(nèi)容以及填充字節(jié).
- NTP timestamp: 每個(gè)發(fā)送報(bào)文的NTP時(shí)間戳.
- RTP timestamp: RTP時(shí)間戳.
- sender's packet count: 發(fā)送報(bào)文總數(shù).
- sender's octet count: 發(fā)送的總字節(jié)數(shù).
- SSRC_n: 數(shù)據(jù)源n.
- fraction lost: 8 位, SSRC_n從上一次報(bào)告到本次報(bào)告的丟包比例.
- cumulative number of packet lost: SSRC_1的總丟包數(shù).
- extended highest sequence number received: 低16位表示收到的最大seq, 高16位表示seq循環(huán)次數(shù).
- interarrival jitter: RTP包到達(dá)時(shí)間間隔的統(tǒng)計(jì)方差.
- LSR: 最后一個(gè)SR的時(shí)間戳, 它是NTP時(shí)間戳中間的32位, 如果沒有收到SR, 此字段位0.
- DLSR: 32位, 延遲以1/65536秒為單位, 記錄源SSRC_n接收SR的時(shí)間與發(fā)送SR的時(shí)間差.
RTCP PT類型
- Header部分用于標(biāo)識該報(bào)文的類型, 如是SR還是RR.
- Sender info部分用于指明作為發(fā)送方, 到底發(fā)了多少包.
- Report block部分指明發(fā)送方作為接收方時(shí), 它從各個(gè)SSRC接收包的情況.
? SR報(bào)文并不僅指發(fā)送方發(fā)了多少數(shù)據(jù), 它還報(bào)告了作為接收方, 它接收到的數(shù)據(jù)情況. 當(dāng)發(fā)送方收到對端的接收報(bào)告時(shí), 它就可以根據(jù)接收報(bào)告來評估它與對端間的網(wǎng)絡(luò)質(zhì)量, 再根據(jù)網(wǎng)絡(luò)質(zhì)量做傳輸策略的調(diào)整.
