音視頻流媒體開(kāi)發(fā)-目錄
iOS知識(shí)點(diǎn)-目錄
Android-目錄
Flutter-目錄
數(shù)據(jù)結(jié)構(gòu)與算法-目錄
uni-pp-目錄

1 ts?件分層

ts ?件為傳輸流?件励负，視頻編碼主要格式為 H264/MPEG4棺滞，?頻為 AAC/MP3留搔。

ts ?件分為三層：
ts 層：Transport Stream，是在 pes 層的基礎(chǔ)上加?數(shù)據(jù)流的識(shí)別和傳輸必須的信息猾蒂。
pes 層： Packet Elemental Stream，是在?視頻數(shù)據(jù)上加了時(shí)間戳等對(duì)數(shù)據(jù)幀的說(shuō)明信息蒲牧。
es 層：Elementary Stream，即?視頻數(shù)據(jù)。

1.1 ts 層：Transport Stream

ts 包??固定為 188 字節(jié)，ts 層分為三個(gè)部分：ts header边涕、adaptation field、payload检盼。ts header固定 4 個(gè)字節(jié)儿咱；adaptation field 可能存在也可能不存在，主要作?是給不? 188 字節(jié)的數(shù)據(jù)做填充性置；

payload 是 pes 數(shù)據(jù)拾并。

1.1.1 ts header

ts 層的內(nèi)容是通過(guò) PID 值來(lái)標(biāo)識(shí)的，主要內(nèi)容包括：PAT 表鹏浅、PMT 表嗅义、?頻流、視頻流隐砸。解析 ts 流要先找到 PAT 表之碗，只要找到 PAT 就可以找到 PMT，然后就可以找到?視頻流了季希。PAT 表的和 PMT 表需要定期插? ts 流褪那，因?yàn)?戶隨時(shí)可能加? ts 流，這個(gè)間隔?較?式塌，通常每隔?個(gè)視頻幀就要加? PAT和 PMT博敬。PAT 和 PMT 表是必須的，還可以加?其它表如 SDT（業(yè)務(wù)描述表）等峰尝，不過(guò) hls 流只要有PAT 和 PMT 就可以播放了偏窝。

• PAT 表：主要的作?就是指明了 PMT 表的 PID 值。
• PMT 表：主要的作?就是指明了?視頻流的 PID 值境析。
• ?頻流/視頻流：承載?視頻內(nèi)容囚枪。

1.1.2 adaptation field

?適應(yīng)區(qū)的?度要包含傳輸錯(cuò)誤指示符標(biāo)識(shí)的?個(gè)字節(jié)。pcr 是節(jié)?時(shí)鐘參考劳淆，pcr链沼、dts、pts 都是對(duì)同?個(gè)系統(tǒng)時(shí)鐘的采樣值沛鸵，pcr 是遞增的括勺，因此可以將其設(shè)置為 dts 值缆八，?頻數(shù)據(jù)不需要 pcr。如果沒(méi)有字段疾捍，ipad 是可以播放的奈辰，但 vlc ?法播放。打包 ts 流時(shí) PAT 和 PMT 表是沒(méi)有 adaptation field 的乱豆，不夠的?度直接補(bǔ) 0xff 即可奖恰。視頻流和?頻流都需要加 adaptation field，通常加在?個(gè)幀的第?個(gè) ts包和最后?個(gè) ts 包?宛裕，中間的 ts 包不加瑟啃。如下圖所示：

PAT 格式如下圖

PMT 格式如下圖

1.2 pes 層：Packet Elemental Stream

pes 層是在每?個(gè)視頻/?頻幀上加?了時(shí)間戳等信息，pes 包內(nèi)容很多揩尸，這?只留下最常?的蛹屿。

pes 層格式如下圖：

[圖片上傳失敗...(image-ba33b1-1684154355563)]

image.png

pes 層內(nèi)容如下圖：

pts 是顯示時(shí)間戳、dts 是解碼時(shí)間戳岩榆，視頻數(shù)據(jù)兩種時(shí)間戳都需要错负，?頻數(shù)據(jù)的 pts 和 dts 相同，所以只需要 pts勇边。有 pts 和 dts 兩種時(shí)間戳是 B 幀引起的犹撒，I 幀 和 P 幀的 pts 等于 dts。如果?個(gè)視頻沒(méi)有B 幀粥诫，則 pts 永遠(yuǎn)和 dts 相同油航。從?件中順序讀取視頻幀，取出的幀順序和 dts 順序相同怀浆。dts 算法?較簡(jiǎn)單谊囚，初始值 + 增量即可，pts 計(jì)算?較復(fù)雜执赡，需要在 dts 的基礎(chǔ)上加偏移量镰踏。

?頻的 pes 中只有 pts（同 dts），視頻的 I沙合、P 幀兩種時(shí)間戳都要有奠伪，視頻 B 幀只要 pts（同 dts）。

打包 pts 和 dts 就需要知道視頻幀類(lèi)型首懈，但是通過(guò)容器格式我們是?法判斷幀類(lèi)型的绊率，必須解析 h.264內(nèi)容才可以獲取幀類(lèi)型。

舉例說(shuō)明：

1 .           I     P     B     B     B     P
2 讀取順序：  1     2     3     4     5     6
3 dts 順序：  1     2     3     4     5     6
4 pts 順序：  1     5     3     2     4     6

點(diǎn)播視頻 dts 算法：

dts = 初始值 + 90000 / video_frame_rate 究履，初始值可以隨便指定滤否，但是最好不要取 0，video_frame_rate 就是幀率最仑，?如 23藐俺、30炊甲。

pts 和 dts 是 以 timestamp 為 單 位 的 ， 1s = 90000 time scale 欲芹， ? 幀 就 應(yīng) 該 是90000/video_frame_rate 個(gè) timescale卿啡。

??幀的 timescale 除以采樣頻率就可以轉(zhuǎn)換為?幀的播放時(shí)?。

點(diǎn)播?頻 dts 算法：

dts = 初 始 值 + (90000 * audio_samples_per_frame) / audio_sample_rate 菱父，audio_samples_per_frame 這 個(gè) 值 與 編 解 碼 相 關(guān) 颈娜， aac 取 值 1024 ， mp3 取 值 1158 滞伟，audio_sample_rate 是采樣率揭鳞，?如 24000、41000. AAC ?般解碼出來(lái)是每聲道 1024 個(gè) sample梆奈，也就是說(shuō)?幀的時(shí)?為 1024/sample_rate 秒。所以每?幀時(shí)間戳依次 0,1024/sample_rate, ...,1024*n/sample_rate 秒 称开。

注：直播視頻的 dts 和 pts 應(yīng)該直接?直播數(shù)據(jù)流中的時(shí)間亩钟，不應(yīng)該按公式計(jì)算。

1.3 es 層：Elementary Stream

es 層指的就是?視頻數(shù)據(jù)鳖轰。這?只介紹 h.264 視頻和 aac ?頻清酥。

1.3.1 h.264 視頻

打包 h.264 數(shù)據(jù)時(shí)必須給視頻數(shù)據(jù)加上?個(gè) nalu（Network Abstraction Layer Unit），nalu 包括nalu header 和 nalu type蕴侣，nalu header 固定為 0x00000001（幀開(kāi)始）或 0x000001（幀中）焰轻。

h.264 的數(shù)據(jù)是由 slice 組成的，slice 的內(nèi)容包括：視頻昆雀、sps辱志、pps 等。nalu type 決定了后?的h.264 數(shù)據(jù)內(nèi)容狞膘。

0 1 2 3 4 5 6 7
+-+-+-+-+-+-+-+-+
|F|NRI| TYPE |
+-+-+-+-+-+-+-+-+

• F：1bit揩懒，forbidden_zero_bit，h.264 規(guī)定必須取 0挽封。
• NRI：2bits已球，nal_ref_idc，取值為 0~3辅愿，指示這個(gè) nalu 的重要性智亮，I 幀、sps点待、pps 通常取 3阔蛉，P 幀
  常取 2，B 幀通常取 0
• Type：5bits亦鳞，取值如下表所示：

打包 es 層數(shù)據(jù)時(shí) pes 頭和 es 數(shù)據(jù)之間要加??個(gè) type=9 的 nalu馍忽，關(guān)鍵幀 slice 前必須要加?type=7 和 type=8 的 nalu棒坏，?且是緊鄰的。如下圖所示：

1.3.2 aac?頻

打包aac?頻必須加上?個(gè)adts(Audio Data Transport Stream)頭遭笋，共7Byte坝冕，adts包括fixed_header和variable_header兩部分，各28bit瓦呼。

fixed_header

variable_header