live555移植到hi3516做rtsp服務(wù)器

一蜜笤、概述

live555庫(kù)本身實(shí)現(xiàn)了做rtsp服務(wù)器,客戶端可以通過(guò)rtsp客戶端訪問(wèn)服務(wù)器上的文件并播放,支持的文件格式如下:

1.png

本次任務(wù)實(shí)現(xiàn)了把live555移植到嵌入式海思芯片hi3516上做rtsp服務(wù)器,除了支持客戶端播放服務(wù)器上上面格式文件外侦高,另添加了實(shí)時(shí)播放hi3516攝像頭圖像與音頻的功能。

二厌杜、源碼結(jié)構(gòu)分析

live555源碼目錄如下:

2.png

四個(gè)基本的庫(kù)分別是:BasicUsageEnvironment, groupsock, liveMedia和UsageEnvironment奉呛。
編譯后即生成這4個(gè)庫(kù)文件:

3.png

這里我只簡(jiǎn)單說(shuō)下liveMedia庫(kù)的功能,其他三個(gè)庫(kù)是live555運(yùn)行的基礎(chǔ)庫(kù)夯尽,太(mei)簡(jiǎn)(yan)單(jiu),就不說(shuō)了瞧壮。

liveMedia庫(kù)包含了音視頻相關(guān)的所有功能,包含音視頻文件的解析呐萌,RTP傳輸封裝等馁痴,我們可以看到這個(gè)目錄下有對(duì)h264、AAC等文件解析的支持:

5.png

源碼目錄下還有一個(gè)mediaServer的文件夾肺孤,這個(gè)是使用live555做rtsp文件服務(wù)器的一個(gè)示例程序。
4.png

三济欢、移植到hi3516上

交叉編譯過(guò)程:略
這里我主要是修改mediaServer文件夾下的示例程序赠堵,添加實(shí)時(shí)預(yù)覽攝像頭圖像與mic聲音功能。
hi3516芯片法褥,視頻編碼格式為h264,音頻編碼格式為AAC茫叭。

1.添加音頻AAC支持
添加類ADTSAudioLiveSource,繼承自FramedSource

6.png

在該類的doGetNextFrame函數(shù)里實(shí)現(xiàn)獲取hi3516音頻數(shù)據(jù)做為rtsp服務(wù)器音頻源。
注意點(diǎn):

1.1 adts默認(rèn)是帶7字節(jié)或者9字節(jié)的頭半等,傳給rtsp的時(shí)候是要去掉頭的揍愁,實(shí)際上RTSP通過(guò)rtp傳輸AAC幀的時(shí)候是不帶adts頭的,而是帶4個(gè)字節(jié)的mpeg4-generic頭杀饵。

1.2 從FramedSource繼承而來(lái)的變量

  fMaxSize----本次最多讀多少字節(jié)  
  fNumTruncatedBytes---buf中有多少字節(jié)未處理  
  fFrameSize---本次處理多少字節(jié)  
  fTo----rtsp的輸入buf  

每次doGetNextFrame幀時(shí)莽囤,從FIFO里取一個(gè)完整的AAC幀,把幀拷貝到fTo buf里面切距,然后比較幀大小與fMaxSize來(lái)賦值幾個(gè)關(guān)鍵的變量:

7.png

注意朽缎,不管幀長(zhǎng)是否大于fMaxSize,每次都需要把完整的幀拷貝到fTo指針,live555內(nèi)部會(huì)根據(jù)fNumTruncatedBytes等變量自行處理分包话肖。

1.3 doGetNextFrame函數(shù)最后不管有沒(méi)有取到幀北秽,都需要執(zhí)行FramedSource::afterGetting

8.png

1.4 采樣率,通道數(shù)最筒,configstr等的計(jì)算

9.png

這幾個(gè)變量在mediaSubbsession建立RTPsink時(shí)要用到贺氓,它直接影響了SDP里對(duì)于AAC音頻描述字段的產(chǎn)生

10.png

添加類AACAudioLiveServerMediaSubsession,繼承自ADTSAudioFileServerMediaSubsession

11.png

createNewStreamSource函數(shù)創(chuàng)建上面的ADTSAudioLiveSource做為音頻輸入源,參數(shù)estBitrate為預(yù)估的碼率床蜘,海思AAC編碼碼率設(shè)置為24kbps,所以estBitrate設(shè)置為24.
createNewRTPSink有必要繼承辙培,因?yàn)樾枰鶕?jù)音頻源的采樣率、通道數(shù)等創(chuàng)建RTPSink.

2.添加h264支持
添加H264FramedLiveSource,繼承自FramedSource

12.png

unsigned maxFrameSize()函數(shù)必須繼承悄泥,里面設(shè)置幀最大可能的大小虏冻,我設(shè)置為100000,如果不繼承就是默認(rèn)的弹囚,會(huì)出現(xiàn)畫(huà)面馬賽克
doGetNextFrame函數(shù)里面和AAC取幀的處理差不多厨相,我加多了一個(gè)步驟,就是第一次取幀的時(shí)候會(huì)調(diào)用接口去產(chǎn)生一個(gè)關(guān)鍵幀鸥鹉,并且等待這個(gè)關(guān)鍵幀到來(lái)才處理蛮穿,這樣連接后出圖會(huì)比較快。

添加類H264VideoLiveServerMediaSubsession,繼承自H264VideoFileServerMediaSubsession

13.png

這個(gè)類就是實(shí)現(xiàn)createNewStreamSource時(shí)創(chuàng)建H264FramedLiveSource

3.修改DynamicRTSPServer
修改類DynamicRTSPServer毁渗,在lookupServerMediaSession函數(shù)里動(dòng)點(diǎn)手腳践磅,默認(rèn)在這個(gè)函數(shù)里面會(huì)根據(jù)文件名去尋找服務(wù)器下相應(yīng)的文件做為直播源,我這里比較如果是我特定的live源名字則直接返回灸异,相應(yīng)的live源創(chuàng)建rtsp服務(wù)器的時(shí)候就添加好

14.png

4.初始化rtsp server
初始化rtsp服務(wù)器府适,添加一個(gè)ServerMediaSession,該mediaSession添加一個(gè)AACAudioLiveServerMediaSubsession和一個(gè)H264VideoLiveServerMediaSubsession肺樟,然后把該mediaSession添加給rtsp服務(wù)器檐春。

客戶端訪問(wèn)rtsp://x.x.x.x/ch0.live時(shí)就可以看到實(shí)時(shí)的攝像頭圖像與聲音啦!

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市么伯,隨后出現(xiàn)的幾起案子疟暖,更是在濱河造成了極大的恐慌,老刑警劉巖田柔,帶你破解...
    沈念sama閱讀 206,839評(píng)論 6 482
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件俐巴,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡硬爆,警方通過(guò)查閱死者的電腦和手機(jī)欣舵,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,543評(píng)論 2 382
  • 文/潘曉璐 我一進(jìn)店門(mén),熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)摆屯,“玉大人邻遏,你說(shuō)我怎么就攤上這事糠亩。” “怎么了准验?”我有些...
    開(kāi)封第一講書(shū)人閱讀 153,116評(píng)論 0 344
  • 文/不壞的土叔 我叫張陵赎线,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我糊饱,道長(zhǎng)垂寥,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 55,371評(píng)論 1 279
  • 正文 為了忘掉前任另锋,我火速辦了婚禮滞项,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘夭坪。我一直安慰自己文判,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,384評(píng)論 5 374
  • 文/花漫 我一把揭開(kāi)白布室梅。 她就那樣靜靜地躺著戏仓,像睡著了一般。 火紅的嫁衣襯著肌膚如雪亡鼠。 梳的紋絲不亂的頭發(fā)上赏殃,一...
    開(kāi)封第一講書(shū)人閱讀 49,111評(píng)論 1 285
  • 那天,我揣著相機(jī)與錄音间涵,去河邊找鬼仁热。 笑死,一個(gè)胖子當(dāng)著我的面吹牛勾哩,可吹牛的內(nèi)容都是我干的抗蠢。 我是一名探鬼主播,決...
    沈念sama閱讀 38,416評(píng)論 3 400
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼思劳,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼物蝙!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 37,053評(píng)論 0 259
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤虚循,失蹤者是張志新(化名)和其女友劉穎婉徘,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體芜抒,經(jīng)...
    沈念sama閱讀 43,558評(píng)論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,007評(píng)論 2 325
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了牡属。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 38,117評(píng)論 1 334
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡扼睬,死狀恐怖逮栅,靈堂內(nèi)的尸體忽然破棺而出悴势,到底是詐尸還是另有隱情,我是刑警寧澤措伐,帶...
    沈念sama閱讀 33,756評(píng)論 4 324
  • 正文 年R本政府宣布特纤,位于F島的核電站,受9級(jí)特大地震影響侥加,放射性物質(zhì)發(fā)生泄漏捧存。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,324評(píng)論 3 307
  • 文/蒙蒙 一担败、第九天 我趴在偏房一處隱蔽的房頂上張望昔穴。 院中可真熱鬧,春花似錦提前、人聲如沸吗货。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,315評(píng)論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)宙搬。三九已至,卻和暖如春孙援,著一層夾襖步出監(jiān)牢的瞬間害淤,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 31,539評(píng)論 1 262
  • 我被黑心中介騙來(lái)泰國(guó)打工拓售, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留窥摄,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 45,578評(píng)論 2 355
  • 正文 我出身青樓础淤,卻偏偏與公主長(zhǎng)得像崭放,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子鸽凶,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,877評(píng)論 2 345

推薦閱讀更多精彩內(nèi)容