視頻上云服務EasyCVR已經開發(fā)集成了海康SDK搔涝、Ehome協議等私有協議,目前其他的協議也在拓展當中矩欠,有興趣的用戶可以看一下我們的Ehome協議開發(fā)過程猾蒂。
EasyCVR目前正在研發(fā)AI智能分析集成功能,將智能分析結果插入視頻流成為我們首要解決的問題隐孽,我們使用了FFmpeg中插入SEI信息流程癌椿。
生成SEI的方式基本可以歸類為一下三種:
1、對已有碼流做filter菱阵,插入SEI NAL踢俄;
2、視頻編碼時生成SEI晴及;
3都办、容器層寫入時插入SEI。
一虑稼、EasyCVR選擇1中的方式琳钉,參考FFMepg 中bsf,在不做碼流解碼的前提下蛛倦,對已經編碼后的比特流做特定的修改歌懒、調整. 插入時遵循SPS+PPS+SEI+IDR 的順序
Ffmpeg h264_metadata_bsf.c
以上代碼完整解釋了SEI規(guī)范,其中"H264_SEI_TYPE_USER_DATA_UNREGISTERED"值為5溯壶,對應的即是未注冊的用戶信息及皂。在解析"ffmpeg"工具輸入過程中,將"+“號前面的字符串轉換成二進制寫入uuid茸塞,”+"后內容使用字符串寫入payload躲庄。
二、碼流中隨機插入SEI钾虐,如下:
隨機插入指的是 不遵循sps+pps+sei+idr 的順序噪窘,根據需要隨機插入,保證前端獲取信息的實時性,可能的順序為SEI+P+P+SEI+P+P+P
加入SEI信息成功后倔监,碼流SEI部分如下圖所示
EasyCVR安防視頻云服務的主要功能是將本地局域網內連通的RTSP視頻源直砂,通過RTMP協議推送到阿里、騰訊等公有云廠商的視頻服務中浩习,同時具備本地存儲文件的能力静暂,可接入SDK、支持H265視頻流編解碼谱秽、支持電視墻等功能洽蛀。