一宦言、視頻采集基礎(chǔ)知識(shí)

一扇单、圖像的基本知識(shí)

1. 色彩空間(Color space)又稱 色域

“色彩空間”一詞源于西方的“Color Space”,又稱作“色域”奠旺,色彩學(xué)中令花,人們建立了多種色彩模型阻桅,以一維凉倚、二維兼都、三維甚至四維空間坐標(biāo)來(lái)表示某一色彩,這種坐標(biāo)系統(tǒng)所能定義的色彩范圍即色彩空間稽寒。我們經(jīng)常用到的色彩空間主要有RGB扮碧、CMYK、Lab等杏糙。

色彩模型 是通過(guò)一組數(shù)值來(lái)描述顏色的一種抽象數(shù)學(xué)模型慎王。( 例如:通常 三原色光模式( RGB )使用三元組、印刷四分色模式 ( CMYK )使用四元組)

Lab模式 是由國(guó)際照明委員會(huì)(CIE)于1976年公布的一種色彩模式宏侍。

RGB模式 是一種發(fā)光屏幕的加色模式赖淤,CMYK模式是一種顏色反光的印刷減色模式。而Lab模式既不依賴光線谅河,也不依賴于顏料咱旱,它是CIE組織確定的一個(gè)理論上包括了人眼可以看見(jiàn)的所有色彩的色彩模式,彌補(bǔ)了RGB和CMYK兩種色彩模式的不足绷耍。從Lab的通道可以看出吐限,這種色彩混合后將產(chǎn)出明亮的色彩。

clipboard.png

在表達(dá)?彩范圍上褂始,色彩數(shù)量的比較:Lab > RGB > CMYK 诸典,也就是說(shuō)Lab模式所定義的?彩最多,且與光線及設(shè)備?關(guān)崎苗,并且處理速度與RGB模式同樣快狐粱,?CMYK模式快數(shù)倍。

2. 常見(jiàn)的色彩模型(圖像存儲(chǔ)格式)

2.1 RGB模型 又稱 加色混色模型

RGB 模型 是常用的一種彩色信息表達(dá)方式胆数,它使用 肌蜻、藍(lán) 三原色 的亮度來(lái)定量表示顏色幅慌。

RGB模型 的空間是個(gè)單位正方體宋欺。立方體內(nèi)的各點(diǎn)對(duì)應(yīng)不同的顏色,可以用從原點(diǎn)各點(diǎn)對(duì)應(yīng)不同的顏色胰伍,可以從原點(diǎn)到該點(diǎn)的矢量表示齿诞,三個(gè)坐標(biāo)值分別為紅、綠骂租、藍(lán)三色的比例祷杈。在數(shù)字系統(tǒng)中這個(gè)單位空間被離散化,通常每個(gè)分量都用 8位 整數(shù)表示渗饮,這樣每個(gè)像素需要 24位 表示但汞。

三原色 RGB色彩模型
加法三原色 減法三原色

RGB模型 --- 色域 ( sRGB 宿刮、Adobe RGB 、CMYK )

RGB模型-色域

RGB模型 --- 內(nèi)部排布
常見(jiàn)的RGB格式 :RGBA32 私蕾、BGRA32 僵缺、RGB24

rgb內(nèi)部排布.png

2.2 YUV 模型

YUV色彩模型 利用人類視覺(jué)對(duì)亮度的敏感度比對(duì)色度的敏感度高的特點(diǎn)獲得較RGB色彩模型的優(yōu)勢(shì),為彩色電視系統(tǒng)廣泛使用踩叭。YUV色彩模型將亮度信息從色度信息中分離了出來(lái)磕潮,并且對(duì)同一幀圖像的亮度和色度采用了不同的采樣率。在YUV色彩模型中容贝,亮度信息Y與色度信息U\V相互獨(dú)立自脯。Y信號(hào)分量為黑白灰度圖。U斤富、V信號(hào)分量為單色彩色圖膏潮。與我們熟知的RGB類似,YUV也是一種顏色編碼方法满力,主要用于電視系統(tǒng)以及模擬視頻領(lǐng)域焕参,它將亮度信息(Y)與色彩信息(UV)分離,沒(méi)有UV信息一樣可以顯示完整的圖像脚囊,只不過(guò)是黑白的龟糕,這樣的設(shè)計(jì)很好地解決了彩色電視機(jī)與黑白電視的兼容問(wèn)題。并且悔耘,YUV不像RGB那樣要求三個(gè)獨(dú)立的視頻信號(hào)同時(shí)傳輸讲岁,所以用YUV方式傳送占用極少的頻寬。

YUV色彩模型

YUV格式有兩大類:planar 和 packed
對(duì)于planar的YUV格式衬以,先連續(xù)存儲(chǔ)所有像素點(diǎn)的Y缓艳,緊接著存儲(chǔ)所有像素點(diǎn)的U,隨后是所有像素點(diǎn)的V看峻。對(duì)于packed的YUV格式阶淘,每個(gè)像素點(diǎn)的Y,U,V是連續(xù)交叉存儲(chǔ)的。

YUV互妓,分為三個(gè)分量溪窒,“Y”表示明亮度(Luminance或Luma),也就是灰度值冯勉;而“U”和“V” 表示的則是色度(Chrominance或Chroma)澈蚌,作用是描述影像色彩及飽和度,用于指定像素的顏色。

常見(jiàn)的YUV格式有YUY2、YUYV寞忿、YVYU尺借、UYVY份汗、AYUV盈电、Y41P、Y411杯活、Y211匆帚、IF09、IYUV轩猩、YV12卷扮、YVU9、YUV411均践、YUV420等,其中比較常見(jiàn)的YUV420分為兩種:YUV420P和YUV420SP摩幔。

YUV常用的采樣格式有:YCbCr 4:2:0彤委、YCbCr 4:2:2、YCbCr 4:1:1和YCbCr 4:4:4或衡。
YUV的表示法稱為A:B:C表示法:
4:4:4表示完全取樣焦影,每一個(gè)Y對(duì)應(yīng)一組UV分量,一個(gè)YUV占8+8+8 = 24bits 3個(gè)字節(jié),24bit?個(gè)像素
4:2:2表示2:1的?平取樣封断,垂直完全采樣斯辰,每?jī)蓚€(gè)Y共用一組UV分量,一個(gè)YUV占8+4+4 = 16bits 2個(gè)字節(jié)
4:2:0表示2:1的?平取樣,垂直2:1采樣坡疼,12bit?個(gè)像素
4:1:1表示4:1的?平取樣彬呻,垂直完全采樣,12bit?個(gè)像素
這里就不細(xì)講各個(gè)采樣方式啦柄瑰。

YUV模型 --- 色域 ( 不同的標(biāo)準(zhǔn) :YIQ 闸氮、PAL 、YCbCr )

yuv模型色域

二教沾、采集

音視頻采集主要依賴視頻蒲跨、音頻硬件采集設(shè)備。
視頻采集圖像傳感器(CCD或CMOS等)授翻,用于圖像采集和處理的過(guò)程或悲,把圖像轉(zhuǎn)換成電信號(hào)。
拾音器堪唐、麥克風(fēng)(聲音傳感器)巡语,用于聲音采集和處理的過(guò)程,把聲音轉(zhuǎn)換成電信號(hào)羔杨。

接下來(lái)我會(huì)繼續(xù)總結(jié)幾篇文章來(lái)具體說(shuō)明下采集的相關(guān)知識(shí)捌臊。

2.1 物理采集

物理采集設(shè)備 :USB攝像頭 、SOC攝像頭 兜材、采集卡

SOC攝像頭結(jié)構(gòu) 圖像傳感器(CCD 理澎、CMOS )
圖像傳感器的比較

術(shù)語(yǔ)說(shuō)明

數(shù)碼變焦
數(shù)碼變焦是在感光器件垂直方向向上的變化逞力,而給人以變焦效果的。在感光器件上的面積越小糠爬,那么視覺(jué)上就會(huì)讓用戶只看見(jiàn)景物的局部寇荧。但是由于焦距沒(méi)有變化,所以执隧,圖像質(zhì)量是相對(duì)于正常情況下較差(除pureview技術(shù)外)

前置攝像頭數(shù)碼變焦.png

光學(xué)變焦
光學(xué)變焦是通過(guò)鏡頭揩抡、物體和焦點(diǎn)三方的位置發(fā)生變化而產(chǎn)生的。當(dāng)成像面在水平方向運(yùn)動(dòng)的時(shí)候镀琉,視覺(jué)和焦距就會(huì)發(fā)生變化峦嗤,更遠(yuǎn)的景物變得更清晰,讓人感覺(jué)像物體遞進(jìn)的感覺(jué)屋摔。

光學(xué)變焦.png

焦距
焦距也稱為焦長(zhǎng)烁设,是光學(xué)系統(tǒng)中衡光的聚集或發(fā)散的度量方式,指從透鏡中心到光聚集之焦點(diǎn)的距離钓试。亦是照相機(jī)中装黑,從鏡片光學(xué)中心到底片、CCD或CMOS等成像平面的距離弓熏。其實(shí)恋谭,把“焦距”換?個(gè)詞,大家就對(duì)其完全理解了——“視野范圍”挽鞠。所以疚颊,短焦距鏡頭視野范圍大,也叫做廣角鏡頭滞谢;長(zhǎng)焦距鏡頭視覺(jué)范圍写 ;標(biāo)準(zhǔn)焦距鏡頭的視覺(jué)范圍就如同我們的眼睛所見(jiàn)?般狮杨。

焦距.png

對(duì)焦
對(duì)焦也叫對(duì)光母截、聚焦。通過(guò)照相機(jī)對(duì)焦機(jī)構(gòu)變動(dòng)物距和相距的位置橄教,使被拍物成像清晰的過(guò)程就是對(duì)焦清寇。

延遲(采集延遲 、整體延遲)
整體延遲:采集到渲染看到圖像的時(shí)間护蝶。

2.2 軟件采集

軟件采集是通過(guò)軟件采集的方式進(jìn)行采集視頻數(shù)據(jù)华烟,常見(jiàn)的有屏幕采集。
屏幕采集
Android MediaProjection
Android 5.0版本之后持灰,?持使?MediaProjection的?式獲取屏幕視頻流盔夜。具體的使??法和原理如下圖

android屏幕分享.png

收集了相關(guān)文檔:(后續(xù)寫一篇Android的屏幕分享文檔,本人非開(kāi)發(fā),對(duì)這一塊還需深入了解后喂链,再來(lái)寫返十,不然誤人子弟==)
https://doc-zh.zego.im/article/9220

iOS -- ReplayKit

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市椭微,隨后出現(xiàn)的幾起案子洞坑,更是在濱河造成了極大的恐慌,老刑警劉巖蝇率,帶你破解...
    沈念sama閱讀 216,324評(píng)論 6 498
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件迟杂,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡本慕,警方通過(guò)查閱死者的電腦和手機(jī)排拷,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,356評(píng)論 3 392
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)间狂,“玉大人攻泼,你說(shuō)我怎么就攤上這事〖螅” “怎么了?”我有些...
    開(kāi)封第一講書人閱讀 162,328評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵何鸡,是天一觀的道長(zhǎng)纺弊。 經(jīng)常有香客問(wèn)我,道長(zhǎng)骡男,這世上最難降的妖魔是什么淆游? 我笑而不...
    開(kāi)封第一講書人閱讀 58,147評(píng)論 1 292
  • 正文 為了忘掉前任,我火速辦了婚禮隔盛,結(jié)果婚禮上犹菱,老公的妹妹穿的比我還像新娘。我一直安慰自己吮炕,他們只是感情好腊脱,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,160評(píng)論 6 388
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著龙亲,像睡著了一般陕凹。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上鳄炉,一...
    開(kāi)封第一講書人閱讀 51,115評(píng)論 1 296
  • 那天杜耙,我揣著相機(jī)與錄音,去河邊找鬼拂盯。 笑死佑女,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播团驱,決...
    沈念sama閱讀 40,025評(píng)論 3 417
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼摸吠,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了店茶?” 一聲冷哼從身側(cè)響起蜕便,我...
    開(kāi)封第一講書人閱讀 38,867評(píng)論 0 274
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎贩幻,沒(méi)想到半個(gè)月后轿腺,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,307評(píng)論 1 310
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡丛楚,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,528評(píng)論 2 332
  • 正文 我和宋清朗相戀三年族壳,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片趣些。...
    茶點(diǎn)故事閱讀 39,688評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡仿荆,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出坏平,到底是詐尸還是另有隱情拢操,我是刑警寧澤,帶...
    沈念sama閱讀 35,409評(píng)論 5 343
  • 正文 年R本政府宣布舶替,位于F島的核電站令境,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏顾瞪。R本人自食惡果不足惜舔庶,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,001評(píng)論 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望陈醒。 院中可真熱鬧惕橙,春花似錦、人聲如沸钉跷。這莊子的主人今日做“春日...
    開(kāi)封第一講書人閱讀 31,657評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)尘应。三九已至惶凝,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間犬钢,已是汗流浹背苍鲜。 一陣腳步聲響...
    開(kāi)封第一講書人閱讀 32,811評(píng)論 1 268
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留玷犹,地道東北人混滔。 一個(gè)月前我還...
    沈念sama閱讀 47,685評(píng)論 2 368
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親坯屿。 傳聞我的和親對(duì)象是個(gè)殘疾皇子油湖,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,573評(píng)論 2 353

推薦閱讀更多精彩內(nèi)容