成像系統(tǒng)的應(yīng)用多點(diǎn)綻放仗考，全面開花
智能手機(jī)
ADAS – 車載至少7個攝像頭
安防及物聯(lián)網(wǎng)
智能家居 – 門鎖绊汹、貓眼腿倚、老人看護(hù)
機(jī)器視覺
影視
特種消費(fèi) – 運(yùn)動相機(jī)
無人機(jī)
軍工
醫(yī)療影像
ISP技術(shù)方興未艾昏滴，重要性越發(fā)明顯
產(chǎn)業(yè)已非常龐大且高速發(fā)展浑此，對各類ISP工程師需求很大累颂，仍有很大缺口
位于成像系統(tǒng)的核心
算法正處于快速迭代階段
隨著通信及AI的發(fā)展有新的理念及需求
各種應(yīng)用對ISP的需求不盡相同，需針對不同應(yīng)用開發(fā)不同算法凛俱，從而避免一家獨(dú)大
從事成像系統(tǒng)相關(guān)技術(shù)開發(fā)也需要學(xué)習(xí)ISP
文章目錄
1 成像系統(tǒng)簡介
2 光的認(rèn)識
3 成像環(huán)境的認(rèn)識
3.1 照度
3.2 色溫
3.3 動態(tài)范圍
4 人眼的認(rèn)識
4.1 成像原理
4.2 人眼的特性
5 光學(xué)器件簡介
5.1 鏡頭
5.2 濾光片
5.3 分光鏡
5.4 光源
6 圖像傳感器簡介
6.1 結(jié)構(gòu)
6.2 分類
7 圖像噪聲的認(rèn)識
7.1 產(chǎn)生原因
7.2 噪聲特點(diǎn)
7.3 將噪方法
成像系統(tǒng)簡介
光源發(fā)出光紊馏，經(jīng)過折射到鏡頭中，鏡頭進(jìn)行聚焦蒲犬，然后再經(jīng)過濾光片將不需要的光濾掉朱监，然后到達(dá)圖像傳感器(Image Sensor)，在圖像傳感器進(jìn)行光電轉(zhuǎn)換原叮、模數(shù)轉(zhuǎn)換赫编，然后將數(shù)字信號送給ISP完成圖像處理巡蘸，最后送給顯示端或編碼或進(jìn)一步后處理。
光的認(rèn)識
頻率擂送、強(qiáng)度悦荒、相位、速度是光的四個基本衡量因子团甲。
不同頻率的光通過不同的材質(zhì)時逾冬，衰減程度及光速變化都不相同。
不同材料的物質(zhì)對不同頻率的光響應(yīng)不同
比如躺苦，太陽光的波長范圍是250~2500nm身腻，經(jīng)過臭氧層、空氣到達(dá)地面的頻譜范圍如下圖紅色部分所示匹厘，有一些頻譜會被過濾掉了嘀趟。
成像環(huán)境的認(rèn)識
照度
照度是對環(huán)境光強(qiáng)度的度量
衡量單位為lux，白天晴天近10萬lux愈诚，陰雨天幾千lux她按，夜晚有燈光幾十lux，夜晚最小可達(dá)0.01lux
照度越小炕柔，成像時需要越大的快門（shutter）酌泰、增益（gain）、光圈（IRIS）或者補(bǔ)光
色溫
色溫原本指物體（特別是金屬）加熱到不同溫度發(fā)出的不同顏色的光匕累。
衡量單位為K陵刹，色溫越高反而越冷，色溫越低就越暖欢嘿，范圍一般為1800~7500K衰琐，蠟燭為1800K，晴天中午為7500K
常見的色溫值有D65（日光燈發(fā)出的光）炼蹦，TL83羡宙，TL84，UV掐隐、CWF狗热、A光等
動態(tài)范圍
動態(tài)范圍是對一個場景最亮部分與最暗部分照度比例的衡量。
衡量單位為db瑟枫，若室內(nèi)暗處照度為1lux斗搞，室外為10萬lux，那么動態(tài)范圍約為100db
常見的寬動態(tài)環(huán)境是室內(nèi)外的窗口或門口慷妙，以及道路夜晚
下圖上半部分是寬動態(tài)相機(jī)拍攝的畫面，可以看清楚亮的地方允悦，也可以看清楚暗的地方膝擂。下半部分是普通相機(jī)拍攝出來的虑啤，暗的地方?jīng)]有什么信息，亮的地方過曝了也沒有什么信息架馋。
人眼的認(rèn)識
成像原理
數(shù)字成像系統(tǒng)是對人眼的仿生狞山。
人眼也有鏡頭、濾光片叉寂、傳感器以及圖像處理系統(tǒng)萍启，對應(yīng)的器官為：瞳孔、晶狀體屏鳍、角膜勘纯、虹膜、視網(wǎng)膜等
人眼的特性
只感知可見光钓瞭、波長為380~780nm
分辨率可達(dá)5億像素驳遵，但對顏色的分辨率低很多
幀率為24fps
低照度約為0.01lux，但很暗時只能感知亮度
人眼也會隨著環(huán)境光強(qiáng)弱調(diào)整瞳孔大小山涡，比如從室外進(jìn)入到很黑的室內(nèi)堤结，需要一段時間適應(yīng)就可以看到一些室內(nèi)的物體
人眼景深很好，能快速聚焦
人眼有白平衡功能鸭丛，即光源色溫發(fā)生變化時竞穷，人眼會“減弱”顏色的變化，也就是感知的顏色變化沒有實際色溫變化那么強(qiáng)烈
人眼對亮度的感知是非線性的鳞溉，也就是說光的照度增大一倍瘾带，并不意味著人眼感知的亮度大一倍
人眼的動態(tài)范圍很好，有130db穿挨，能同時看清很亮和很暗的區(qū)域
光學(xué)器件簡介
鏡頭
鏡頭是由幾組鏡片及輔助的電機(jī)等組成月弛，形成聚焦。
鏡頭相關(guān)屬性：
核心參數(shù)是焦距科盛，焦距越大拍攝越遠(yuǎn)但視角越忻毖谩；反之距離近視角大贞绵。所以有長焦鏡頭厉萝、廣角鏡頭。
材質(zhì)均勻度決定鏡頭成像精度榨崩，即分辨力
光圈大小和材質(zhì)好壞決定光通量
光通量的一致性也是衡量鏡頭好壞的核心指標(biāo)谴垫，一致性好圖像亮度越均勻，一般中間亮一些母蛛，四周暗一些翩剪，ISP有算法去彌補(bǔ)
鏡頭畸變程度也是重要指標(biāo)之一，一般焦距越小彩郊，畸變越嚴(yán)重前弯，ISP有算法對畸變進(jìn)行 矯正
鏡頭需與圖像傳感器的靶面大小蚪缀、分辨力、CRA等參數(shù)契合
濾光片
濾光片用于濾掉不接收的光恕出，普通可見光相機(jī)需濾掉紅外及紫外光询枚。
一般在鏡頭上的鍍膜，也有單獨(dú)的濾光片浙巫。
分光鏡
有的相機(jī)需要把不同波段的光通過分光鏡分到不同的傳感器上金蜀，這些傳感器分別感光后再在ISP里進(jìn)行融合。常見的有RGB三色相機(jī)的畴，以及可見光渊抄、紅外光寬光譜相機(jī)等。
光源
光源也是成像系統(tǒng)的重要光學(xué)器件苗傅，一般為彌補(bǔ)成像環(huán)境的缺陷抒线，如環(huán)境照度不足或環(huán)境照度不均勻，另外可以用不同色溫的燈制造特殊的藝術(shù)效果渣慕。
光源按補(bǔ)光模式分常亮補(bǔ)光與閃光燈嘶炭，按頻譜范圍分可見燈和紅外燈。
圖像傳感器簡介
結(jié)構(gòu)
圖像傳感器由光電轉(zhuǎn)換逊桦、信號放大眨猎、模數(shù)轉(zhuǎn)換、時序驅(qū)動强经、輸出接口睡陪、控制接口等六部分組成。
核心指標(biāo)是分辨率匿情、幀率與感光度兰迫。
分辨率即有多少個感光像素
幀率一般取決于AD轉(zhuǎn)換及輸出接口速度
感光度一般取決于單像素面積大小
單個像素放大后的結(jié)構(gòu)如下：
分類
按工藝分為CCD與CMOS
按外形分為面陣和線陣
按顏色分為彩色和黑白
按曝光模式分為全局曝光與卷簾曝光，卷簾曝光是一行一行地依次曝光
按感光層位置分正照式與背照式
按接收波長分為可見光炬称、紅外汁果、紫外等
按維度分為2D圖像與3D成像，3D成像又分為結(jié)構(gòu)光玲躯、TOF與雙目視差
按寬動態(tài)分為單次曝光据德、多幀多次曝光、單幀多次曝光三類
按輸出接口分為MIPI（手機(jī)）跷车、LVDS（工業(yè)或行業(yè)應(yīng)用棘利，串口）及DVP（低端Sensor，并口）
圖像噪聲的認(rèn)識
產(chǎn)生原因
圖像噪聲分為固定噪聲和隨機(jī)噪聲朽缴。
固定噪聲在圖像固定位置善玫，產(chǎn)生原因是不均勻的暗電流與不均勻的放大器，固定噪聲是在圖像中固定的位置不動密强，如上圖所示的綠色小點(diǎn)蝌焚。
隨機(jī)噪聲（暫態(tài)噪聲裹唆、白噪聲）隨著時間隨機(jī)變化誓斥。隨機(jī)噪聲主要由電子的隨機(jī)運(yùn)動產(chǎn)生只洒，在光電轉(zhuǎn)換、模擬信號傳輸劳坑、模數(shù)轉(zhuǎn)換等過程中產(chǎn)生毕谴，分為散粒噪聲、閃爍噪聲距芬、讀出噪聲等
噪聲特點(diǎn)
隨機(jī)性涝开、在空間域隨機(jī)分布、非固定噪聲在時間域也隨機(jī)分布
高斯分布框仔，強(qiáng)度舀武、波長、相位都符合高斯分布
無明顯方向性
孤立性
與圖像傳感器溫度與增益值正相關(guān)
將噪方法
改進(jìn)圖像傳感器設(shè)計离斩，從源頭減少
物理方法银舱，如降低溫度
圖像處理算法，分為基于空間域的2D算法與基于時間域的3D算法跛梗，3D算法只能消除隨機(jī)噪聲
背景差分法可消除固定噪聲
轉(zhuǎn)載：
https://deepinout.com/camera-system/camera-system-component-intro.html
*本人從事Android Camera相關(guān)開發(fā)已有5年寻馏，
*目前在深圳上班，
*小伙伴記得點(diǎn)我頭像核偿，看【個人介紹】進(jìn)行關(guān)注哦诚欠，希望和更多的小伙伴一起交流 ~
