前面章節說過,按照輸出視頻信號的不同,我們可以把安防攝像機劃分為模擬,數字,網絡三大類。不同類型的攝像機內部組成和機構會有差別,比如模擬,數字攝像機,只有圖像處理而沒有視頻圖像編碼部分。
此處介紹攝像機內部的結構和組成,為簡便起見。從整體上看我們可以把安防攝像機的內部分為圖像采集,視頻圖像處理及編碼,圖像輸出三大塊。
典型的網絡攝像機的內部結構
圖像采集
攝像機的圖像采集工作主要由鏡頭和芯片上的圖像傳感器來完成。光線經鏡頭,進入到芯片上的sensor。sensor負責把接收到光信號轉化成電信號,然后交給芯片上的后續單元處理。
視頻采集可以參見 安防攝像機里的視頻采集參數 一節。
鏡頭的焦距(定焦,變焦),光圈,數量(多目攝像機使用多鏡頭),有效像素等會影響輸送給sensor的信號,從而影響最終的成像效果。
關于鏡頭的相關概念和其在安防行業的具體應用可以參見:安防攝像機里的鏡頭,魚眼鏡頭,景深,從像素密度考慮攝像機選型 等章節。
光線到達sensor以后,由其先進行對光信號轉化成電信號的初步處理。sensor的主要性能參數有靶面尺寸,有效像素,低照性能等。這些也會影響最終的成像效果。關于sensor的參數性能等可以參閱 安防圖像傳感器sensor,Starvis星光全彩攝像機技術,攝像機的寬動態功能 等章節。
圖像處理,視頻編碼
經過sensor轉化的電信號需要交給攝像機芯片上的處理器進行圖像處理,視頻編碼等操作。
處理器是個很籠統的稱呼,類似于電腦或者手機的CPU。對于輸出模擬或數字信號的攝像機來說,此處的處理器主要是指ISP,亦即Image Signal
Processor,圖像信號處理器。
ISP的主要工作流程
ISP的主要工作包括:
DEMOSAIC,翻譯成中文即是反馬賽克。sensor輸出的每個像素信號只包含R,G,B三者中的一種顏色數據。這種數據就是bayer(貝爾)數據,即通常所說的RAW數據。顯而易見,RAW數據所反映的顏色信息不是真實的顏色信息。
DEMOSAIC的工作就是通過插值算法將將每個像素所代表的真實顏色計算出來,即將貝爾圖像轉換為真實色彩圖像。
3A控制。即自動對焦(AF)、自動曝光(AE)和自動白平衡(AWB)的統稱。這是ISP比較的核心部分,處理的好壞直接關系到最后輸出的圖像效果。
ISP 可以通過CONTRAST AF、PDAF、LASER AF等各種自動聚焦算法實現自動對焦,使得目標在傳感器上清晰的成像。
曝光主要影響圖像的明暗程度。ISP可以通過控制曝光程度,使得圖像亮度適宜。
白平衡與色溫相關,用于衡量圖像的色彩真實性和準確性。自動白平衡功能,力求在各種復雜場景下都能精確的還原目標本來的顏色。
伽瑪校正。傳感器對光線的響應和人眼對光線的響應是不同的。伽瑪校正就是使得圖像看起來符合人眼的特性。
圖像剪裁。即改變圖像的尺寸,可用于輸出不同分辨率的圖像。比如原本2048*1536,4:3的分辨率裁剪成2304×1296,16:9的分辨率以更符合寬屏的視覺效果?;蛘?MP的sensor,同時還可以支持輸出4MP,3MP,1080P等不同的分辨率。
智能算法。用于識別特定的目標,例如人臉識別,人形識別,車牌識別等。ISP通過各種智能算法,準確的識別特定的目標。當然在網絡攝像機里,智能算法還可以內置到編碼芯片里。同時還可以把智能算法,結構化數據功能前置到sensor里,比如現在Sony有款AI sensor(SONY IMX500/501)已經實現了直接輸出結構化數據。
動態范圍。動態范圍即圖像的明暗區間。ISP處理使得目標成像的暗處不至于欠曝,而亮處的景物不至于過曝。除了ISP支持動態范圍處理外,圖像傳感器也需要支持動態范圍(HDR)功能,詳細的可以參見 攝像機的寬動態功能 一節。
圖像穩定,防抖。主要功能是使得圖像不要因為攝像機的輕微抖動而模糊不清。
除了以上這些工作和流程外,ISP的功能還有降噪,對比度,飽和度,銳度等。因為不同廠家,不同方案商的技術積累,算法差異等原因,即使是完全相同硬件方案的攝像機的圖像效果也會有差異。
模擬的光信號,經sensor轉化成數字信號,ISP處理以后,可以直接輸出數字信號的圖像,比如SDI攝像機。也可以再次經過數模轉換,將數字信號轉換成模擬信號輸出,比如傳統cvbs信號的模擬標清攝像機,AHD/CVI/TVI/XVI等高清模擬攝像機。
另一方面,數字信號還可以經過編碼,通過網絡進行輸出傳輸,亦即網絡攝像機。此時的編碼需要有專門的編碼芯片來完成。需要注意的是現在的編碼芯片大都已經集成了ISP的功能。
對于擁有視頻編碼功能的處理器我們一般稱呼CPU,DSP或者SOC,嚴格來說這三者之間是有區別的。但對于安防攝像機的處理芯片來說,叫CPU,DSP或者SOC都未嘗不可。為了統一及遵循廠商的慣用命名,我們將支持視頻編碼功能的處理器統一叫SOC。
SOC,即system on chip,可以看成是處理器,ISP,編碼芯片三合一。以下是一個典型的安防視頻編碼芯片的框圖:
典型的安防攝像機SOC框圖
從中我們可以看見其主要結構分為Quad Core
Arm? Cortex?-A53(即處理器),Image Signal
Processor (ISP),Video Codec。前端可以接入sensor,音頻,報警等設備。為了支持系統運行,有運行內存和內部存儲。對外可以直接WiFi/4G,SD卡存儲等擴展,同時可以輸出模擬/數字等視頻,音頻,報警,網絡,串口(485,232)等信號。
SOC的核心功能是視頻編碼,比如上面提供的這個典型的SOC芯片,其支持H.264、H.265、MJPEG這三種視頻編碼方式。視頻編碼的相關概念 一節中有關于視頻編碼的詳細介紹,這里不贅述。
現階段,隨著芯片技術,AI智能算法的發展,更多的SOC廠商將智能功能內置到了SOC芯片里,比內置到ISP里的智能功能更多,更強大,可擴展性更強。
關于SOC,DSP即其智能功能可以參見這些章節:安防產品里的處理器-DSP,ISP,SOC。
信號輸出
經過ISP或者SOC處理的視頻信號,音頻或者其他信號,可以根據需要輸出為模擬,數字和網絡三種信號。
模擬信號
視頻圖像的電信號經過ISP處理以后,再經過D/A轉換成模擬信號,通過BNC接頭輸出。常見的模擬視頻信號包括標清的CVBS,高清的AHD/TVI/CVI/XVI等。理論上高清的AHD/TVI/CVI/XVI信號在傳輸視頻信號的同時,還可以進行音頻,報警,控制信號等的傳輸。
數字信號
視頻圖像的電信號經過ISP處理以后,不再經過D/A轉換直接輸出數字信號,常見的輸出接口可以是BNC頭或者HDMI接口。這類的攝像機主要是SDI攝像機。HDMI接口在傳輸數字視頻信號的同時還可以進行音頻傳輸。
網絡信號
數字信號經過編碼芯片進行編碼,然后能通過網絡傳輸。這類網絡信號需要經過相應的解碼才能顯示視頻圖像。常見的解碼設備和方法包括對應的電腦客戶端,NVR,視頻解碼器,網絡矩陣等。
另一方面,音頻,報警,RS485等信號也可以和視頻信號一起經過編碼然后進行網絡傳輸。