0 引言

根據(jù)世界衛(wèi)生組織的最新調(diào)查，在許多國家的死亡人數(shù)中由交通事故造成的死亡占據(jù)很大的比例。每年有大約125萬人死于道路交通事故，其中超過一半的人數(shù)是弱勢道路使用者（行人、騎車者、摩托車手）。盡管在夜間道路上的車輛較少，但是夜間發(fā)生交通事故比例卻很高。

一個有效減少此類道路交通事故傷亡人數(shù)的策略是使用汽車夜視輔助駕駛系統(tǒng)，在危險的駕駛情況下給出預(yù)警或者幫助駕駛員做出決策。當(dāng)前汽車輔助駕駛系統(tǒng)（Advanced Driver Assistance Systems，ADAS）應(yīng)用基于雷達、激光測距雷達、攝像機以及超聲波等不同的傳感器系統(tǒng)，與其他技術(shù)相比，攝像機是減少道碰撞事故發(fā)生的重要手段。很多汽車廠商在他們生成的車輛上安裝了可見光攝像頭用于障礙物檢測，比如奧迪、大眾和豐田一些車型的泊車輔助系統(tǒng)。由于可見光相機在夜間、霧天等能見度比較低的條件下對目標檢測的效果并不理想，為了克服可見光這方面的不足，對于紅外夜視輔助系統(tǒng)的研究越來越多，基于紅外傳感器的夜視系統(tǒng)有許多的優(yōu)點，具體表現(xiàn)在以下幾個方面：

①紅外夜視儀系統(tǒng)通過接收外界目標的紅外輻射成像，并不依賴場景的光照條件，凡是溫度高于絕對零度的物體，都會輻射紅外線。

②相對于可見光相機，紅外熱像儀分辨率、成像效果以及性價比在不斷提高，越來越多的監(jiān)控場景開始使用紅外相機。

③紅外夜視儀具有全天候工作的能力，可顯著降低夜間駕駛風(fēng)險，幫助其在全黑夜間、雨雪天氣、霧霾天氣以及對面車燈眩光等人眼能見度較低的情況下，輸出前方路況的清晰熱圖像，有效提升駕駛員視覺范圍，避免車輛、行人以及障礙物的碰撞，有效提升駕駛安全。

基于以上原因，車載紅外夜視技術(shù)受到了國內(nèi)外各大汽車制造廠商和研究機構(gòu)的高度重視，隨著技術(shù)的成熟，車載紅外夜視系統(tǒng)的應(yīng)用逐漸推廣開來。

在車載輔助駕駛系統(tǒng)中行人檢測是一項核心的技術(shù)，其作用是通過安裝在車輛上的攝像機自動檢測行人，估計出潛在的危險以保護行人。由于車載視覺系統(tǒng)面臨著一個開放的環(huán)境，針對行人檢測除了存在著行人姿態(tài)、尺度、遮擋等難題，根據(jù)實際的應(yīng)用場景還要考慮系統(tǒng)的魯棒性、檢測的實時性以及攝像機的運動等因素。針對以上存在的問題，車載視覺的行人檢測受到廣泛的關(guān)注。為了使研究者更好地了解和掌握技術(shù)的發(fā)展趨勢，有許多綜述文獻對行人檢測的技術(shù)進行了歸納總結(jié)。較早的有賈慧星等對2000-2005年間車載輔助駕駛系統(tǒng)中行人感興趣區(qū)域（Regions of Interests，ROIs）生成和對象識別兩個方面主要的研究方法進行了分析和對比。許騰等同樣圍繞著這兩個環(huán)節(jié)對2005-2012年的主流車載行人檢測算法特征進行了詳細的研究。車載行人檢測方法發(fā)展迅速，每年都有新的算法涌現(xiàn)，因此有必要對近些年的車載行人檢測算法進展進行分析，并進一步對用于紅外成像的行人檢測方法進行歸納梳理。此外，車載紅外夜視系統(tǒng)中行人檢測算法運行時要有確保良好的魯棒性和實時性，所應(yīng)用的硬件平臺就要有足夠的計算能力，但同時系統(tǒng)受到體積、功耗和成本等的限制，因此本文對目前適用于車載的硬件處理器的特性進行了簡單的對比分析。

1 車載紅外夜視技術(shù)相關(guān)發(fā)展狀況

1.1 夜視技術(shù)分類和對比

根據(jù)成像的原理，夜視系統(tǒng)主要分為主動夜視系統(tǒng)和被動夜視系統(tǒng)，其中微光和紅外成像是運用最廣的夜視技術(shù)。微光是泛指夜間或者低照度條件下微弱的光，波長約在0.4~2um。微光夜視技術(shù)又稱為像增強技術(shù)，通過像增強器將微弱或者能量比較低的光轉(zhuǎn)化為增強的光學(xué)圖像，以實現(xiàn)直接觀察。紅外夜視技術(shù)分為主動紅外夜視技術(shù)和被動紅外夜視技術(shù)。主動紅外夜視技術(shù)是通過紅外燈主動照射并利用目標反射回來的紅外光來實施觀察的紅外技術(shù)，對應(yīng)裝備為主動夜視系統(tǒng)。被動紅外夜視技術(shù)是借助于目標自身發(fā)射的紅外輻射來實現(xiàn)觀察的紅外技術(shù)，將人眼所不能直接看到的目標表面的溫度分布變成人眼可看到的代表溫度分布的熱圖像，其裝備為熱成像儀。針對各成像技術(shù)的特點，其對應(yīng)優(yōu)缺點總結(jié)對比如表1所示。

表1 各成像技術(shù)優(yōu)缺點對比

對于車載平臺的夜視技術(shù)，在考慮到夜視距離、惡劣天氣以及會車時強光照影響時，熱成像技術(shù)相對于其他兩種技術(shù)有著更好的適用特性，并且隨著非制冷紅外探測器的發(fā)展，其性價比在不斷提升，應(yīng)用也越來越廣泛。如圖1所示為夜晚相同視角下可見光相機和熱紅外相機成像對比效果。

圖1 可見光和紅外成像效果對比

1.2 車載紅外夜視儀的發(fā)展狀況

過去的十幾年里，關(guān)于汽車夜視輔助駕駛系統(tǒng)的研究已經(jīng)有了很大進展，并且相關(guān)研究表明車載紅外夜視儀在減少夜間行車事故中有很好的效果。其相應(yīng)的產(chǎn)品需求量在迅速增長，促使了各大汽車廠商、紅外夜視相關(guān)產(chǎn)品的供應(yīng)商加大了研究的力度。當(dāng)前用于車載的紅外夜視儀主要有兩種：主動式和被動式。

圖2 車載夜視儀發(fā)展時間線

車載紅外夜視儀的發(fā)展概況如圖2所示。美國的通用汽車公司在2000年對旗下產(chǎn)品卡迪拉克轎車配備了夜視系統(tǒng)，是全世界第一款將夜視系統(tǒng)配備在汽車上的汽車品牌，該夜視系統(tǒng)使用的是紅外熱成像探測器，安裝在車輛的前部以便接收前方目標的紅外輻射，夜視距離在300 m左右。此后德國豪華車奔馳和寶馬在2005年分別推出了汽車夜視系統(tǒng)，寶馬7系車配備的是被動夜視系統(tǒng)，將熱成像儀添加了防撞層安裝在汽車前端，夜視距離可達300 m左右，中等車速下水平視角達到24°，奔馳S550和E級車型上使用了主動夜視系統(tǒng)，系統(tǒng)由紅外線燈、紅外線攝像機和顯示器組成，最遠可探測距離達到150 m，與被動式夜視系統(tǒng)相比，該系統(tǒng)在價格上較便宜，但是在面對相向車輛的燈光照射時成像質(zhì)量差。奧迪直到2010年開始夜視系統(tǒng)的配備，在應(yīng)用效果上并不遜色。

隨著車載夜視系統(tǒng)的流行，國內(nèi)眾多企業(yè)和研究機構(gòu)開始相關(guān)方面的研究。在中國，夜視系統(tǒng)除了裝配在奔馳、奧迪、寶馬等豪華品牌的進口車型上，紅旗HQ3、比亞迪思銳等國產(chǎn)車型上也先后進行配備，打破了豪華車的壟斷，但是大多是采用主動式紅外夜視技術(shù)，產(chǎn)品的環(huán)境適應(yīng)性和夜視距離受到了很大限制。

此外一些夜視儀的供應(yīng)商對車載夜視技術(shù)的發(fā)展有很大的推動作用，國外的奧托立夫（Autoliv）是主要的系統(tǒng)供應(yīng)商，F(xiàn)LIR是最主要的紅外熱像儀供應(yīng)商；國內(nèi)有高德紅外、浙江大立科技以及保千里等夜視儀供應(yīng)商。隨著技術(shù)的發(fā)展和夜視系統(tǒng)的成本降低，未來幾年車載夜視系統(tǒng)將會得到逐漸普及和應(yīng)用。

2 車載紅外行人檢測算法

2.1 車載視覺行人檢測技術(shù)

傳統(tǒng)的車載視覺行人檢測的框架如圖3所示，是使用相當(dāng)廣泛的基于滑動窗口的多尺度行人檢測框架。

圖3 傳統(tǒng)車載視覺行人檢測框架

該框架的主要思想是：利用預(yù)先訓(xùn)練好的分類器判別當(dāng)前窗口內(nèi)是否包含行人，然后對判別含有行人的窗口進行融合，從而給出行人在圖片中的位置?，F(xiàn)有的綜述文獻大多是圍繞該框架從感興趣區(qū)域分割方法、特征提取和分類器構(gòu)造等方面進行展開，根據(jù)所用信息的不同采取不同的感興趣區(qū)域分割算法，然后利用梯度方向直方圖（Histogram of Orientedgradient，HOG）、局部二值模式（Local Binary Pattern，LBP）等特征的改進或者融合，使用支持向量機（Support Vector Machine，SVM）或者Boosting等分類器的改進形式訓(xùn)練特征。對其中的技術(shù)細節(jié)本文不再做詳細闡述，可以參考相應(yīng)文獻進一步了解。

車載行人檢測系統(tǒng)對魯棒性和實時性都有很高的要求，傳統(tǒng)的檢測框架在圖像的多尺度金字塔進行搜索可以提高檢測精度，但是多尺度遍歷的方法對算法的檢測速度有很大的制約。為了能夠在精確提取特征的同時又不明顯犧牲算法的實時性，2009年Dollar等提出了CHNFTRS（Channel Features，通道特征）的方法，利用積分圖像快速計算圖像的顏色、梯度幅值以及梯度方向等通道特征，CHNFTRS方法在檢測精度和效率上超過HOG特征，是當(dāng)時最優(yōu)的檢測算法。隨后Dollar又以CHNFTRS方法為核心進行了改進（Fastest Pedestrian Detector in the West，F(xiàn)PDW），采用鄰近尺度特征估計的方法，在不降低檢測性能的前提下加速了行人檢測，對于640 x 480像素分辨率的圖像，每秒可以處理6幀左右。Benenson等使用CHNFTRS的特征，提出了多尺度訓(xùn)練模型框架VeryFast，將檢測時間從檢測階段轉(zhuǎn)移到了訓(xùn)練階段，在使用GPU處理器加速的條件下實現(xiàn)了100 fps的檢測速度。后來Dollar本人在2014年又結(jié)合快速特征金字塔計算特征通道的方法，提出了ACF（Aggregated Channel Features，聚合通道特征）檢測框架，ACF框架能夠在保證實時性的同時，檢測效果的魯棒性在當(dāng)前特征統(tǒng)計學(xué)習(xí)的算法中也處于領(lǐng)先水平。

此外，近幾年隨著GPU（Graphics Processing Units）處理器在圖像處理上廣泛應(yīng)用，深度學(xué)習(xí)發(fā)展趨勢迅速，尤其是在圖像目標檢測和分類領(lǐng)域卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）算法相對傳統(tǒng)的檢測算法性能提升顯著。首先是Ross Girshick將傳統(tǒng)計算機視覺領(lǐng)域的方法選擇性搜索（Selective Search）與CNN結(jié)合，先后提出了R-CNN、FastR-CNN、Faster R-CNN等框架，基于區(qū)提名的R-CNN系列的算法在檢測精度上有了很大的提升，但是檢測的速度較慢，針對這個問題出現(xiàn)了端到端（end-to-end）目標檢測方法，比如SDD以及Redmon等人提出YOLO系列，在檢測速度上做到了實時。Liliang Zhang等基于可見光行人數(shù)據(jù)庫訓(xùn)練了專用于行人檢測的深度學(xué)習(xí)網(wǎng)絡(luò)，其實驗結(jié)果與其他主流的檢測算法相比有了極大的提升。最后針對上述總結(jié)按時間順序列出了2009年來具有代表性的一些算法見表2。

表2 近10年以來主流行人檢測算法比較

2.2 車載紅外行人檢測算法應(yīng)用現(xiàn)狀

上一小節(jié)主要針對可見光領(lǐng)域的行人檢測算法的概括，雖然可見光和紅外圖像存在著很多差異，主要表現(xiàn)在紅外圖像沒有豐富的顏色特征、紋理特征，但可見光的一些處理算法對于紅外圖像有很好的指導(dǎo)意義，紅外圖像的行人檢測技術(shù)進展與上一節(jié)分析的行人檢測技術(shù)發(fā)展路線是相對應(yīng)的。

紅外行人檢測的傳統(tǒng)框架主要包括ROIs提取、分類器識別等階段。由于紅外圖像中行人相對于背景往往有較高的亮度，因此在ROIs區(qū)域分離的時候，通常采取的手段有閾值分割、區(qū)域生長和關(guān)鍵點提取的方法。閾值分割的方法是通過檢測圖像中的熱點區(qū)域，可以采用靜態(tài)閾值或動態(tài)閾值的方法分割出可能包含行人的區(qū)域；此外針對紅外圖像背景較為簡單的特性，可以通過提取關(guān)鍵點來生成ROIs，例如文獻中使用旋轉(zhuǎn)和尺度不變的SURF特征分割ROIs區(qū)域；另外還有結(jié)合距離信息的方法，主要實現(xiàn)手段有雷達測距和立體視覺，其中基于立體視覺的ROIs分割技術(shù)應(yīng)用較為廣泛。它通過獲取的3D圖像估計地平面位置，結(jié)合行人身高先驗知識估計可能包含人體的區(qū)域。用于紅外行人檢測的特征描述子有上述提及的HOG特征、LBP特征及其改進和融合特征，此外還有強度自相似性（Intensity Self-Similarity，ISS）特征，其中Brehar等使用自適應(yīng)閾值分割提取ROIs，使用梯度方向、亮度、梯度值特征，使用快速金字塔構(gòu)建的方法，針對640 x 480像素分辨率的紅外圖像，實現(xiàn)了30 fps的檢測幀率。

受車載平臺的計算資源限制，傳統(tǒng)的滑動串口的檢測框架會先對ROIs提取，但是要獲取準確的ROIs一般要增加額外的傳感器設(shè)備，這使得系統(tǒng)的成本和復(fù)雜性提升。針對單目紅外夜視儀，傳統(tǒng)的檢測框架的實時性和精度很難滿足需求；Dollar的ACF檢測方法由于檢測精度和算法的實時性都有很大的提升，越來越多的研究者將該方法應(yīng)用于紅外行人檢測。

Brehar等在分割出的ROIs基礎(chǔ)上，使用紅外圖像的亮度值、梯度值和梯度方向等特征訓(xùn)練ACF分類器，獲得了較高的檢測精度并且實現(xiàn)了30 fps的檢測幀率。Hwang等改進的ACF的特征，在可見光和紅外的多光譜的行人數(shù)據(jù)集上，針對紅外行人提出了T + THOG的特征組合方式，其檢測精度比原有算法有所提高。此外深度學(xué)習(xí)網(wǎng)絡(luò)在紅外行人檢測上一樣取得了當(dāng)前相對其他算法的最好的檢測效果。

3 系統(tǒng)硬件平臺

車載視覺行人檢測系統(tǒng)對于系統(tǒng)的魯棒性和實時性都有很高的要求，要滿足實際的應(yīng)用需求主要從行人檢測算法的設(shè)計和系統(tǒng)的硬件平臺的選取著手。目前很多文獻中提出的算法都是在桌面計算機實現(xiàn)的，很少考慮在嵌入式平臺實時運行，因此在實際應(yīng)用時要根據(jù)所選的處理器的特性進行移植優(yōu)化。當(dāng)前由于數(shù)字處理器的快速發(fā)展，用于車載平臺的處理器種類也比較多，主流的計算平臺主要有以下幾類：

1）DSP處理器

數(shù)字信號處理器（Digital Signal Processor，DSP）專門用于處理復(fù)雜的、數(shù)學(xué)密集型的應(yīng)用場景，被廣泛**的用于圖像、語音等信號處理。DSP處理器在架構(gòu)和指令集上不同于傳統(tǒng)的CPU處理器，通過使用乘加指令之類的專用操作實現(xiàn)比傳統(tǒng)處理器更快的執(zhí)行效率，軟件編程簡單，在算法評估和實現(xiàn)階段可以大大**縮短項目開發(fā)的周期，DSP在汽車行業(yè)中的地位非常突出，并且廣泛**應(yīng)用于車載系統(tǒng)。例如，美國德州儀器TI的針對輔助駕駛系統(tǒng)ADAS的TDAx系列的處理器集成了多核DSP、通用處理器GPP以及嵌入式視覺引擎等模塊，具有低功耗、高性能特性，并且支持多傳感器信息融合，非常適用于車載平臺算法處理。

2）FPGA處理器

現(xiàn)場可編程邏輯門陣列（Field-Programmable Gate Array，F(xiàn)PGA）由可編程邏輯組件和可編程互連組成，可用于創(chuàng)建高性能并行流水線數(shù)據(jù)處理結(jié)構(gòu)，因為沒有類似DSP或CPU的指令獲取或等待的操作，因此執(zhí)行速度更快。FPGA用于圖像處理具有可重構(gòu)、低功耗和低成本等的優(yōu)勢，因此很多行人檢測系統(tǒng)使用FPGA保證實時性，基于FPGA實現(xiàn)的行人檢測系統(tǒng)缺點在于開發(fā)難度大、項目周期長，但是隨著相應(yīng)的開發(fā)工具的改進和支持，這一現(xiàn)狀會逐漸得到改善，例如FPGA解決方案供應(yīng)廠商Xilinx基于新的硬件平臺zynq處理器以及7系列處理器提供了高層次綜合工具（High Level Synthesis，HLS），使得復(fù)雜算法開發(fā)可以使用C、C++語言實現(xiàn)，極大降低了算法實現(xiàn)的復(fù)雜度。

3）GPU處理器

GPU圖形處理單元有大量的處理內(nèi)核組成，支持大規(guī)模的并行計算，尤其適合計算密集型的任務(wù)，深度學(xué)習(xí)網(wǎng)絡(luò)的發(fā)展帶來了GPU的廣泛應(yīng)用。起初GPU主要以顯卡的形式應(yīng)用于圖形處理，隨著更多通用計算庫的出現(xiàn)，它們在科學(xué)計算中的應(yīng)用也迅速擴大，例如NVIDIA的CUDA庫有助于快速開發(fā)算法?；贕PU的處理方案在可見光以及紅外圖像的行人檢測中都實現(xiàn)了實時處理，尤其是基于深度學(xué)習(xí)的方法在GPU的加速下行人檢測的精度和速度能達到實際應(yīng)用的需求。盡管GPU處理器性能高效，但許多GPU的功耗過高不適合車載平臺，文獻中使用NVIDIA GeForce GPU實現(xiàn)了30 fps的行人檢測和姿態(tài)識別的幀率功耗（大約在244瓦）。隨著汽車平臺的GPU處理器的技術(shù)發(fā)展，新型的GPU架構(gòu)帶來了更強的計算能力和更低的功耗，未來車載系統(tǒng)中GPU將會大展身手。

此外，還有其他的一些處理平臺可用于車載行人檢測系統(tǒng)。針對現(xiàn)有的平臺，在進行硬件系統(tǒng)設(shè)計的時候要綜合考慮處理器的功耗、成本以及計算能力，結(jié)合不同的處理器各自的特性進行選擇。

4 總結(jié)與展望

本文介紹了車載夜視儀相關(guān)技術(shù)的進展狀況，首先對車載夜視技術(shù)進行了闡述，對車載紅外夜視儀的應(yīng)用發(fā)展進行了分析，然后歸納總結(jié)了2009年以來的主流紅外行人檢測算法，最后對比分析了車載夜視儀不同的硬件平臺的特點。

隨著紅外探測器的價格下降、成像分辨率增高，車載夜視儀今后會有很大的市場需求。然而研發(fā)基于紅外的車載夜視輔助系統(tǒng)需要應(yīng)對以下挑戰(zhàn)：①系統(tǒng)要能夠應(yīng)對復(fù)雜的道路場景，需要在全天候條件工作；②車載移動平臺下，紅外成像中行人的尺度和外觀變化大，并且存在遮擋、姿態(tài)的變化，給檢測帶來了難度；③系統(tǒng)設(shè)計考慮低功耗、低成本，并且系統(tǒng)的檢測算法滿足高準確率以及運行的實時性。圍繞著以上存在的問題，筆者認為未來的研究重點主要在以下幾個方面：

1）構(gòu)建更為豐富的數(shù)據(jù)集

基于統(tǒng)計學(xué)習(xí)或者深度學(xué)習(xí)的方法都需要大量的訓(xùn)練樣本，特別是對于特殊場景下的行人檢測，例如存在部分遮擋、分辨率較低、遠距離的行人需要建立相應(yīng)的數(shù)據(jù)庫進行準確的標注，以提高行人檢測的準確率，降低虛警率。

2）多傳感器融合

基于單目視覺紅外攝像機的行人檢測其可利用的信息相對較少，對多視角和遮擋問題很難解決?？梢岳迷黾涌梢姽庀鄼C或者多紅外相機獲取立體數(shù)據(jù)，立體視覺中的深度信息利于提升行人檢測系統(tǒng)的魯棒性；此外激光雷達傳感器可以獲取目標的距離信息，能夠有效的分割ROIs區(qū)域。不同的傳感器有著各自的優(yōu)缺點，將這些傳感器有機的結(jié)合起來，保證檢測系統(tǒng)在任何條件下都能魯棒的工作是一個熱點研究方向。

3）設(shè)計自適應(yīng)的分類器

目前大部分車載行人檢測系統(tǒng)使用的離線構(gòu)建的通用行人分類器，該分類器是利用預(yù)先準備的大量樣本集進行訓(xùn)練學(xué)習(xí)獲得的，且訓(xùn)練之后不再更新。由于所使用的初始樣本集不會涵蓋所有的情況（不同季節(jié)、不同場景），所以分類器不具備自適應(yīng)特性，對于一些特殊場景下的行人檢測精度會降低。如何利用在線學(xué)習(xí)的算法，通過在線獲取樣本進行分類器的更新，使行人檢測系統(tǒng)通過自主學(xué)習(xí)提高檢測性能是未來的研究重點。

---

文章來源：焉知自動駕駛