PMD算法在TOF 技術(shù)領(lǐng)域中的應(yīng)用

　　TOF 技術(shù)廣泛應(yīng)用于三維可視化、模式識(shí)別、計(jì)算機(jī)視覺和多媒體等技術(shù)領(lǐng)域，已成為工業(yè)、軍事檢測(cè)控制和環(huán)境監(jiān)測(cè)等領(lǐng)域不可缺少的技術(shù)，PMD算法的改進(jìn)和提高，超分辨率的重建和降噪聲，有效提升圖像質(zhì)量，在圖像處理領(lǐng)域中有一定的科研價(jià)值和實(shí)用意義。

　　本文源自智能制造2020年2期《智能制造》(月刊)創(chuàng)刊于1994年，面向國(guó)內(nèi)外公開發(fā)行.雜志以提高企業(yè)應(yīng)用水平，追蹤技術(shù)研發(fā)熱點(diǎn)，報(bào)道市場(chǎng)發(fā)展動(dòng)態(tài)為鮮明特點(diǎn)，生動(dòng)、及時(shí)地反映CAD/CAM/CAPP/ERP領(lǐng)域的新動(dòng)態(tài)。目前是CAD領(lǐng)域的專業(yè)雜志。內(nèi)容涉及制造業(yè)和IT行業(yè)兩大方面內(nèi)容，信息量豐富。

　　一、引言

　　為了有效改善TOF類產(chǎn)品的視覺圖像效果， 提高產(chǎn)品的質(zhì)量。本文嘗試通過研究、改善產(chǎn)品中的算法軟件，達(dá)到完善圖像處理效果的目的。

　　二、TOF 技術(shù)和PMD算法的起源及其應(yīng)用

　　1、TOF 起源及TOF技術(shù)

　　1607年，意大利科學(xué)家伽利略，通過在相鄰的兩座山的山頭上用燈光閃現(xiàn)接收光源，通過光速測(cè)量?jī)牲c(diǎn)的距離，這是TOF 技術(shù)的最初起源。TOF (Time of Light)技術(shù)是根據(jù)光在往返過程的傳播時(shí)間， 對(duì)光源到被測(cè)物體之間的距離進(jìn)行有效測(cè)量的技術(shù)。

　　工作原理概述：激光發(fā)射光源向被測(cè)物體發(fā)送連續(xù)光信號(hào)。入射光信號(hào)在被測(cè)物體上產(chǎn)生反射光，利用光、電探測(cè)器接收反射光信號(hào)，根據(jù)光的傳播速度和傳播時(shí)間， 確定光源到被測(cè)物體之間的距離。

　　現(xiàn)代TOF 測(cè)量技術(shù)主要分為直接測(cè)量和間接測(cè)量法兩種，TOF測(cè)量技術(shù)主要是連續(xù)波調(diào)制方法和脈沖調(diào)制方法，連續(xù)波調(diào)制方法能夠?qū)崿F(xiàn)諸多不同的調(diào)制、檢調(diào)和檢測(cè)方式，并能夠利用頻率調(diào)制方式和幅度調(diào)制方式。連續(xù)波調(diào)制方法中的幅度調(diào)制主要分為單頻調(diào)制和幅度調(diào)頻，利用光發(fā)射信號(hào)與接收信號(hào)之間的相位延遲和頻率偏移，測(cè)量出被測(cè)物體到光源的距離。

　　PMD (Potonic Mixer Device) 是TOF技術(shù)的三維成像系統(tǒng)，能夠?qū)崟r(shí)獲取動(dòng)態(tài)場(chǎng)景的距離信息，PMD算法可以通過正則化算法圖像處理重建，用于提升空間分辯率， 抑制隨機(jī)噪聲，實(shí)現(xiàn)距離圖像的超分辯率重建。

　　2、 PMD-TOF 算法工作原理

　　系統(tǒng)如圖1所示。

　　◎溫度校正;

　　◎FPPN (固定相位模式噪聲)校正;

　　◎計(jì)算雙頻距離;

　　◎自適應(yīng)處理后， 計(jì)算雙頻距離;

　　◎計(jì)算三維坐標(biāo)， 按式(15)、(16)和(17)計(jì)算坐標(biāo);

　　◎有效圖像生成。

　　4、各類圖像生成

　　距離圖像又稱為深度圖像，可以矩陣表達(dá)方式顯示，距離像素按行列排布，圖像矩陣中任何一點(diǎn)的元素值是表示相機(jī)到被測(cè)物體之間測(cè)量的距離值。三維建模圖像以被測(cè)物體為中心來詳細(xì)地描述物體所具有的三維形狀。PMD算法在TOF 相機(jī)的應(yīng)用， 形成一種新型的3D成像系統(tǒng)，能夠?qū)崟r(shí)地獲取距離圖像信息。

　　(1)雜散光校正

　　雜散光形成，是成像系統(tǒng)中不需要的噪聲(光)，非成像光線所成的像。由像面離焦或由明亮光源呈鬼影一樣的像，由透鏡表面反射形成。視場(chǎng)以外的光線穿越主鏡，以雜散光形式匯聚焦平面，如圖4和圖5所示。

　　(2)應(yīng)用實(shí)例

　　應(yīng)用PMD 算法，通過LIBSPECTURE和 SDK，對(duì)雜散光進(jìn)行校正處理，如圖6所示。

　　經(jīng)算法處理雜散光后，圖像如圖7所示。

　　(3)歧義距離去除

　　應(yīng)用PMD 算法，通過LIBSPECTURE SDK，修正圖像，如圖8所示。

　　(4)自動(dòng)曝光

　　應(yīng)用PMD 算法， 通過LIBSPECTURE SDK，控制曝光過程，修正設(shè)定相關(guān)參數(shù)和圖像，見公式(18)，如圖9所示。

　　曝光參數(shù)修定前后的圖像比較，如圖10、圖11所示。

　　(5)多徑干涉

　　光線會(huì)在目標(biāo)場(chǎng)景中多次反射，一個(gè)物體不僅會(huì)反射相機(jī)發(fā)射的調(diào)制光，也會(huì)反射來自其他間接路徑的光。多個(gè)來源的反射光之間會(huì)導(dǎo)致干擾，從而引起深度測(cè)量的誤差。這種現(xiàn)象就是大家熟知的多徑效應(yīng)， 影響成像質(zhì)量，如圖12、圖13和圖14所示。

　　四、算法標(biāo)定和坐標(biāo)確定

　　1、 標(biāo)定值坐標(biāo)確定

　　設(shè)定O為TOF 系統(tǒng)(X、Y、Z)坐標(biāo)系中心，0為系統(tǒng)圖像(X，Y)坐標(biāo)系中心， 空間任意物點(diǎn)為P，經(jīng)TOF 系統(tǒng)模組成像后， 在TOF 系統(tǒng)成像坐標(biāo)系(X，Y)中為p點(diǎn)，TOF 系統(tǒng)對(duì)亮度圖像的標(biāo)定主要是確定系統(tǒng)內(nèi)外 部參數(shù)和畸變系數(shù)、焦距。如圖像的真實(shí)中心坐標(biāo)u0，v0，徑向畸變系數(shù)k1，k2，切向畸 變系數(shù)P1，P2等。通過參數(shù)和畸變系數(shù)，可以準(zhǔn)確獲得TOF 系統(tǒng)坐標(biāo)和圖像坐標(biāo)系的變換關(guān)系，建立以下模式。TOF系統(tǒng)齊次坐標(biāo)表達(dá)為(xc yc zc)T，存在如下數(shù)模關(guān)系，見公式(20)。

　　2、PMD算法標(biāo)定、環(huán)境和設(shè)備

　　進(jìn)行PMD算法標(biāo)定需要如圖18所示的設(shè)備，BOX1為L(zhǎng)ED box，BOX2為Fiber box。 BOX1 LED box 主要用于透鏡參數(shù)(Lens Parameters)和固定圖像相位噪聲(FPPN)標(biāo)定， LED box 中的標(biāo)板上按規(guī)律布滿 LED 燈，標(biāo)定前需標(biāo)記每個(gè) LED 燈的位置，通過矯正后的透鏡參數(shù)， 計(jì)算相應(yīng)三維坐標(biāo)系的參數(shù)。Fiber box 主要用于擺幅(Wiggling)標(biāo)定。 如圖18所示，F(xiàn)iber box 連接 30 根長(zhǎng)度不一的光纖，標(biāo)定前需設(shè)定光纖的長(zhǎng)度。通過30個(gè)不同距離得幅度值，擬成擺幅函數(shù)。

　　同時(shí)完成視場(chǎng)角(FOV)、暗電流和固定模式噪聲(FPN)標(biāo)定測(cè)試。

　　五、結(jié)論

　　TOF 技術(shù)廣泛應(yīng)用于三維可視化、模式識(shí)別、計(jì)算機(jī)視覺和多媒體等技術(shù)領(lǐng)域，已成為工業(yè)、軍事檢測(cè)控制和環(huán)境監(jiān)測(cè)等領(lǐng)域不可缺少的技術(shù)，PMD算法的改進(jìn)和提高，超分辨率的重建和降噪聲，有效提升圖像質(zhì)量，在圖像處理領(lǐng)域中有一定的科研價(jià)值和實(shí)用意義。