4D毫米波雷達(dá)技術(shù)從4D，成像到融合的開(kāi)展
4D毫米波雷達(dá)技術(shù)從4D，成像到融合的開(kāi)展
1. 毫米波雷達(dá)的開(kāi)展
毫米波雷達(dá)從德國(guó)大陸集團(tuán)在1999年研發(fā)的第一代雷達(dá)開(kāi)始，到現(xiàn)在已經(jīng)是第六代了，而且視野開(kāi)闊且具備前瞻性的雷達(dá)企業(yè)也在布局第七代毫米波雷達(dá)的研發(fā)工作。
二十多年來(lái)，毫米波雷達(dá)的開(kāi)展主要在如下三個(gè)方面取得進(jìn)步：
（1）體積逐漸變?。?/p>
（2）半導(dǎo)體工藝更先進(jìn)、從砷化鎵到鍺硅，再到硅，信號(hào)處理與射頻前端（RF）全集成，集成度更高、精度更高；
（3）成本更低、應(yīng)用更多、產(chǎn)量更大。
圖1 毫米波雷達(dá)開(kāi)展
第五代雷達(dá)初步具備垂直測(cè)角（高度）功能，點(diǎn)云如下圖所示，但還不是完全意義上的4D成像雷達(dá)，但可以看作是4D毫米波雷達(dá)。想要成為4D成像雷達(dá)，需要高分辨的點(diǎn)云。
圖2 第五代雷達(dá)點(diǎn)云效果
德國(guó)大陸集團(tuán)第六代毫米波雷達(dá)ARS620，采用4T4R雷達(dá)，單芯片集成射頻和信號(hào)處理，對(duì)摩托車(chē)250米最大檢測(cè)距離，具備稠密的點(diǎn)云，近距離角度FOV±60°，現(xiàn)在該雷達(dá)還沒(méi)有量產(chǎn)，正處于樣機(jī)研制階段，估計(jì)很快就會(huì)量產(chǎn)上市。
圖3 大陸雷達(dá)ARS620點(diǎn)云
2、4D毫米波成像雷達(dá)
4D毫米波成像雷達(dá)的核心是高分辨，即可以區(qū)分鄰近物體、勾勒目標(biāo)大致輪廓，并準(zhǔn)確對(duì)目標(biāo)進(jìn)行分類(lèi)和識(shí)別，其基本功能包含測(cè)距、測(cè)速、測(cè)角、測(cè)高。
圖4 雷達(dá)目標(biāo)識(shí)別
高分辨的核心是高分辨距離和高分辨角度，高分辨距離可以順利獲得高帶寬解決，比較容易，但是高分辨角度則需要增加天線孔徑，采用合理的芯片級(jí)聯(lián)、天線布局、波形設(shè)計(jì)、鏈路預(yù)算，以及DOA超分辨算法統(tǒng)籌實(shí)現(xiàn)。為什么雷達(dá)企業(yè)都在卷角度分辨率，我認(rèn)為其實(shí)最重要的原因是實(shí)現(xiàn)高距離分辨率不難，難點(diǎn)在于實(shí)現(xiàn)高角度分辨率，這是4D毫米波成像雷達(dá)的核心。
高密度點(diǎn)云以及高穩(wěn)定度點(diǎn)云是實(shí)現(xiàn)雷達(dá)點(diǎn)云識(shí)別的基礎(chǔ)，對(duì)于同一個(gè)目標(biāo)， ■十大网投正规信誉官网■十大网投靠谱平台 希望雷達(dá)探測(cè)到的點(diǎn)云數(shù)量越多越好，最好能夠描述出目標(biāo)的輪廓，這樣對(duì)于目標(biāo)識(shí)別是有好處的。但是實(shí)際上，雷達(dá)并不會(huì)按照這樣的方式工作，雷達(dá)總是會(huì)存在很多問(wèn)題，如點(diǎn)云閃爍、點(diǎn)云數(shù)量隨目標(biāo)距離而變化、點(diǎn)云RCS變化等問(wèn)題，從而得到的目標(biāo)點(diǎn)云其實(shí)是不穩(wěn)定的。
圖5 高密度點(diǎn)云
3、4D毫米波成像雷達(dá)架構(gòu)
4D毫米波成像雷達(dá)是在現(xiàn)有的毫米波雷達(dá)、4D毫米波雷達(dá)基礎(chǔ)上，在硬件、軟件和算法上大幅度升級(jí)而形成的產(chǎn)品。
（1）射頻硬件部分
大多數(shù)雷達(dá)廠家采用兩片芯片級(jí)聯(lián)（6T8R）、四片芯片級(jí)聯(lián)（12T16R）、六片芯片級(jí)聯(lián)（12T24R）、八芯片級(jí)聯(lián)（24T32R）的方案。天線布局方案各有講究。
圖6 特斯拉兩芯片級(jí)聯(lián)
圖7 大陸四芯片級(jí)聯(lián)
圖8 采埃孚四芯片級(jí)聯(lián)
圖9 華為4D雷達(dá)點(diǎn)云效果
華為的12T24R 4D成像毫米波雷達(dá)似乎用的是自帶芯片，應(yīng)該由6個(gè)3T4R的芯片級(jí)聯(lián),但也有人說(shuō)它可能是由德州儀器的六個(gè)AWR1642芯片級(jí)聯(lián)形成的。該雷達(dá)還引入了非視距（NLOS技術(shù)），可以利用雷達(dá)的多徑效應(yīng)看到前前車(chē)。
圖10 韓國(guó)智能雷達(dá)系統(tǒng)八芯片級(jí)聯(lián)參數(shù)
（2）信號(hào)處理硬件
采用FPGA或者高速M(fèi)CU，利用硬件加速器、線性運(yùn)算加速器等，并行處理多顆射頻芯片的高速采樣信號(hào)。
（3）軟件和算法
超分辨算法、自適應(yīng)動(dòng)態(tài)波形、軟件定義雷達(dá)、多模雷達(dá)、智能抗干擾、微多普勒、基于深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)點(diǎn)云識(shí)別等等。
4、4D毫米波成像雷達(dá)的技術(shù)門(mén)檻
有人說(shuō)4D毫米波成像雷達(dá)的門(mén)檻不高，我是不太贊同的，真正想要實(shí)行一款雷達(dá)，并量產(chǎn)上車(chē)，沒(méi)有好幾把刷子是不行的。要是4D毫米波雷達(dá)成像雷達(dá)的門(mén)檻真那么低，豈不是人人都能做出來(lái)，或者人人都可以做，但是至今有多少人做出來(lái)呢？
（1）復(fù)雜的硬件設(shè)計(jì)
復(fù)雜的射頻排布和疊層，高速車(chē)規(guī)級(jí)數(shù)字信號(hào)鏈路，多芯片集成排布堆疊、天線布局與優(yōu)化、射頻降噪處理技術(shù)、抗干擾設(shè)計(jì)。
（2）大計(jì)算量的并行軟件設(shè)計(jì)
雷達(dá)的數(shù)據(jù)量很大，傳輸、存儲(chǔ)、處理和計(jì)算要滿足50ms的刷新率，國(guó)內(nèi)的4D毫米波雷達(dá)廠商都做到了嘛？顯然并沒(méi)有多少，如此說(shuō)來(lái)，4D毫米波成像雷達(dá)不僅有門(mén)檻，而且門(mén)檻還不低。
計(jì)算方面除了雷達(dá)信號(hào)處理和雷達(dá)數(shù)據(jù)處理需要大量運(yùn)算之外，目標(biāo)分類(lèi)與識(shí)別模塊也需要很高的計(jì)算量，比如加入了神經(jīng)網(wǎng)絡(luò)。另外，采用多級(jí)聯(lián)芯片，還需要進(jìn)行多核數(shù)據(jù)并行處理，盡量利用硬件資源優(yōu)化數(shù)據(jù)處理速度。
（3）體積大、功耗高、價(jià)格高
毫米波雷達(dá)有優(yōu)點(diǎn)，但也有缺點(diǎn)，能否上車(chē)的決定性因素是其價(jià)格，而不是性能。特斯拉最先寧可采用全攝像頭方案也不要雷達(dá)，就是嫌棄雷達(dá)的價(jià)格太貴，而現(xiàn)在又回頭做雷達(dá)，就是因?yàn)楝F(xiàn)在的雙級(jí)聯(lián)雷達(dá)的成本很低，同時(shí)也能滿足一部分的需求，可以上車(chē)。既不影響特斯拉汽車(chē)的整體價(jià)格，也使得汽車(chē)具備比以往更優(yōu)的性能。
圖11 Arbe 4D毫米波成像雷達(dá)
4D毫米波成像雷達(dá)量產(chǎn)要求是小型化、輕量化、低成本，這需要可靠的機(jī)械結(jié)構(gòu)、靈活的硬件設(shè)計(jì)，同時(shí)需要保證垂直方向角度分辨率、遠(yuǎn)近距離雙區(qū)域模式探測(cè)，以及復(fù)雜而全面的軟件算法設(shè)計(jì)?？s小體積的一種方法是優(yōu)化天線的布局，或者采用專(zhuān)用的高集成雷達(dá)芯片，采用多芯片級(jí)聯(lián)顯然會(huì)增加雷達(dá)的體積，同時(shí)功耗也會(huì)增加。
對(duì)于成本來(lái)講，專(zhuān)用的高集成雷達(dá)芯片現(xiàn)在成本略高于多芯片級(jí)聯(lián)方案，但未來(lái)降成本的潛力巨大。
圖12 4D毫米波成像雷達(dá)各個(gè)技術(shù)路徑比較
5、4D毫米波成像雷達(dá)目標(biāo)分類(lèi)
目標(biāo)分類(lèi)算是4D毫米波成像雷達(dá)作為單獨(dú)傳感器的最后一個(gè)任務(wù)，我個(gè)人認(rèn)為這是雷達(dá)的第五個(gè)維度，即如果雷達(dá)能夠?qū)崿F(xiàn)精確的目標(biāo)識(shí)別，那么雷達(dá)可以認(rèn)為是5D成像雷達(dá)，但是這個(gè)說(shuō)法并沒(méi)有在業(yè)界形成統(tǒng)一。
4D毫米波成像雷達(dá)目標(biāo)分類(lèi)需要實(shí)現(xiàn)的任務(wù)非常簡(jiǎn)單，難的是任務(wù)的實(shí)現(xiàn)。如何區(qū)分道路交通參與者，七大類(lèi)或者五大類(lèi)是一個(gè)非常關(guān)鍵的問(wèn)題。
圖13 雷達(dá)目標(biāo)分類(lèi)與識(shí)別
研發(fā)新的目標(biāo)分類(lèi)與識(shí)別算法是這個(gè)模塊的核心任務(wù)，第一時(shí)間如何獲取高密度的點(diǎn)云信息就成為了大多數(shù)雷達(dá)工程師的難點(diǎn)問(wèn)題，第二，如何順利獲得稀疏且不斷閃爍的點(diǎn)云來(lái)進(jìn)行目標(biāo)識(shí)別，又是一個(gè)難點(diǎn)問(wèn)題。第三，如何采用可以工程化，且性能比較好的算法實(shí)現(xiàn)目標(biāo)識(shí)別，又是一個(gè)問(wèn)題。
多幀點(diǎn)云聯(lián)合處理的方法，是順利獲得犧牲時(shí)間積累點(diǎn)云用于抗閃爍，并降低點(diǎn)云數(shù)量大幅度變化，以及維持目標(biāo)點(diǎn)云輪廓的一種方法，我并不知道這種方法是否完全合理，但一定程度上可以緩解問(wèn)題，提高識(shí)別概率。不過(guò)，這并不是最優(yōu)的方案。
另外，對(duì)于點(diǎn)云的特征進(jìn)行合理提取，如下圖所示是對(duì)目標(biāo)的分布或者輪廓進(jìn)行空間建模與特征提取。同時(shí)，還加上微多普勒信息，結(jié)合機(jī)器學(xué)習(xí)算法或者神經(jīng)網(wǎng)絡(luò)，可以提高雷達(dá)的目標(biāo)識(shí)別性能，大陸雷達(dá)、博世雷達(dá)，以及國(guó)內(nèi)的部分雷達(dá)廠商都做了這個(gè)工作。
圖14 點(diǎn)云特征提取
傳統(tǒng)順利獲得聚類(lèi)+跟蹤+識(shí)別的算法架構(gòu)，顯然會(huì)存在很多問(wèn)題，尤其在環(huán)境比較復(fù)雜的場(chǎng)景，這種算法架構(gòu)比較適合環(huán)境背景比較干凈的地方，但是對(duì)于干擾很多的城市道路，明顯泛化能力不夠。通常，人群和汽車(chē)出現(xiàn)在同一幀下，由于DBSCAN算法的esp和Mints都是固定的，且復(fù)雜環(huán)境下Optics算法也無(wú)法自適應(yīng)上述兩個(gè)參數(shù)。所以，必然會(huì)出現(xiàn)兩個(gè)行人被歸為一類(lèi)，而一輛小汽車(chē)被分開(kāi)為兩類(lèi)，這就是同簇分裂和異簇合并的問(wèn)題。
圖15 點(diǎn)云同簇分裂和異簇合并
論文CNN Based Road User Detection Using the 3D Radar Cube采用了一種基于雷達(dá)的單幀多類(lèi)檢測(cè)方法，利用低級(jí)雷達(dá)立方體數(shù)據(jù)對(duì)移動(dòng)道路使用者（行人、騎自行車(chē)者、汽車(chē)）進(jìn)行分類(lèi)。
圖16 單幀多類(lèi)檢測(cè)方法
該算法位于目標(biāo)檢測(cè)之后，點(diǎn)云聚類(lèi)之前，即在每個(gè)雷達(dá)目標(biāo)的網(wǎng)格單元周?chē)崛±走_(dá)立方體數(shù)據(jù)，送入RTCnet卷積神經(jīng)網(wǎng)絡(luò)中，然后對(duì)輸出的結(jié)果進(jìn)行聚類(lèi)，最終得到目標(biāo)的類(lèi)別。RTCnet卷積神經(jīng)網(wǎng)絡(luò)由三個(gè)模塊組成，如上圖所示，其中第一部分的目的是將雷達(dá)目標(biāo)的空間鄰域的多普勒分布編碼為一個(gè)張量，而不擴(kuò)展范圍或方位角。第二部分是在第一部分的輸出結(jié)果上運(yùn)行，目的是從目標(biāo)周?chē)乃俣确植贾刑崛☆?lèi)信息。第二個(gè)模塊的輸出連接到目標(biāo)特征級(jí)，并送入到第三個(gè)模塊中進(jìn)行分?jǐn)?shù)計(jì)算。
圖17 RTCnet卷積神經(jīng)網(wǎng)絡(luò)識(shí)別結(jié)果
目標(biāo)識(shí)別算法的距離不能太遠(yuǎn)，也就是位于雷達(dá)30米左右，太遠(yuǎn)就會(huì)因?yàn)槔走_(dá)的分辨率、信噪比、點(diǎn)云數(shù)量、點(diǎn)云密度的變化而下降，如下圖所示：
圖18 識(shí)別概率和距離的關(guān)系
除此之外，還有很多算法，至于能否工程化，以及別人用的什么算法實(shí)現(xiàn)目標(biāo)識(shí)別，比如特斯拉、大陸、博世、Arbe等，雷達(dá)革命尚未成功，研發(fā)同志仍需努力！
6、4D毫米波雷達(dá)融合
融合是雷達(dá)作為多個(gè)傳感器之一的第一個(gè)任務(wù)，雷視融合可以提高感知系統(tǒng)應(yīng)對(duì)低光照、惡劣天氣等復(fù)雜場(chǎng)景的檢測(cè)性能和跟蹤穩(wěn)定性，減少漏檢、虛警概率，結(jié)構(gòu)如下所示。
圖19 雷視融合
此外還有雷達(dá)與雷達(dá)之間的融合，實(shí)現(xiàn)360環(huán)視感知。
圖20 環(huán)視感知雷雷融合
總結(jié)
現(xiàn)在，4D毫米波雷達(dá)的研發(fā)已經(jīng)進(jìn)入了白熱化階段，2023年陸陸續(xù)續(xù)會(huì)有很多企業(yè)亮出招式，是生存，還是毀滅，這是一個(gè)問(wèn)題。
關(guān)注微博
關(guān)注微信
關(guān)注公眾號(hào)
關(guān)注抖音號(hào)