文｜松靈機(jī)器人
2020年11月23日，一篇名為《CamVox: 一種低成本、高精度的激光雷達(dá)輔助視覺(jué)SLAM系統(tǒng)》論文發(fā)表在康奈爾大學(xué)的arXri平臺(tái)，該論文由南方科技大學(xué)ISEE團(tuán)隊(duì)基于SCOUT MINI移動(dòng)機(jī)器人平臺(tái)進(jìn)行快速二次開(kāi)發(fā)，并在平臺(tái)上搭載了GPS、Camera、LivoxHorizon、IMU等設(shè)備。
圖一示出了從CamVox構(gòu)建的示例軌跡和地圖
CamVox是什么？
近年來(lái)，自主移動(dòng)機(jī)器人得到飛速發(fā)展，在基于相機(jī)的同步定位和建圖(SLAM)基礎(chǔ)上結(jié)合激光雷達(dá)是提高整體定位精度的有效方法之一，尤其是在大規(guī)模室外場(chǎng)景下。低成本激光雷達(dá)(如Livox激光雷達(dá))的出現(xiàn)與應(yīng)用，使我們能夠以更低的預(yù)算和更高的性能去嘗試和開(kāi)發(fā)這種SLAM系統(tǒng)。
南方科技大學(xué)ISEE團(tuán)隊(duì)通過(guò)探索Livox激光雷達(dá)的獨(dú)特特征,將Livox激光雷達(dá)應(yīng)用到視覺(jué)SLAM(ORBSLAM2)中,提出了CamVox。同時(shí)，基于Livox激光雷達(dá)的非重復(fù)特性, 提出了一種適用于非受控場(chǎng)景的激光雷達(dá)-相機(jī)自動(dòng)標(biāo)定方法，更長(zhǎng)的深度探測(cè)范圍也有利于更有效的建圖。
為什么要實(shí)現(xiàn)CamVox？
由于豐富的角度分辨率和信息豐富的顏色信息，相機(jī)可以通過(guò)簡(jiǎn)單的投影模型和光束調(diào)整提供良好定位和建圖性能。從最初的單目相機(jī)到雙目相機(jī)，再到RGB-D相機(jī)，它們都有著不同類(lèi)型的問(wèn)題，這些問(wèn)題對(duì)精度、尺寸會(huì)產(chǎn)生較大影響。即便后來(lái)采用融合像機(jī)和IMU的組合方式，卻因?yàn)橄M(fèi)級(jí)IMU只能在相對(duì)較低的精度下工作,并且IMU本身容易受到偏置、噪聲和漂移等的影響，但是高端IMU的成本非常高，這些都不利于IMU進(jìn)行普及。
另一方面，激光雷達(dá)提供了直接的空間測(cè)量。激光雷達(dá)SLAM框架已經(jīng)開(kāi)發(fā)出來(lái)且相對(duì)成熟，但是多線激光雷達(dá)通常成本太高，無(wú)法用于實(shí)際應(yīng)用。幸運(yùn)的是,Livox推出了一種基于棱鏡掃描的新型激光雷達(dá)，由于采用了新的掃描方法，成本可以大大降低,被大規(guī)模采用。此外這種新的掃描方法允許不重復(fù)的掃描模式，非常適合于在累積時(shí)獲取相對(duì)高清晰度的點(diǎn)云。此功能在校準(zhǔn)激光雷達(dá)和相機(jī)時(shí)非常有用，因?yàn)閭鹘y(tǒng)的多線激光雷達(dá)缺乏線間空間的精度，棱鏡設(shè)計(jì)還具有用于信號(hào)接收的最大光學(xué)孔徑,并允許遠(yuǎn)程檢測(cè)。
圖二表示與傳統(tǒng)激光雷達(dá)相比，三種Livox激光雷達(dá)模型的點(diǎn)云密度隨積分時(shí)間的變化
由于激光雷達(dá)的遠(yuǎn)距離探測(cè)和高精度特征,相機(jī)和激光雷達(dá)之間的外部參數(shù)標(biāo)定成為更重要的考慮因素。激光雷達(dá)相機(jī)的建議解決方案可以分為兩種方式。第一個(gè)是標(biāo)定過(guò)程是否需要一個(gè)比標(biāo)定目標(biāo)，第二個(gè)是標(biāo)定是否可以在沒(méi)有人為干預(yù)的情況下工作。這些年來(lái),許多標(biāo)定技術(shù)都是基于固定的校準(zhǔn)目標(biāo)或人工努力，但到目前為止,標(biāo)定仍然是一項(xiàng)具有挑戰(zhàn)性的任務(wù)，在不受控制的場(chǎng)景中，沒(méi)有用于標(biāo)定激光雷達(dá)和攝像機(jī)的開(kāi)源算法。Livox激光雷達(dá)的非重復(fù)掃描模式可以提供一個(gè)更容易的解決方案。
如何實(shí)現(xiàn)CamVox？
由于從Livox lidars獲得的稠密、長(zhǎng)距離和精確的點(diǎn)與相機(jī)圖像相融合，因此可以分配比傳統(tǒng)RGB-D相機(jī)(由于檢測(cè)距離)或雙目視覺(jué)相機(jī)更多的近點(diǎn)。因此相機(jī)和激光雷達(dá)的優(yōu)勢(shì)可以通過(guò)緊耦合的方式加以利用。
A.硬件和軟件
CamVox硬件包括一個(gè)MV-CE060-10UC滾動(dòng)快門(mén)相機(jī)，一個(gè)Livox激光雷達(dá)和一個(gè)慣性測(cè)量單元(慣性傳感INS)。附加的GPS-RTK(慣性導(dǎo)航系統(tǒng))用于地面真實(shí)度估計(jì)。
系統(tǒng)在幾個(gè)并行線程上運(yùn)行，如上圖所示。除了ORB-SLAM2的主要線程之外，還添加了一個(gè)額外的RGB-D輸入預(yù)處理線程，以捕獲來(lái)自同步相機(jī)和激光雷達(dá)(IMU校正)的數(shù)據(jù)，并將其處理成統(tǒng)一的RGB-D幀。可以觸發(fā)自動(dòng)校準(zhǔn)線程來(lái)校準(zhǔn)相機(jī)和激光雷達(dá)，當(dāng)檢測(cè)到機(jī)器人不移動(dòng)或通過(guò)人類(lèi)交互時(shí)，自動(dòng)進(jìn)行校準(zhǔn)。然后對(duì)校準(zhǔn)結(jié)果進(jìn)行評(píng)估并輸出，用于潛在的參數(shù)更新。
B.預(yù)處理
預(yù)處理線程從激光雷達(dá)獲取原始點(diǎn)，由IMU進(jìn)行校正，并根據(jù)相機(jī)的外部校準(zhǔn)投影到深度圖像中，然后將RGB圖像與深度圖像組合作為RGB-D幀的輸出。由于激光雷達(dá)持續(xù)掃描環(huán)境，每個(gè)數(shù)據(jù)點(diǎn)都是在略有不同的時(shí)間戳獲得的，需要IMU進(jìn)行校正。
圖三為機(jī)器人平臺(tái)、CamVox硬件組成、圖片案例
為了糾正當(dāng)機(jī)器人處于連續(xù)運(yùn)動(dòng)時(shí)點(diǎn)云變形的這種失真，機(jī)器人的運(yùn)動(dòng)是在每個(gè)激光雷達(dá)點(diǎn)輸出時(shí)間從慣性測(cè)量單元姿態(tài)插值，并轉(zhuǎn)換當(dāng)觸發(fā)信號(hào)開(kāi)始時(shí)，激光雷達(dá)指向激光雷達(dá)坐標(biāo)，這也是捕捉相機(jī)圖像的時(shí)間。
圖5示出了當(dāng)機(jī)器人處于連續(xù)運(yùn)動(dòng)點(diǎn)云變形的例子
C.校準(zhǔn)
由于激光雷達(dá)的遠(yuǎn)程能力，校準(zhǔn)精度在CamVox中至關(guān)重要。由于Livox激光雷達(dá)不重復(fù)的特性，只要我們能夠積累幾秒鐘的掃描點(diǎn)，深度圖像就可以變得像相機(jī)圖像一樣高分辨率，并且與相機(jī)圖像的對(duì)應(yīng)關(guān)系變得容易找到。
圖七為整個(gè)校正算法的結(jié)構(gòu)
因此我們能夠基于場(chǎng)景信息在幾乎所有的現(xiàn)場(chǎng)場(chǎng)景中自動(dòng)進(jìn)行這種校準(zhǔn)。當(dāng)檢測(cè)到機(jī)器人靜止時(shí)，設(shè)置自動(dòng)校準(zhǔn)的觸發(fā)，以消除運(yùn)動(dòng)模糊。我們?cè)陟o止?fàn)顟B(tài)下積累激光雷達(dá)點(diǎn)幾秒鐘，相機(jī)圖像也被捕獲.
結(jié) 果
具體來(lái)說(shuō),我們將首先顯示自動(dòng)校準(zhǔn)的結(jié)果，還評(píng)估了為關(guān)鍵點(diǎn)選擇深度閾值的效果。最后，我們?cè)u(píng)估了CamVox與主流SLAM框架的比較軌跡，并給出了時(shí)間分析。
A.自動(dòng)校準(zhǔn)結(jié)果
圖八為自動(dòng)校準(zhǔn)結(jié)果
B.關(guān)鍵點(diǎn)深度閾值的評(píng)估
C.軌跡比較
D.計(jì)時(shí)結(jié)果
CamVox框架的時(shí)序分析如表二所示。自動(dòng)校準(zhǔn)大約需要58s完成。因?yàn)樾?zhǔn)線程僅在機(jī)器人處于靜止?fàn)顟B(tài)時(shí)偶爾運(yùn)行，并且參數(shù)的更新可能發(fā)生在稍后的時(shí)間，所以這樣的計(jì)算時(shí)間對(duì)于實(shí)時(shí)性能來(lái)說(shuō)不是問(wèn)題，
結(jié)論和展望
綜上所述，提出CamVox作為一種新的低成本激光雷達(dá)輔助的視覺(jué)SLAM框架，旨在結(jié)合兩者的優(yōu)點(diǎn)，即來(lái)自攝像機(jī)的最佳角度分辨率和來(lái)自激光雷達(dá)的最佳深度和距離。由于Livox激光雷達(dá)的獨(dú)特工作原理，開(kāi)發(fā)了一種可以在不受控制的場(chǎng)景中執(zhí)行的自動(dòng)校準(zhǔn)算法。在自動(dòng)校準(zhǔn)精度、關(guān)鍵點(diǎn)分類(lèi)深度閾值和軌跡比較方面對(duì)新框架進(jìn)行了評(píng)估。它也可以在機(jī)載計(jì)算機(jī)上實(shí)時(shí)運(yùn)行。南方科技大學(xué)ISEE團(tuán)隊(duì)希望這個(gè)新的框架可以用于機(jī)器人和傳感器研究,并為社區(qū)提供現(xiàn)成的低成本解決方案。
選對(duì)一個(gè)機(jī)器人平臺(tái)，項(xiàng)目已成功了一半
機(jī)器人底盤(pán)承載著機(jī)器人定位、導(dǎo)航、移動(dòng)、避障等多種功能，是機(jī)器人必不可少的重要硬件。同時(shí)，機(jī)器人作為一個(gè)多種技術(shù)與功能的集合體，除了部分軟件功能之外，其他重要部分都在機(jī)器人底盤(pán)這一硬件模塊之上，機(jī)器人底盤(pán)不僅是各種傳感器、機(jī)器視覺(jué)、激光雷達(dá)、電機(jī)輪子等設(shè)備的集成點(diǎn)，更承載了機(jī)器人本身的定位、導(dǎo)航、移動(dòng)、避障等基礎(chǔ)功能。
據(jù)了解，市面上機(jī)器人底盤(pán)的價(jià)格通常在2-10萬(wàn)之間，對(duì)于功能要求越高的機(jī)器人，底盤(pán)的價(jià)格也相對(duì)越高，在成本和功能之間始終無(wú)法找到一個(gè)平衡點(diǎn)，高昂的成本讓不少企業(yè)和消費(fèi)者難以負(fù)擔(dān)。同時(shí)，現(xiàn)在的服務(wù)機(jī)器人底盤(pán)普遍采用的是通用底盤(pán)，但其實(shí)不少下游企業(yè)對(duì)底盤(pán)的制作要求各不相同，根據(jù)場(chǎng)景的差異，對(duì)形狀大小的要求也不盡相同。
針對(duì)這一現(xiàn)狀，松靈機(jī)器人自主研發(fā)了包括SCOUT 2.0, SCOUT MINI, HUNTER 2.0, BUNKER, TRACE等通用底盤(pán)。上文所采用的機(jī)器人底盤(pán)-SCOUT MINI是松靈機(jī)器人專(zhuān)為前沿科學(xué)實(shí)驗(yàn)設(shè)計(jì)的全能型移動(dòng)研究平臺(tái)。
此外，SCOUT MINI的標(biāo)準(zhǔn)化協(xié)議和接口，方便快速進(jìn)行二次開(kāi)發(fā)；多方位的安裝支架提供豐富的外部設(shè)備支持。自帶獨(dú)立主控可以完成自身的運(yùn)動(dòng)控制，并可以定制復(fù)雜的操作模式，主控提供串口/標(biāo)準(zhǔn) CAN 總線作為通訊接口，可以接入差分 GPS、慣導(dǎo)系統(tǒng)、雙目攝像頭、激光雷達(dá)、紅外/超聲波避障傳感器等一系列外部設(shè)備。同時(shí)支持更高級(jí)的自動(dòng)駕駛系統(tǒng)的接入，例如 ROS、百度 Apollo 等都可以以此作為移動(dòng)平臺(tái)，做應(yīng)用開(kāi)發(fā)。
巡檢
巡檢領(lǐng)域是當(dāng)前應(yīng)用最廣的一個(gè)領(lǐng)域，客戶在底盤(pán)上面添加激光雷達(dá)、IMU、超聲波雷達(dá)、人臉識(shí)別、警報(bào)等傳感器后，使機(jī)器人能夠應(yīng)用在化工廠巡檢、街道巡檢、倉(cāng)庫(kù)巡檢等地。
巡檢機(jī)器人
例如廣智微芯就通過(guò)松靈SCOUT開(kāi)發(fā)了完全自主智能路徑規(guī)劃和導(dǎo)航的智能巡檢車(chē)，通過(guò)本地智能視頻分析技術(shù)，實(shí)現(xiàn)異常侵入、打架斗毆等危險(xiǎn)情況告警功能。
基于松靈智行導(dǎo)航套件，開(kāi)發(fā)了能夠在工地上自主導(dǎo)航、實(shí)現(xiàn)路徑規(guī)劃的工地巡檢車(chē)，通過(guò)激光雷達(dá)、超聲波雷達(dá)、攝像頭等傳感器，可實(shí)現(xiàn)視頻拍攝錄制、人臉識(shí)別、自動(dòng)避障、自動(dòng)軌跡巡檢等功能，能夠在工地上日夜巡視，全天候作業(yè)，降低人力成本。
工地巡檢車(chē)
沙漠綠化
華東師范大學(xué)軟件工程學(xué)院智能機(jī)器人運(yùn)動(dòng)與視覺(jué)實(shí)驗(yàn)室的張新宇老師團(tuán)隊(duì)通過(guò)在SCOUT上面搭載機(jī)械臂以及其他傳感器，設(shè)計(jì)研發(fā)“種樹(shù)機(jī)器人集群”，用于治理土地沙漠化，助力生態(tài)恢復(fù)。該機(jī)器人集群已經(jīng)在內(nèi)蒙古阿拉善進(jìn)行種樹(shù)測(cè)試，并獲得了央視報(bào)道關(guān)注。
種樹(shù)機(jī)器人
5G應(yīng)用
隨著5G應(yīng)用的部署，松靈機(jī)器人聯(lián)手華為榮耀推出5G手機(jī)遠(yuǎn)程操控消毒機(jī)器人。使用榮耀V30作為控制端，通過(guò)5G信號(hào)的加持，輕松實(shí)現(xiàn)千里遙控，無(wú)須人員到場(chǎng)，有效改善一線作業(yè)人員的作業(yè)環(huán)境，實(shí)現(xiàn)零距離接觸。
遠(yuǎn)程操控消毒機(jī)器人
松靈FreeWalker是一套基于4-5G移動(dòng)網(wǎng)絡(luò)的遠(yuǎn)程超視距駕駛方案，基于4-5G網(wǎng)絡(luò)大帶寬、低時(shí)延的特性，用戶可超視距控制移動(dòng)機(jī)器人完成復(fù)雜現(xiàn)場(chǎng)任務(wù)，不受距離、環(huán)境等因素干擾。該套裝擁有兩個(gè)版本：駕駛艙版本適用于專(zhuān)用固定位置遠(yuǎn)程駕駛，便攜版本適用于移動(dòng)或現(xiàn)場(chǎng)遠(yuǎn)程駕駛。目前FreeWalker套件已在運(yùn)營(yíng)商5G展廳部署，使消費(fèi)者能夠更直觀的看到5G帶來(lái)的革命性應(yīng)用場(chǎng)景。
基于松靈機(jī)器人移動(dòng)底盤(pán)及4-5G遠(yuǎn)程駕駛套裝，Weston Robot成功研發(fā)適用于室內(nèi)外無(wú)人消毒機(jī)器人，該機(jī)器人可完成遠(yuǎn)程無(wú)人化消毒工作，該成果作為先進(jìn)抗疫情措施被媒體廣泛報(bào)道，并被mathwork作為案例引用。
Weston Robot——消毒機(jī)器人
教育
截至目前，松靈機(jī)器人已經(jīng)與清華大學(xué)、北理工、哈工大、南洋理工大學(xué)等國(guó)內(nèi)外100多所高校達(dá)成合作，并與南科大、東莞理工等院校建立校企合作，在移動(dòng)機(jī)器人底盤(pán)領(lǐng)域，開(kāi)展運(yùn)動(dòng)控制、機(jī)器感知、ROS開(kāi)源等方向的課題研究。松靈機(jī)器人現(xiàn)已開(kāi)啟全球性ROS開(kāi)源生態(tài)圈建設(shè)，致力于為學(xué)校和科研用戶打造一流的ROS學(xué)習(xí)和交流平臺(tái)。
某高校使用案例
聲明：本文的部分論文簡(jiǎn)述內(nèi)容來(lái)源于”當(dāng)SLAM遇見(jiàn)小王同學(xué)“公眾號(hào)，版權(quán)屬原作者所有。如涉及到版權(quán)問(wèn)題，請(qǐng)及時(shí)和我們聯(lián)系，核實(shí)后協(xié)商處理或刪除。
