電子發(fā)燒友網(wǎng)報道(文/吳子鵬)從掃地機器人到機器狗,再到人形機器人,具身智能已從概念照進現(xiàn)實。作為人工智能與機器人領(lǐng)域交叉的前沿方向,具身智能顯著提升了智能體與物理世界的交互水平。在具身智能系統(tǒng)實現(xiàn)過程中,3D 視覺感知是底層核心技術(shù)之一,它通過實時捕捉、解析三維環(huán)境信息,賦予智能體空間理解與交互能力。
在接受電子發(fā)燒友網(wǎng)專訪時,光鑒科技創(chuàng)始人、CEO 朱力表示,機器人是具身智能的典型形態(tài),而機器人與現(xiàn)實物理世界交互的前提,是能夠精準(zhǔn)感知周邊的空間環(huán)境。以人形機器人抓取水杯為例,只有精準(zhǔn)識別杯子的位置和形態(tài),才能順利完成這一動作。“光鑒科技專注于智能視覺感知技術(shù)的研發(fā)與應(yīng)用,核心目標(biāo)就是讓機器人具備精準(zhǔn)的空間感知能力。”?
3D 視覺感知的發(fā)展現(xiàn)狀和挑戰(zhàn)?
3D 視覺感知技術(shù)通過提供深度、形貌、位姿等三維信息,彌補了 2D 圖像的不足,正在重塑智能體的感知系統(tǒng)。據(jù) Yole group 統(tǒng)計數(shù)據(jù)顯示,2022 年全球 3D 感知市場規(guī)模為 82 億美元。隨著智能駕駛、無人機、智能家居等應(yīng)用領(lǐng)域的蓬勃發(fā)展,預(yù)計到 2028 年,全球 3D 視覺感知市場規(guī)模將擴張至 172 億美元,期間年復(fù)合增長率達 13.2%。
?
然而,在高速發(fā)展過程中,目前 3D 視覺感知技術(shù)路線非常多元,主要包括雙目視覺、結(jié)構(gòu)光、飛行時間法(ToF)和激光雷達(LiDAR),具體實現(xiàn)邏輯如下:?
·雙目視覺:通過兩個攝像頭模擬人眼視差,利用圖像匹配計算深度信息。不過,在低光、反光環(huán)境下,其精度會下降,且探測距離有限。?
·結(jié)構(gòu)光:原理是向物體投射結(jié)構(gòu)性光束,這些光束會因物體表面形狀不同而產(chǎn)生變形,通過高差變化和間隙計算深度和物體間距離。但該技術(shù)主要缺點是有效距離短。?
·ToF:通過發(fā)射連續(xù)光并測量光往返時間來計算目標(biāo)距離,適用于中遠(yuǎn)距離測距,但需要克服相位噪聲等問題。
·激光雷達:通過發(fā)射激光脈沖并測量回波時間 / 相位,利用點云構(gòu)建 3D 環(huán)境地圖。不過,獲取高精度點云的硬件成本通常較高,且功耗也較大。
?
朱力認(rèn)為,目前的3D 視覺方案各有優(yōu)劣。例如,結(jié)構(gòu)光近距離精度高,但遠(yuǎn)距離誤差大,可比喻為 “近視眼”;ToF 遠(yuǎn)距離表現(xiàn)良好,但近距離精度不足,類似 “遠(yuǎn)視眼”。然而,像機器人這樣的智能體,探測距離需要同時覆蓋近到遠(yuǎn)的場景。受限于傳統(tǒng)傳感器能力,機器人往往需搭載多套傳感器,導(dǎo)致系統(tǒng)復(fù)雜且成本高昂。光鑒科技的創(chuàng)新之處在于,提供了業(yè)界首創(chuàng)的單模組實現(xiàn)結(jié)構(gòu)光和 ToF 技術(shù)融合,近距離借助結(jié)構(gòu)光、遠(yuǎn)距離依靠 ToF,實現(xiàn) 3 厘米到 8 米寬范圍的精準(zhǔn)感知,滿足了機器人全場景覆蓋的需求。
?
“該方案的難點在于光學(xué)設(shè)計與算法協(xié)同,需要同時精通硬件系統(tǒng)、光學(xué)設(shè)計和算法開發(fā),避免過度依賴外部芯片算力,通過自研高效算法實現(xiàn)軟硬件深度融合,在提升性能的同時控制成本與功耗。” 朱力強調(diào)。
?
光鑒科技Nebula 系列 助力機器人智能感知升級?
當(dāng)前,機器人行業(yè)正處于高速發(fā)展階段,各細(xì)分賽道都迸發(fā)出強勁的發(fā)展動能。根據(jù) IDC 等研究機構(gòu)發(fā)布的數(shù)據(jù),2024 年全球智能掃地機器人市場出貨量達 2060.3 萬臺,銷售額為 93.1 億美元,同比分別增長 11.2% 和 19.7%;若擴大到整個清潔電器市場,2024 年市場規(guī)模則達到 200 億美元,同比增長 8%。
?
朱力指出,機器人行業(yè)正經(jīng)歷硬件快速成熟與場景深入結(jié)合的階段。掃地機器人已成為成熟產(chǎn)品且在持續(xù)迭代,配送、清潔等場景也有成熟產(chǎn)品落地。隨著 AI 技術(shù)的發(fā)展,機器人智能化和通用化水平將進一步提升。機器人的執(zhí)行系統(tǒng)主要涵蓋傳感、感知、規(guī)劃和執(zhí)行四個維度,光鑒科技聚焦最底層的傳感和感知環(huán)節(jié),為機器人提供高效的空間環(huán)境理解解決方案,使其具備更精準(zhǔn)的數(shù)據(jù)服務(wù)于規(guī)劃和執(zhí)行環(huán)節(jié)。?
目前,光鑒科技面向機器人市場已推出Nebula 240和 Nebula 400 等多款產(chǎn)品,為機器人構(gòu)建領(lǐng)先的 3D 視覺能力。其中,Nebula 240是光鑒科技針對掃地機器人領(lǐng)域推出的深度相機,其搭載的sToF技術(shù)融合了結(jié)構(gòu)光的高精度與ToF的高分辨率,利用結(jié)構(gòu)光主動投射的編碼光斑,有效抑制傳統(tǒng)ToF的多徑干擾,大幅提升測距精度,使掃地機器人在近遠(yuǎn)距離中都能實現(xiàn)高精度3D視覺感知,實現(xiàn)真正意義上的優(yōu)勢互補。
Nebula 240,圖源:光鑒科技
?
當(dāng)前,掃地機器人主要通過線掃描激光雷達構(gòu)建 3D 地圖,該方案簡單且成熟。線掃描激光雷達獲取的是截面信息,無法識別立體障礙物。而掃地機器人要實現(xiàn)智能化發(fā)展,獲取三維環(huán)境信息必不可少,尤其是在帶機械臂的高端機型中,精準(zhǔn)的 3D 感知更是實現(xiàn)物體抓取的核心前提。而具備sToF技術(shù)的Nebula 系列深度相機,僅通過單一模組就可以獲取到機器人避障和導(dǎo)航的所有視覺信息,并在不同場景中發(fā)揮信息協(xié)同作用,感知能力進一步加強。
此外,線掃激光雷達凸起的安裝方式,導(dǎo)致掃地機器人機身較厚,難以進入沙發(fā)和柜子底下,覆蓋能力受限。而Nebula系列則可以安裝在產(chǎn)品內(nèi)部,不僅可以優(yōu)化產(chǎn)品結(jié)構(gòu),降低硬件空間和成本,使掃地機器人更加輕薄,并且也進一步增強了其工作覆蓋范圍和脫困能力。
?
朱力稱,“Nebula 240進入掃地機器人市場是光鑒的核心技術(shù)與客戶痛點需求結(jié)合的典型案例,其核心價值在于幫助客戶。客戶本身有識別維度升級以實現(xiàn)智能感知的需求,同時希望將掃地機器人設(shè)計得更加輕薄,Nebula 240 精準(zhǔn)契合了這些需求。”
?
他以掃地機器人最核心的清潔功能舉例,對于地面上的水漬、油漬、牛奶漬或灰塵等污漬,若掃地機器人能夠精準(zhǔn)識別到具體的污漬種類,系統(tǒng)就可針對性地進行清潔。在Nebula 240 mipi 上,光鑒科技已實現(xiàn)多種傳感信號的融合,搭配地面障礙物分割算法、細(xì)線/污濁物識別算法等多種深度感知算法,使掃地機器人能夠更加精準(zhǔn)識別目標(biāo)物,實現(xiàn)更加高效清潔。?
而光鑒科技的另一款深度相機Nebula 400則是針對商用機器人場景。由于商用機器人具備多樣復(fù)雜的工作場景,所以需要精準(zhǔn)的空間信息,為其提供關(guān)鍵數(shù)據(jù)支撐。而Nebula 400通過3D 結(jié)構(gòu)光和ToF技術(shù)相結(jié)合,為機器人提供近距離超高精度和遠(yuǎn)距離高精度的深度信息感知能力,滿足其在復(fù)雜環(huán)境中對導(dǎo)航與避障的需求,提供更加精準(zhǔn)、適配的 3D 視覺感知方案。
為了適配商用機器人多樣的工作環(huán)境,Nebula 400擁有98°(H)×75°(V)的超廣視場角,能夠為其提供范圍更廣、畸變更小的視野范圍,有效提高機器人在復(fù)雜場景中的工作效率與安全性,搭配光鑒科技自主研發(fā)的彩色深度融合、3D SLAM以及目標(biāo)識別等多重算法,使其具備更出色的避障和SLAM能力。
Nebula 400 深度相機,圖源:光鑒科技
?
從這兩款深度相機的介紹可以看出,光鑒科技并非單純的硬件方案供應(yīng)商,在硬件、軟件和軟硬件融合方面都頗具造詣。朱力表示,“光鑒科技非常注重感知計算部分,幫助客戶更充分地利用已有算力,并降低系統(tǒng)復(fù)雜度。我們在軟核結(jié)構(gòu)光深度算法方面積累深厚,并在此基礎(chǔ)上開發(fā)了包含感知、融合、路線規(guī)劃在內(nèi)的完備工具箱,不斷拓展服務(wù)邊界。無論客戶需要標(biāo)準(zhǔn)的硬件和算法,還是系統(tǒng)化的方案,光鑒科技都有能力滿足。”?
像搭樂高一樣構(gòu)建 3D 感知系統(tǒng)
當(dāng)前,模塊化設(shè)計已成為機器人系統(tǒng)設(shè)計的主流方式,顯著提升了系統(tǒng)開發(fā)的效率和靈活性。朱力將其形象地描述為像 “搭樂高積木” 一樣構(gòu)建系統(tǒng)。為此,光鑒科技開展了以下幾方面工作。
?
首先,打磨軟硬件所涉及的技術(shù)環(huán)節(jié),使其達到成熟且高效的狀態(tài),推進 3D 感知模塊的標(biāo)準(zhǔn)化,通過技術(shù)創(chuàng)新解決機器人與物理世界交互的基礎(chǔ)問題。光鑒科技將類似于汽車 3D 點云識別的能力引入機器人行業(yè),開發(fā)了一套軟硬件高效融合的系統(tǒng),目前已在行業(yè)頂級會議上發(fā)表,后續(xù)將逐步向全行業(yè)開放。
?
其次,開展產(chǎn)業(yè)協(xié)同,通過感知和計算的深度融合實現(xiàn)極致效率的系統(tǒng)。目前,光鑒科技正與一些計算芯片企業(yè)合作,將公司算法塑造為 IP,通過芯片固化實現(xiàn)相關(guān)功能,以獲得比通用計算芯片更高的效率。如前文所述,光鑒科技在軟核結(jié)構(gòu)光深度算法、污漬檢測、3D 識別等方面已儲備了豐富的算法,正致力于推動這些算法在客戶項目中快速落地。
?
然后,加強數(shù)據(jù)保護。傳統(tǒng)成像攝像頭獲取的信息與人眼所見相同,隱私泄露風(fēng)險較高。光鑒科技的3D深度相機產(chǎn)品均為非影像視覺,所產(chǎn)生的信息專為機器人服務(wù),天然具備隱私保護優(yōu)勢。同時,該公司還致力于在系統(tǒng)前端加入數(shù)據(jù)加密和簽名等保護功能,進一步提升數(shù)據(jù)安全性。
?
最后,注重前沿創(chuàng)新。機器人行業(yè)發(fā)展日新月異,無論是核心技術(shù)還是產(chǎn)品形態(tài)都在不斷變化。以機器人不可或缺的 AI 技術(shù)為例,朱力表示,目前像深度學(xué)習(xí)這樣的小模型,已在光鑒科技產(chǎn)品中全面應(yīng)用;而AI 大模型將使視覺感知能力更加通用,這項技術(shù)雖處于行業(yè)早期,但光鑒科技已與相關(guān)團隊展開全面合作。從產(chǎn)品形態(tài)來看,人形機器人未來潛力巨大,目前已有相關(guān)產(chǎn)品搭載了光鑒科技的 3D 視覺感知方案。
?
結(jié)語?
在具身智能加速落地的進程中,3D 視覺感知作為智能體與物理世界交互的 “眼睛”,正從技術(shù)分野走向融合創(chuàng)新。光鑒科技以結(jié)構(gòu)光與 ToF 技術(shù)的深度融合為突破口,打破傳統(tǒng) 3D 視覺方案的場景局限,通過 Nebula 系列深度相機實現(xiàn)避障、導(dǎo)航和感知的全覆蓋,更以軟硬件協(xié)同設(shè)計降低系統(tǒng)復(fù)雜度,推動機器人從 “功能單一” 邁向 “智能通用”。
-
機器人
+關(guān)注
關(guān)注
213文章
29446瀏覽量
211400
發(fā)布評論請先 登錄
詳細(xì)介紹機場智能指路機器人的工作原理
【「# ROS 2智能機器人開發(fā)實踐」閱讀體驗】視覺實現(xiàn)的基礎(chǔ)算法的應(yīng)用
大象機器人攜手進迭時空推出 RISC-V 全棧開源六軸機械臂產(chǎn)品
一徑科技NZ1全場景廣角3D激光雷達,面向泛機器人應(yīng)用場景

讓人形機器人像人一樣去感知,這家國產(chǎn)芯片公司選擇從信號鏈入手

海伯森技術(shù)推動機器人感知能力邁向新高度
宇樹科技在物聯(lián)網(wǎng)方面
40個激光雷達!蘋果布局機器人感知系統(tǒng),讓碰撞降低63.7%

評論