喜歡樂高、熟悉樂高的朋友們應(yīng)該都是清楚，如今有些樂高產(chǎn)品完全是面向大人的，它們的復(fù)雜程度遠(yuǎn)高于面向兒童的產(chǎn)品。以樂高千年隼號(hào)（Millennium Falcon）和帝國(guó)殲星艦（Imperial Star Destroyer）這兩款產(chǎn)品為例，它們的積木顆粒分別為 7541 個(gè)和 4784 個(gè)，不少人花費(fèi)了數(shù)月時(shí)間才最終拼完。據(jù)說拼過這兩款積木的用戶最后都 “病” 了，癥狀表現(xiàn)為看到積木就頭疼、手不由自主發(fā)抖、容易犯嘔。

不想被一個(gè)玩具難倒了？那么這個(gè)新誕生的機(jī)器學(xué)習(xí)框架可以讓你更加直觀、輕松地拼完整個(gè)模型。

Autodesk、斯坦福大學(xué)和麻省理工學(xué)院的研究人員探討了將人類設(shè)計(jì)師創(chuàng)造的基于圖像的、分步驟的裝配手冊(cè)翻譯成機(jī)器可理解的指令的問題。研究人員將這個(gè)問題表述為一個(gè)連續(xù)的預(yù)測(cè)任務(wù)：在每個(gè)步驟中，該模型都會(huì)讀取手冊(cè)，定位要添加到當(dāng)前形狀中的部件，并推斷出它們?cè)谌S空間的位置。這項(xiàng)任務(wù)帶來的挑戰(zhàn)是在手冊(cè)圖像和真實(shí)的三維物體之間建立「二維到三維」的對(duì)應(yīng)關(guān)系，以及對(duì)未見過的三維物體進(jìn)行三維姿態(tài)預(yù)測(cè)，因?yàn)樵谝粋€(gè)步驟中要添加的新部件可能是全新的小積木，也可能是由以前的步驟拼成的物體（例如一個(gè)人物模型，說明書通常是讓用戶先拼完人物的四肢和頭部，然后再將四肢和頭部與人物主體互相拼接在一起形成整體；而不是像 3D 打印，一步步從頭到腳慢慢成型）。

為了解決這兩個(gè)挑戰(zhàn)，研究人員提出了一個(gè)新的基于學(xué)習(xí)的框架，即 MEPNet（Manual-to-Executable-Plan Network），它從一連串的手冊(cè)圖像中重構(gòu)拼裝步驟。其關(guān)鍵思想是整合神經(jīng)的二維關(guān)鍵點(diǎn)檢測(cè)模塊和「二維到三維」投影算法，以實(shí)現(xiàn)高精度的預(yù)測(cè)和對(duì)未見過的組件的強(qiáng)概括性。通過測(cè)試發(fā)現(xiàn)，MEPNet 的表現(xiàn)優(yōu)于現(xiàn)有方法。

研究人員表示，現(xiàn)有的將說明書步驟解析為機(jī)器可理解的指令的方法主要包括兩種形式，一個(gè)是基于搜索的方法，該方法簡(jiǎn)單而準(zhǔn)確，但計(jì)算成本高；另一個(gè)是基于學(xué)習(xí)的模型，速度快，但不善于處理未見過的 3D 形狀，而 MEPNet 結(jié)合了上述兩種方法。

除了可以用來拼樂高，在論文中研究人員還表示，他們的目標(biāo)是創(chuàng)造幫助人們組裝復(fù)雜物體的機(jī)器，他們的應(yīng)用范圍除了樂高的積木，還包括宜家的家具。因此利用這個(gè)框架，開發(fā)者有望開發(fā)出比普通家具說明更容易讓用戶理解的安裝手冊(cè)。

想測(cè)試 MEPNet 并且熟悉 Pytorch 的用戶可以在 Github 上找到項(xiàng)目的代碼 ：https://github.com/Relento/lego_release

我十分懷疑，開發(fā)這個(gè)框架的研究員假借研究的名義偷偷玩樂高。

審核編輯 ：李倩