你是否曾渴望成為畫中人？或者是控制畫中物？增強(qiáng)現(xiàn)實(shí)（AR）作為新一代人機(jī)交互平臺(tái)，或許可以幫你實(shí)現(xiàn)這一愿望。

近日，卡爾加里大學(xué)、Adobe 研究中心和科羅拉多大學(xué)博爾德分校的研究人員創(chuàng)建了一個(gè)增強(qiáng)現(xiàn)實(shí)（AR）界面 RealitySketch，該界面可用于繪制交互式圖形和可視化、可響應(yīng)的草圖。

相關(guān)研究以 “RealitySketch： Embedding Responsive Graphics and Visualizations in AR through Dynamic Sketching” 為題，發(fā)表在預(yù)印本平臺(tái) arXiv 上。

該創(chuàng)新成果還在 ACM 用戶界面軟件和技術(shù)研討會(huì)（ACM Symposium on User Interface Software and Technology， UIST’20）上，獲得了最佳論文榮譽(yù)獎(jiǎng)（Best Paper Honorable Mention）和最佳演示榮譽(yù)獎(jiǎng)（Best Demo Honorable Mention）。

研究初衷：向?qū)W生解釋物理現(xiàn)象

近年來，交互式動(dòng)態(tài)草圖一直是人機(jī)交互研究領(lǐng)域的核心主題之一，它通過對用戶進(jìn)行交互式響應(yīng)，使人們能夠通過一個(gè)動(dòng)態(tài)的視覺媒介進(jìn)行思考和交流。

盡管目前市場上基于 AR 的草繪界面不計(jì)其數(shù)，但迄今為止開發(fā)的大多數(shù)解決方案都專注于研究如何將靜態(tài)圖形嵌入到現(xiàn)實(shí)世界中。例如 Pronto、SybiosisSketch 和 PintAR，以及 Google 的 Just a Line 或 DoodleLens 等商業(yè)平臺(tái)。

如今，該研究團(tuán)隊(duì)開發(fā)出了更加豐富的動(dòng)態(tài)素描技術(shù)詞匯，可以動(dòng)態(tài)地實(shí)時(shí)創(chuàng)建交互式的動(dòng)畫內(nèi)容。RealitySketch 平臺(tái)不僅允許用戶創(chuàng)建靜態(tài)草圖，還可以嵌入動(dòng)態(tài)圖形和交互式圖形，這些圖形可以與用戶周圍的真實(shí)對象進(jìn)行綁定，并對用戶的動(dòng)作做出反應(yīng)。

圖 ｜ RealitySketch 可以使用戶通過實(shí)時(shí)草圖繪制實(shí)現(xiàn)鐘擺運(yùn)動(dòng)等物理現(xiàn)象的可視化

想象一下，當(dāng)我們在鐘擺上畫一條線，這條線隨著鐘擺的擺動(dòng)而移動(dòng)，這種交互式操作將鐘擺的運(yùn)動(dòng)進(jìn)行可視化處理。就如上圖中右側(cè)曲線圖，形象地將鐘擺下方的位置進(jìn)行了實(shí)時(shí)的繪制，這種抽象與現(xiàn)實(shí)的完美結(jié)合，幫助人們更好地理解物理現(xiàn)象。

該研究的作者之一 Ryo Suzuki 表示：“我們的項(xiàng)目初衷很簡單，就是通過 AR 交互式草圖繪制，使用戶能夠?qū)F(xiàn)實(shí)世界進(jìn)行可視化描繪。而這個(gè)想法最初來源于我們對物理課堂教育的觀察，在物理課堂中，老師指導(dǎo)的實(shí)驗(yàn)課通常是物理學(xué)習(xí)的一個(gè)組成部分。”

向?qū)W生解釋物理現(xiàn)象有時(shí)是相當(dāng)具有挑戰(zhàn)性的，因?yàn)橐浞掷斫膺@些物理現(xiàn)象，需要學(xué)生們想象這些現(xiàn)象是如何發(fā)生的，以及它們是什么樣子的，而不是僅僅學(xué)習(xí)與之相關(guān)的理論知識(shí)。

而由 Suzuki 及其研究團(tuán)隊(duì)共同創(chuàng)建的 AR 平臺(tái) RealitySketch，允許用戶制作動(dòng)態(tài)和響應(yīng)式的圖形，這些圖形可以在黑板、墻壁或現(xiàn)實(shí)世界中的其他物體上進(jìn)行可視化展現(xiàn)。

該平臺(tái)為學(xué)生們的物理學(xué)習(xí)提供了一個(gè)全新的窗口，可以幫助物理老師以動(dòng)感十足的方式，讓學(xué)生直接觀察運(yùn)動(dòng)中的物理現(xiàn)象，從而可以幫助學(xué)生對課程所涵蓋的主題有更深的理解。

動(dòng)態(tài)交互式可響應(yīng)的圖形創(chuàng)建

RealitySketch 基于蘋果公司的 AR 開發(fā)平臺(tái) Apple ARKit 研發(fā)，它可以將繪制的動(dòng)態(tài)草圖嵌入到真實(shí)環(huán)境中。用戶首先通過手指或數(shù)碼筆在觸摸屏上繪圖，然后將他們繪制的草圖中的元素疊加到真實(shí)世界的攝影機(jī)視圖上。

Suzuki 說：“在過去，創(chuàng)建這樣的可視化場景會(huì)經(jīng)歷很多耗時(shí)的環(huán)節(jié)，需要視頻編輯、后期制作等獨(dú)立的步驟。相比之下，我們想弄明白：當(dāng)現(xiàn)實(shí)世界發(fā)生變化時(shí)，如果這些草圖元素能夠動(dòng)態(tài)地做出反應(yīng)，會(huì)怎么樣呢？＂

圖 ｜ 嵌入式和響應(yīng)式草圖的潛在示例（綠色元素表示虛擬世界中的對象，黑色元素表示現(xiàn)實(shí)世界中的對象）

RealitySketch 最獨(dú)特的功能是：它利用交互技術(shù)，根據(jù)真實(shí)世界運(yùn)動(dòng)的草繪元素進(jìn)行實(shí)時(shí)的動(dòng)畫制作。

該方法可以保障用戶以用戶以實(shí)時(shí)和即興的方式，按照以下 4 個(gè)步驟來實(shí)現(xiàn)圖形的創(chuàng)建：

對象跟蹤：用戶首先要在真實(shí)世界的場景中，指定要跟蹤的視覺實(shí)體（例如，一個(gè)物理對象或一個(gè)骨骼關(guān)節(jié)）；參數(shù)化：然后，用戶通過繪制直線或弧線來定義感興趣的特定變量，從而對跟蹤的實(shí)體進(jìn)行參數(shù)化；參數(shù)綁定：用戶將這些變量綁定到草圖元素的圖形屬性上（例如，長度、角度等），如此一來，當(dāng)現(xiàn)實(shí)世界的變量發(fā)生變化時(shí)，就可以實(shí)時(shí)跟蹤其動(dòng)態(tài)行為；可視化：用戶還可以通過幾種可視化效果來對現(xiàn)實(shí)世界的運(yùn)動(dòng)進(jìn)行交互、分析和可視化處理。

Suzuki 解釋道：“RealitySketch 集成了物體追蹤和基于 AR 的可視化。首先，它利用計(jì)算機(jī)視覺技術(shù)來跟蹤物理對象。當(dāng)用戶在 iPad 上點(diǎn)擊一個(gè)對象時(shí)，系統(tǒng)會(huì)根據(jù)物體的顏色來跟蹤該對象。所有的草繪元素都被綁定到了這些被追蹤的物體上，因此用戶對物體進(jìn)行移動(dòng)、拋出等操作時(shí)，草繪的元素也會(huì)根據(jù)預(yù)期表現(xiàn)出的運(yùn)動(dòng)進(jìn)行動(dòng)畫處理。”

AR 作為動(dòng)態(tài)計(jì)算媒介，潛力巨大

為調(diào)查這一平臺(tái)的滿意度，研究人員招募卡爾加里大學(xué)的學(xué)生和老師參與評(píng)估調(diào)研，這些師生對 RealitySketch 非常滿意，并且似乎對其增強(qiáng)物理實(shí)驗(yàn)的潛力感到特別興奮。

現(xiàn)在由于 COVID－19 在全球的大流行，很多學(xué)生都在網(wǎng)上上課，而 RealitySketch 界面的創(chuàng)建可能價(jià)值非凡。實(shí)際上，RealitySketch 可以使遠(yuǎn)程教學(xué)更具吸引力，例如，它允許教師錄制動(dòng)態(tài)的物理實(shí)驗(yàn)視頻，并與學(xué)生進(jìn)行分享，這樣他們就可以更好地理解老師在講課中描述的物理概念和現(xiàn)象。

除了在課堂環(huán)境中測試他們的平臺(tái)，研究人員還展示了 RealitySketch 在與教育無關(guān)的其他應(yīng)用領(lǐng)域中的潛力。例如，他們展示了體育教練可以使用它來生成與健身有關(guān)的數(shù)據(jù)，并對其進(jìn)行實(shí)時(shí)的可視化處理和分析。

圖 ｜ 為 RealitySketch 提議的應(yīng)用場景的草圖

研究人員向籃球運(yùn)動(dòng)員展示了籃球的實(shí)時(shí)運(yùn)動(dòng)軌跡，通過對特定的身體姿勢制作可視化界面，使他們更加清晰的看到得分過程，也讓課堂更加引人入勝。

Suzuki 表示：“我們有興趣在將來進(jìn)一步開發(fā)該項(xiàng)目，這是 Adobe Research（Rubaiat Habib Kazi，Wei－Yi，Stephen DiVerdi，Wilmot Li）與卡爾加里大學(xué)（我）、科羅拉多博爾德大學(xué)（我的博士博士生導(dǎo)師 Daniel Leithinger 教授）共同合作的成果。我們相信這項(xiàng)工作將激發(fā)更多支持沉浸式創(chuàng)意的研究和產(chǎn)品，并將充分實(shí)現(xiàn) AR 作為動(dòng)態(tài)計(jì)算媒介的潛力。”

責(zé)任編輯：PSY