“最初打算幫助殘疾人，是因?yàn)槲以诳突仿∽x博時(shí)，結(jié)識(shí)了一位從 IBM 到我們學(xué)校訪問的盲人教授。和她一起去朋友家時(shí)，發(fā)現(xiàn)她的生活非常不方便，這也是我設(shè)計(jì)盲人屏幕閱讀器的起因。”對(duì)密歇根大學(xué)計(jì)算機(jī)科學(xué)與工程系 90 后華人教授郭安鴻來說，“科技向善”是他身上抹不去的標(biāo)簽。

很多人都曾在課本上學(xué)習(xí)過海倫·凱勒的《假如給我三天光明》，由于失聰和失明，她只能通過觸覺來學(xué)習(xí)說話，比如把手指放在老師的鼻子、嘴唇和咽喉上，去感受某個(gè)單詞的發(fā)音方式。

一個(gè)四肢健全的盲人固然有觸覺，但卻因?yàn)檠勖ぁ⒍鵁o法操作那些常人可以輕松操作的鍵盤，比如微波爐和電飯煲的物理操作界面。對(duì)他們來說，這些操作界面的按鈕，不僅在觸覺上難以區(qū)分，并且屏幕上還有他們無法閱讀的視覺信息。

基于此，郭安鴻研發(fā)出一款人機(jī)交互系統(tǒng)，來幫助盲人讀取、以及使用物理操作界面上的內(nèi)容。

該系統(tǒng)包含三大塊：VizLens、Facade 和 StateLens。其中VizLens 幫助盲人通過音頻指示去使用物理操作界面，F(xiàn)acade 使用 3D 打印技術(shù)給其提供盲文標(biāo)簽，而 StateLens 則可以幫助他們識(shí)別動(dòng)態(tài)操作界面。

VizLens：可給盲人提供實(shí)時(shí)幫助

VizLens 是用于靜態(tài)物理操作界面的交互式屏幕閱讀器，它結(jié)合了按需眾包和實(shí)時(shí)計(jì)算機(jī)視覺技術(shù)。

當(dāng)盲人遇到某個(gè)無法閱讀的靜態(tài)界面如微波爐界面時(shí)，使用手機(jī)對(duì)操作界面進(jìn)行拍照，之后 VizLens 會(huì)把照片發(fā)送給網(wǎng)絡(luò)眾包人員。

視頻 |VizLens使用說明

眾包是一種通過互聯(lián)網(wǎng)多人協(xié)作獲得數(shù)據(jù)資源的方式，比如 Amazon Mechanical Turk 眾包網(wǎng)站就是借助遍布在互聯(lián)網(wǎng)上的自由職業(yè)者，通過他們完成一些細(xì)小工作，最終匯集在一起解決大型問題。

圖 | 用戶使用界面的操作過程（來源：受訪者）

眾包人員收到盲人的信號(hào)后，就會(huì)標(biāo)記界面布局、并注釋相關(guān)元素如按鈕或其他控件，隨后會(huì)描述每個(gè)元素，描繪出的圖片也會(huì)成為參考圖像，進(jìn)而幫助計(jì)算機(jī)視覺更好地工作。

之后，當(dāng)盲人要操作微波爐界面時(shí)，只需打開 VizLens 應(yīng)用程序，把手機(jī)攝像頭對(duì)準(zhǔn)界面，接著把手指懸停在界面上，這時(shí)VizLens 會(huì)使用基于 SURF（Speeded Up Robust Features，加速穩(wěn)健特征）的對(duì)象匹配技術(shù)，將眾包標(biāo)記的參考圖像、與實(shí)時(shí)捕獲的圖像進(jìn)行匹配，并跟蹤用戶的手指，進(jìn)而去做檢索、提供音頻反饋和指導(dǎo)用戶。

有了這種即時(shí)反饋，VizLens 就能實(shí)時(shí)地把界面內(nèi)容告訴給盲人。此外，VizLens 還權(quán)衡了眾包人類智能和計(jì)算機(jī)視覺的優(yōu)勢(shì)，因此它對(duì)物理界面的解釋能力，幾乎和人工一樣準(zhǔn)確，并且它和計(jì)算機(jī)視覺系統(tǒng)一樣快捷且低成本。

Facade：方便盲人獨(dú)立讀取的 3D 打印觸覺覆蓋層

一般來說，盲人經(jīng)常在家電上貼盲文標(biāo)簽。基于 VizLens，郭安鴻進(jìn)一步開發(fā)出 Facade，這是一款可讓盲人獨(dú)立讀取的 3D 打印觸覺覆蓋層。

盲人拍攝操作界面照片時(shí)，照片中需要包含絕對(duì)尺寸的標(biāo)記（fiducial marker），比如錢幣或者信用卡。拍攝以后，F(xiàn)acade 可通過照片來恢復(fù)按鈕標(biāo)簽尺寸信息。

接著，F(xiàn)acade 會(huì)用類似 VizLens 的眾包方法對(duì)圖像作出標(biāo)記。這時(shí)，盲人可以使用 Facade 應(yīng)用程序，來自定義觸覺覆蓋層，隨后 Facade 可據(jù)此生成 3D 模型，這時(shí)使用家用 3D 打印機(jī)，即可制造出觸覺覆蓋層。

研究中，郭安鴻經(jīng)歷幾次設(shè)計(jì)迭代，最終確定了最有效的覆層設(shè)計(jì)、材料配置和打印機(jī)設(shè)置，以使 3D 打印的覆層易于附著、讀取和按壓。

概括來說，VizLens 和 Facade 使盲人用戶可以訪問許多靜態(tài)界面。郭安鴻又在此基礎(chǔ)上，開發(fā)了StateLens，這是一種用于公眾信息顯示屏和支付終端等動(dòng)態(tài)觸摸屏。

StateLens：解決誤觸難題

盲人一旦觸碰屏幕，就很容易帶來誤操作，為解決此類觸摸難題，針對(duì)使用過程中的意外觸發(fā)因素，郭安鴻又設(shè)計(jì)出一套 3D 打印附件，即指帽和手寫筆。

使用中，盲人通過手勢(shì)激活所需的觸摸位置，無需直接觸摸屏幕即可瀏覽。據(jù)悉，StateLens 可在不修改觸摸屏基礎(chǔ)硬件或軟件的情況下，為公共觸摸屏帶來 “無風(fēng)險(xiǎn)使用”，這也是可訪問觸摸屏交互的核心。

圖 | 觸摸交互設(shè)計(jì)（來源：受訪者）

在對(duì) StateLens 進(jìn)行評(píng)估的過程中，他們首先通過 12 個(gè)觸摸屏設(shè)備和 70K 多幀的實(shí)驗(yàn)視頻，證明出 StateLens 可從固定視頻、手持視頻和網(wǎng)絡(luò)視頻中準(zhǔn)確地重建界面。隨后，再對(duì) 14 位盲人參與者做用戶研究。這時(shí)，他們發(fā)現(xiàn)這款人機(jī)交互系統(tǒng)，可使盲人訪問此前無法訪問的動(dòng)態(tài)觸摸屏。

“你是我的眼”：盲人自己也可使用微波爐

談及研發(fā)過程，郭安鴻表示：“我剛到匹茲堡時(shí)，不太熟悉當(dāng)?shù)赜脩艉徒M織，但我做的是和盲人有關(guān)的項(xiàng)目，想要接觸他們就更難。后來參加了一些當(dāng)?shù)氐?meet up 活動(dòng)，得知在一些圖書館里，有一些盲人在那里工作。通過這樣一個(gè)滾雪球的方式，我一點(diǎn)點(diǎn)地找到了一系列用戶。后面很多類似項(xiàng)目，我都可以去聯(lián)系他們，看他們是否有時(shí)間給到一些反饋意見、試用一下我們做的產(chǎn)品等等。”

他說：“除了和 IBM 盲人教授相處的經(jīng)歷之外，通過觀察圖書館盲人工作人員，也讓我更加關(guān)心盲人的生活，比如說他們?cè)谑褂梦⒉t這種物理操作界面或觸屏設(shè)備的時(shí)候，有很多不方便的地方。然后我就想到可以通過計(jì)算機(jī)視覺、眾包以及可穿戴設(shè)備等技術(shù)，設(shè)計(jì)一個(gè)系統(tǒng)，來幫助盲人用這種物理操作界面。”

系統(tǒng)初步完成后，郭安鴻在用戶給產(chǎn)品做測(cè)試的過程中，非常有個(gè)人成就感。一方面系統(tǒng)可給盲人生活提供實(shí)質(zhì)性幫助，另一方面他自己對(duì)人機(jī)交互領(lǐng)域的興趣和熱愛，也帶來了一定的現(xiàn)實(shí)影響。

而在做每個(gè)項(xiàng)目之前，郭安鴻都會(huì)邀請(qǐng)盲人用戶到實(shí)驗(yàn)室里，或去他們家里進(jìn)行訪談，收集他們的痛點(diǎn)后、再和團(tuán)隊(duì)進(jìn)行頭腦風(fēng)暴。研究過程中，也會(huì)得到盲人用戶的持續(xù)反饋，獲得新數(shù)據(jù)后再進(jìn)行迭代，最終完成系統(tǒng)設(shè)計(jì)。

比如 Facade，其過程涉及到 3D 打印。那么，它到底該怎么打盲文？怎么讓盲人摸到后就能識(shí)別？需不需要考慮多種顏色？如何讓有一點(diǎn)點(diǎn)視力的盲人得到更好的幫助？針對(duì)這些問題，郭安鴻在收集用戶反饋后，最終找到了最佳 3D 打印設(shè)置。

目前他正計(jì)劃把該成果放在網(wǎng)上，作為免費(fèi)應(yīng)用供盲人使用。另一方面，微軟、蘋果、谷歌也在做殘疾人相關(guān)的技術(shù)研究，郭安鴻之前曾和他們有過具體的合作，以后他想在這方面做更多拓展。

“畢業(yè)即教授”：28 歲拿到博士學(xué)位、并成為助理教授

郭安鴻是遼寧沈陽人，1992 年生人，小學(xué)畢業(yè)后就讀于東北育才少兒班，16 歲高中畢業(yè)，隨后北上并來到北京郵電大學(xué)讀書，20 歲時(shí)本科畢業(yè)。

本科畢業(yè)后，他來到佐治亞理工學(xué)院讀碩士，畢業(yè)后到卡內(nèi)基梅隆大學(xué)讀博，28 歲時(shí)博士畢業(yè)，2020 年是他博士畢業(yè)的年份，也是他在密西根大學(xué)獲得助理教授教職的年份。來密西根大學(xué)教學(xué)之前，他還在微軟、谷歌等公司參與過項(xiàng)目。

談及過往，他表示：“我在這個(gè)過程中遇到了很多非常好的導(dǎo)師，參與到一些非常開眼界的項(xiàng)目，然后才讓我一點(diǎn)點(diǎn)接觸到科研，并可以獨(dú)立開展這些有意思的研究。”

由于他本科是電子信息工程專業(yè)，期間曾參與一個(gè)用計(jì)算機(jī)視覺、來進(jìn)行手勢(shì)識(shí)別和臉部識(shí)別的控制游戲項(xiàng)目。后來他逐漸了解到人機(jī)交互，并且對(duì)此十分感興趣，于是申請(qǐng)了一些相關(guān)項(xiàng)目，并一步步走上研究軌跡。

當(dāng)問到是否初心不改、延續(xù)著一直以來的研究路線時(shí)，郭安鴻說：“我覺得研究路線其實(shí)一直都在變，因?yàn)闀r(shí)間也都在變，并且這些研究的學(xué)科也都在發(fā)展。不變的是我想要讓世界變得更好，希望做的項(xiàng)目實(shí)際上可以幫助到殘疾人，讓他們的生活變得更便利。”

原文標(biāo)題：90后北郵畢業(yè)生開發(fā)交互式屏幕閱讀器，盲人可獨(dú)立操作觸摸屏，甚至能在無人陪護(hù)下使用微波爐 | 專訪

文章出處：【微信公眾號(hào)：DeepTech深科技】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯：haq