作為 AI 界的領軍人物，谷歌云人工智能和機器學習首席科學家李飛飛一直致力于 AI 民主化，希望利用 AI 造福社會。在昨日舉行的清華大學—谷歌 AI 學術(shù)研討會上，李飛飛就介紹了自己在“AI + 醫(yī)療”領域的最新前沿工作。

和機器閱片等常見的 AI 醫(yī)療應用不同，李飛飛希望通過計算機視覺技術(shù)分析醫(yī)務人員的行為，然后給出反饋，幫助他們?yōu)椴』继峁└哔|(zhì)量的醫(yī)療服務，當然這里面目前還存在諸多的困難和挑戰(zhàn)。

李飛飛表示，這項研究的第一個落地應用就是監(jiān)督醫(yī)護人員清洗雙手，這是為什么？

以下為演講實錄：

感謝清華大學的邀請！作為谷歌AI中國的團隊，我們也很榮幸有機會在今、明兩天與大家共同探討基礎科學的學術(shù)話題。

今天我給大家分享的實際上是最近五六年以來一次比較新的探索，雖然大家知道我做的很多研究很多都是計算機領域機器學習的基礎科學，但是在應用方面，我們一直堅信“以人為本”的AI，需要對人類的福祉有所幫助。我個人最重視的一個應用領域是醫(yī)療健康領域，所以，此次講座我將給大家分享一下，最近兩年我們在醫(yī)療健康領域的一些探索，還希望聽取大家的意見。

這次演講的主題是 Illuminating the Dark Space: Towards Ambient Intelligence in AI-assisted Healthcare。

在開始之前，我想向眾多的合作方、學生、博士后，特別是在過去的五六年時間里，與我們在 AI 和醫(yī)療健康領域一起工作的臨床醫(yī)生表示感謝。除了以上與我列舉的這部分人員合作之外，我們還與世界各地的醫(yī)院合作，包括斯坦福大學Lucile Packard兒童醫(yī)院以及斯坦福大學醫(yī)學院。此外，我們還與猶他州山間麥凱迪醫(yī)院、舊金山Unlock高級中心合作。剛剛，我們還與上海交通大學以及瑞金醫(yī)院開展了一項令人興奮的研究合作。

▌何為Ambient Intelligence？

在中國和美國，醫(yī)療健康都是最受關(guān)注的問題。不斷提高的成本，是全球醫(yī)療健康的主要問題之一。雖然醫(yī)療成本不斷上漲，但質(zhì)量并不見得會一定提高。那我們又該如何提高醫(yī)療質(zhì)量呢？削減成本是目前主要的研究和提高的方向。但幸運的是，在過去的十年里，推進醫(yī)療方面的工作已取得了很大的成就。我們已經(jīng)看到藥物和疫苗上的改進。我們看到了醫(yī)療影像的改進，醫(yī)療設備等方面巨大的進步。正如我的同事 Jeff Dean 在上午的分享中提到的那樣，大數(shù)據(jù)和人工智能正推動醫(yī)療健康特別是診斷方面的進一步發(fā)展。此外，精密醫(yī)學、藥物發(fā)現(xiàn)相關(guān)的治療選擇，正基于機器學習、人工智能取得了新的進展。

但是，在過去幾年里我關(guān)注的醫(yī)療健康領域里，有一個往往被多數(shù)人忽略的領域，即醫(yī)療健康服務的物理空間。如果你考慮到了“醫(yī)療”這個詞，那么“療”這個詞則非常重要。因為，物理空間指的是臨床醫(yī)生、護士、醫(yī)生為治療病人的地方。我們需要在一定的物理環(huán)境下通過與患者的互動來提升醫(yī)療服務的水準。

因此，在這段時間里我們在斯坦福大學研究的方向是，賦予醫(yī)療物理空間“Ambient Intelligence”的屬性。讓我先來定義下“Ambient Intelligence”的概念。需要說明的是，我們并非第一個想到這個概念，而這個概念也并非特屬于醫(yī)療領域。因此，一個可接受的定義是：未來將是一個環(huán)境滿足需求的世界，多數(shù)情況下我們無需思考，智能也會縈繞空間，就像這個房間里的燈光。你感受不到科技的存在，但它就在那里，幫助我們更好地做一些事情。這就是我們所說的“Ambient Intelligence”。

那么，為什么我們需要變得智能？為什么我們需要提高醫(yī)療健康的服務質(zhì)量？這是因為，執(zhí)行和操作是臨床醫(yī)生在醫(yī)療服務中的一大痛點。在醫(yī)療領域，我們通過數(shù)百年知識的積累，需要在各種程序中完成預期的操作，而實際上，符合預期的操作并不總是發(fā)生。當出現(xiàn)小毛病、疏忽或錯誤時，就會涉及醫(yī)療成本。而這種成本，往往關(guān)乎人類的生命。

事實上，如果與一年內(nèi)車禍死亡的人數(shù)相比的話，醫(yī)療事故引發(fā)的死亡人數(shù)遠遠高于前者。所以，這對我們而言是一個非常重要的問題。如果 AI 可以用來幫助解決這個問題，那么這會是一個以人為本的應用。在美國，國家醫(yī)學研究所每隔幾年就會針對醫(yī)療服務中出現(xiàn)的人為錯誤進行深度研究。這是我們思考的起點。

為什么臨床醫(yī)生會在醫(yī)療中犯錯誤呢？這一切都是靠人的主觀意識完成的。在一個高度復雜的環(huán)境下，治療到什么樣的程度也是非常復雜，中間有很多步驟和程序，也有很多的不確定性和不可預測性。

而且，錯誤或疏忽等都會導致這些問題的發(fā)生。所以，當潛在的錯誤都可以預測時， 便意味著以上醫(yī)療問題都能得以解決。例如，病人可能會從床上掉下來，就需要通過行為活動傳感器以檢查患者是否墜落。再或者檢查是否需要進行手部衛(wèi)生的處理，與之相關(guān)的傳感器就被發(fā)明出來，試圖解決這個問題。此外，還有許多不同類型的本地化解決方案試圖縮小醫(yī)療健康質(zhì)量與服務之間的差距。

這關(guān)鍵就在于高度本地化。 每當出現(xiàn)一個錯誤或潛在的缺陷，就需要一個新的解決方案，且不具備可擴展性。這些本地化解決方案有很多不同的情景無法預測、監(jiān)控。

那么我們能做些什么呢？

有另一種方式可以考慮改善醫(yī)療健康的質(zhì)量。大概五年前，我和斯坦福的同事們就開始跟進一種新的技術(shù)浪潮——自動駕駛技術(shù)，而這種新技術(shù)似乎與醫(yī)療健康毫無關(guān)系。但事實上，它們是高度相關(guān)的。

先來看看自動駕駛汽車是如何工作的。

這是一款配備了智能傳感器的汽車，它能夠感知從行人，到汽車、物體、路標等的道路環(huán)境。而且，一旦它能感知環(huán)境，就會將信息輸入到后臺，你就能利用機器學習算法做出決定和預測，輔助汽車駕駛。所以，我們受到這種思維以及“Ambient Intelligence”概念的啟發(fā)，想要將 AI 注入到醫(yī)療服務的物理空間中，以便我們能夠協(xié)助執(zhí)行預期的步驟。

這是一個醫(yī)院單元的示意圖：由許多傳感器覆蓋，可以觀察不同的醫(yī)療服務情況。首先，我們需要通過傳感器的性能來改造物理空間，如果是一家（設備）傳統(tǒng)的醫(yī)院，它可能就沒有現(xiàn)代化的傳感器以幫助收集并將這些潛在的信息傳遞給算法。接下來，一旦我們收集了數(shù)據(jù)，我們需要辨認出在這個環(huán)境里的活動，無論是手術(shù)室、病人康復室，還是在養(yǎng)老院里。

而辨認出該醫(yī)療活動的關(guān)鍵因素在于對人類活動的理解進行可視化。現(xiàn)在，如果你來自計算機視覺領域，那么你可以將醫(yī)療應用與計算機視覺的基礎科學聯(lián)系起來。事實上，多年以來，理解人類活動一直是計算機視覺的核心問題。所以，我將展示一些可以幫醫(yī)療服務環(huán)境提升的基礎科學研究。最終我們希望整個醫(yī)療數(shù)據(jù)可以整合到整個醫(yī)療生態(tài)體系中。

▌讓AI注入醫(yī)療服務的每一環(huán)節(jié)

接下來的演講中，通過展示我們最近的一些工作，我將分享到以下三個研究方向：感知、人類活動識別，以及醫(yī)療生態(tài)體系。

1、感知

首先是感知，即將傳感器集成到物理空間，并構(gòu)建一個數(shù)據(jù)基礎架構(gòu)的過程。我們最近在《新英格蘭醫(yī)學雜志》上發(fā)表了一篇評論文，討論了我們在試點中所做的工作。

我想問在座的各位：在醫(yī)療服務環(huán)境中，基于“Ambient Intelligence”的感應系統(tǒng)最重要的部分是什么？

一是隱私，這是非常重要的。患者需要隱私，臨床醫(yī)生也需要隱私。

二是通過空間進行感知。剛才提到的本地化解決方案，其部分問題是因為太過于本地化了，很難在空間上擴展。

三是根據(jù)時間進行感知。如果人類來觀測活動，他們往往會感到厭倦。

所以，我們想利用機器并且將其變得可擴展。在過去的數(shù)十年里，現(xiàn)代傳感器已經(jīng)有了很大的發(fā)展。那些曾經(jīng)玩過 Xbox 視頻游戲的玩家，應該都知道深度傳感器，它可以用來保護隱私。

如何通過深度傳感器收集人類活動的數(shù)據(jù)？

在我們的兩所試點醫(yī)院（猶他州兒童醫(yī)院和承認重癥監(jiān)護病房）中，我們進行了深度傳感器的試用。（圖片上）能看到橙色的圓點就是深度傳感器，它們被安裝在醫(yī)院的病房中。例如，在兒童醫(yī)院，我們安裝了將近30個不同的傳感器，目的就是為了通過傳感器獲取更多的數(shù)據(jù)以理解人類的行為。

還有一種傳感器，它與前者相互補，主要作用于生理信息，即熱傳感器。通過深度傳感器可以看到病人輪廓；而通過熱傳感器收集信息，你不僅可以看到病人的輪廓，你實際上還能看到其他關(guān)鍵的物體，如氧氣管。這對病人而言是非常重要的。所以，在我們的試點研究中，我們同樣也會用到熱傳感器。

實際上，我們正在與舊金山的一所養(yǎng)老院合作，在養(yǎng)老院里安裝了熱傳感器和深度傳感器，以幫助醫(yī)生監(jiān)測老人的行為，幫助他們獨立生活。

其實，將傳感器投放在醫(yī)療環(huán)境中，數(shù)據(jù)基礎架構(gòu)的建設就已經(jīng)面臨著巨大挑戰(zhàn)。例如，持續(xù)的數(shù)據(jù)源就意味著大量數(shù)據(jù)的涌入。如果我們使用傳感器的原始分辨率，就會出現(xiàn)需要處理海量數(shù)據(jù)的問題。因此，我們進行了一些自適應抽樣以減少要處理的數(shù)據(jù)。

這些都是我們必須面臨著的技術(shù)挑戰(zhàn)。但我們依然保持著：對人類行為識別的計算機視覺研究的專注，也希望應對醫(yī)療環(huán)境下的種種挑戰(zhàn)，為計算機視覺的基礎科學研究做出貢獻。

2、人類活動識別

視覺智能，指的是在動態(tài)物理世界中發(fā)生的過程。談到動態(tài)這個概念，有很多的信息、事物轉(zhuǎn)瞬即逝。這意味著：我們有時會處理之前從未見過的情況。例如，在醫(yī)療環(huán)境這種復雜的情況下，這名患者在地板上睡了會兒，在床上又睡了會兒。這并非是我們通常利用數(shù)據(jù)進行訓練的場景。所以，這種問題有待解決。

在醫(yī)療場景中，我們還要處理物理空間的限制問題。比如一般計算機視覺處理的都是類似 YouTube 用戶上傳的視頻，但是醫(yī)院的空間有限，因此傳感器的裝設位置也受到限制，拍攝到的都是各種角度的畫面，非常具有挑戰(zhàn)性。同樣重要的是，我們還會面臨計算效率的問題，因為我們希望為臨床醫(yī)師提供實時反饋，因此計算效率極為重要。

人類活動識別是目前計算機視覺領域最受關(guān)注的方向之一，目前也已經(jīng)一些公開的數(shù)據(jù)集，而且也有很多非常不錯的工作。我想介紹的是，我們是如何把我們的工作和醫(yī)療健康應用相結(jié)合的。

第一個是發(fā)表在 ECCV 16 上的一篇論文，論述了如何處理不同視野角度的問題，這只是最基礎的。我們用到了很多深度學習結(jié)構(gòu)，比如這個用來做圖像分類的 Vanilla CNN 網(wǎng)絡。

比如，我們希望檢測臨床醫(yī)師在進出病人的房間前后是否都有洗手，就需要面臨很多的挑戰(zhàn)。首先，由于我們的傳感器大都安在天花板上，因此畫面的視角和正常的 YouTube 視頻畫面的視角非常不一樣。此外，人是運動的，因此我們安裝了很多傳感器，來對人進行追蹤。

我這里簡單介紹下視角問題。我們使用了 Vanilla CNN 網(wǎng)絡來做分類，唯一的變化就是我們增加了一個轉(zhuǎn)換網(wǎng)絡（transformer network），來解決訓練數(shù)據(jù)的視角問題。然后，為了解決多個傳感器的追蹤問題，我們將不同的個體進行 ground projection，然后將整個 3D 空間的投影結(jié)合起來，進行聯(lián)合優(yōu)化，以此來追蹤不同的個體。

為什么我們會選擇手部衛(wèi)生作為第一個應用案例呢？因為不注意手部衛(wèi)生是病人死亡的重要元兇之一。實際上，因為每年死于醫(yī)院獲得性感染的病人是交通事故致死人數(shù)的三倍。而大多數(shù)的醫(yī)院獲得性感染都是沒有注意手部衛(wèi)生導致的。這是醫(yī)療系統(tǒng)里的一個頑疾，解決這個問題的唯一辦法是派人到醫(yī)院里監(jiān)督醫(yī)生和護士，督促他們洗手。但是這種方法非常低效，不僅不能做到實施監(jiān)督，也非常耗費時間，而且人也可能會犯錯誤。

因此，通過使用深度學習和智能傳感器系統(tǒng)來對醫(yī)務人員進行追蹤，我們?nèi)〉昧朔浅：玫慕Y(jié)果。和人類檢查員相比，我們的方法觀察到與事實更接近。

我們的系統(tǒng)可以追蹤醫(yī)務人員的行動軌跡，而這些數(shù)據(jù)對醫(yī)療系統(tǒng)來說非常寶貴，不僅僅可以用來追蹤醫(yī)務人員洗手了沒，還可以用來優(yōu)化工作流程。

結(jié)合智能傳感器和計算機視覺識別系統(tǒng)，我們在手部衛(wèi)生檢測領域取得了鼓舞人心的結(jié)果。下一步，我們將會把反饋信號實時傳遞到周遭環(huán)境中，以此來督促大家洗手。不過，這還遠遠不夠，我們還需要理解各種不同的行為，觀察它們，最終幫助醫(yī)生和護士優(yōu)化治療和護理流程，這一點很重要。這就引出了我們的下一項工作：密集多標簽活動識別。

比如，在 ICU 里面經(jīng)常會涉及到測血壓、綁止血帶、用醫(yī)用究竟噴霧消毒等等一系列的動作，我們希望最終能夠映射所有的醫(yī)療活動，幫助醫(yī)生和護士更好地照顧病人。為了做到這一點，僅僅用 CNN 是不夠的，特別是對于靜態(tài)幀分類。我們真正想做的，是將其擴展到時域，利用視頻數(shù)據(jù)來識別人類活動。很多人都對此領域做出過相關(guān)貢獻，這里我就不展開了。

但是總的來說，利用視頻來進行活動識別的工作仍然很少，大部分工作都是活動分類，比如為潛水視頻打一個單一的標簽，或者是活動檢測，為視頻中不同活動分配相應的標簽。不過，時域理解仍然處在比較初始的水平，比如很多幀都沒有標簽，而且大多數(shù)的測試視頻都只有一種或少數(shù)幾種活動類型。在醫(yī)療健康領域，活動要密集的多，因此我們需要識別更多不同種類的活動。

為了解決這個問題，我們開發(fā)了基于 RNN 序列模型的網(wǎng)絡，使用 multilevel loss 來預測同時發(fā)生的活動。我們在 MultiHUMOS 數(shù)據(jù)集上進行了計算機視覺基準測試，與 Vanilla LSTM 或者 Stream CNN 相比，我們的算法在多活動標記領域取得了領先的成果。

我們正試著在 InterMountain 醫(yī)院的 ICU 里部署我們的模型，來觀察病人的活動。我們選擇從病人的四種活動開始，比如上床、下床等動作。知曉病人的活動水平，對醫(yī)務人員提供更好的醫(yī)療服務至關(guān)重要。

最后，我還想介紹下我們在減少訓練數(shù)據(jù)量方面的工作，這在養(yǎng)老院的應用中非常有用。人口老齡化是世界性的問題，我們真的需要做一些事情來幫助老人們。

我們和很多老年病患交談過，并確定了十幾種和老年人健康息息相關(guān)的行為。我們希望最終使用計算機視覺系統(tǒng)來識別他們的行為，幫助患者和醫(yī)生。舉例來說，跌倒對老年人說是一個大問題，它甚至有可能奪走老人的生命。我們正在嘗試解決跌倒檢測的問題，但是在這個領域，我們不可能收集到大量的訓練數(shù)據(jù)，因此我們的一個想法是使用自監(jiān)督學習系統(tǒng)，比如我們?nèi)ツ臧l(fā)布在 CVPR 上的一項工作。另外，我們還嘗試了遷移學習的想法。

3、醫(yī)療生態(tài)系統(tǒng)

最后，融入整個醫(yī)療生態(tài)系統(tǒng)也非常重要。為此，我們與斯坦福大學的其他小組展開合作，在為醫(yī)院賦能時，我們不僅考慮智能傳感器本身，還與病理學、放射學、醫(yī)療文獻、圖片等相結(jié)合。比如，我們和皮膚科醫(yī)生一起研究燒傷患者的圖像分割，又比如，我們也一直在尋找手術(shù)視頻來識別手術(shù)中的活動。

總的來說，這是一個非常新興的研究領域，它使用計算機視覺和機器學習算法來改善醫(yī)療保健服務，并幫助醫(yī)生和護士觀察病人活動，提高護理質(zhì)量，從挽救更多的生命。從感知到人類活動識別到生態(tài)系統(tǒng)，以及建立大型合作關(guān)系，未來還有許多工作要做。

希望有人能夠?qū)@一領域的研究感興趣。

謝謝大家！