來源：網(wǎng)絡(luò)大數(shù)據(jù)（ID:raincent_com）

摘要：這篇論文對(duì)于使用深度學(xué)習(xí)來改進(jìn)IoT領(lǐng)域的數(shù)據(jù)分析和學(xué)習(xí)方法進(jìn)行了詳細(xì)的綜述。

在物聯(lián)網(wǎng)時(shí)代，大量的感知器每天都在收集并產(chǎn)生著涉及各個(gè)領(lǐng)域的數(shù)據(jù)。

由于商業(yè)和生活質(zhì)量提升方面的訴求，應(yīng)用物聯(lián)網(wǎng)(IoT)技術(shù)對(duì)大數(shù)據(jù)流進(jìn)行分析是十分有價(jià)值的研究方向。

這篇論文對(duì)于使用深度學(xué)習(xí)來改進(jìn)IoT領(lǐng)域的數(shù)據(jù)分析和學(xué)習(xí)方法進(jìn)行了詳細(xì)的綜述。從機(jī)器學(xué)習(xí)視角，作者將處理IoT數(shù)據(jù)的方法分為IoT大數(shù)據(jù)分析和IoT流數(shù)據(jù)分析。論文對(duì)目前不同的深度學(xué)習(xí)方法進(jìn)行了總結(jié)，并詳細(xì)討論了使用深度學(xué)習(xí)方法對(duì)IoT數(shù)據(jù)進(jìn)行分析的優(yōu)勢(shì)，以及未來面臨的挑戰(zhàn)。

論文貢獻(xiàn)

為了更好的在IoT領(lǐng)域內(nèi)應(yīng)用深度學(xué)習(xí)方法，作者分析了IoT數(shù)據(jù)的關(guān)鍵特征和主要問題。

作者對(duì)于目前最先進(jìn)的深度學(xué)習(xí)方法及其在物聯(lián)網(wǎng)領(lǐng)域?qū)τ诖髷?shù)據(jù)和流數(shù)據(jù)的應(yīng)用進(jìn)行了詳細(xì)的總結(jié)。

作者對(duì)于目前應(yīng)用了深度學(xué)習(xí)方法的大量IoT應(yīng)用進(jìn)行了介紹，并且對(duì)不同類型的深度神經(jīng)網(wǎng)絡(luò)在各種IoT領(lǐng)域的應(yīng)用進(jìn)行了概括和對(duì)比。

強(qiáng)調(diào)了深度學(xué)習(xí)與物聯(lián)網(wǎng)應(yīng)用成功結(jié)合所面臨的挑戰(zhàn)和未來的研究方向。

論文結(jié)構(gòu)

物聯(lián)網(wǎng)數(shù)據(jù)特征及分析要求

IoT快速流數(shù)據(jù)

目前流數(shù)據(jù)分析都是基于數(shù)據(jù)并行計(jì)算或增量處理的框架，盡管這些技術(shù)減少了從流數(shù)據(jù)分析框架返回響應(yīng)的時(shí)間延遲，對(duì)于IoT應(yīng)用的嚴(yán)格時(shí)間要求，它們并不是最佳方案。

IoT需要在數(shù)據(jù)源附近的平臺(tái)(甚至是IoT設(shè)備自身)上進(jìn)行快速流數(shù)據(jù)分析，以達(dá)到實(shí)時(shí)或近實(shí)時(shí)性的要求，傳統(tǒng)的流數(shù)據(jù)分析方法則面臨著計(jì)算、存儲(chǔ)以及數(shù)據(jù)源能量方面的局限和挑戰(zhàn)。

IoT大數(shù)據(jù)

IoT大數(shù)據(jù)具有“6V”特點(diǎn)：

容量(Volume)：數(shù)據(jù)量是將數(shù)據(jù)集視為大數(shù)據(jù)、或傳統(tǒng)的大規(guī)模/超大數(shù)據(jù)的一個(gè)決定性因素，使用物聯(lián)網(wǎng)設(shè)備產(chǎn)生的數(shù)據(jù)量比以前要多得多，明顯符合這一特點(diǎn)。

速度(Velocity)：物聯(lián)網(wǎng)大數(shù)據(jù)產(chǎn)生和處理速率要足夠高，以支持實(shí)時(shí)大數(shù)據(jù)的可用性。鑒于這種高數(shù)據(jù)率，也證明了需要先進(jìn)的工具和技術(shù)分析才能有效地運(yùn)作。

多樣性(Variety)：一般來說，大數(shù)據(jù)有不同的形式和類型。這可能包括結(jié)構(gòu)化的、半結(jié)構(gòu)化的和非結(jié)構(gòu)化的數(shù)據(jù)。各種各樣的數(shù)據(jù)類型可以通過物聯(lián)網(wǎng)產(chǎn)生，如文本、音頻、視頻、傳感器數(shù)據(jù)等等。

真實(shí)性(Veracity)：真實(shí)性是指質(zhì)量，一致性，和數(shù)據(jù)的可信性，有真實(shí)性的數(shù)據(jù)才能進(jìn)行準(zhǔn)確的分析。這一點(diǎn)對(duì)于物聯(lián)網(wǎng)來說尤其重要，特別是那些群體感知數(shù)據(jù)。

易變性(Variability)：這個(gè)屬性是指數(shù)據(jù)流的速率不同。由于物聯(lián)網(wǎng)應(yīng)用的性質(zhì)，不同的數(shù)據(jù)生成組件可能會(huì)有不一致的數(shù)據(jù)流。此外，在特定時(shí)間，一個(gè)數(shù)據(jù)源的數(shù)據(jù)加載速率可能不同。例如，利用物聯(lián)網(wǎng)傳感器的停車服務(wù)應(yīng)用在高峰期的數(shù)據(jù)加載會(huì)達(dá)到峰值。

價(jià)值(Value)：價(jià)值是指大數(shù)據(jù)轉(zhuǎn)化成為有用的信息和內(nèi)容，為組織帶來競(jìng)爭(zhēng)優(yōu)勢(shì)。數(shù)據(jù)的價(jià)值的高度不僅僅取決于對(duì)數(shù)據(jù)的處理過程或服務(wù)，還取決于對(duì)待數(shù)據(jù)的方式。

數(shù)據(jù)流處理的主要障礙是缺少能部署在系統(tǒng)邊緣，甚至是IoT設(shè)備上的框架或算法。當(dāng)采用深度學(xué)習(xí)方法時(shí)，也要折衷考慮運(yùn)行在系統(tǒng)邊緣的網(wǎng)絡(luò)的深度和性能。

深度學(xué)習(xí)

與其他傳統(tǒng)機(jī)器學(xué)習(xí)方法相比，深度學(xué)習(xí)結(jié)構(gòu)在近幾年受到越來越廣泛的關(guān)注。

Google Trend顯示近幾年對(duì)深度學(xué)習(xí)的關(guān)注呈上升趨勢(shì)

深度學(xué)習(xí)整體訓(xùn)練機(jī)制

結(jié)構(gòu)

深度學(xué)習(xí)模型總結(jié)

1)卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)

CNN的核心結(jié)構(gòu)是卷積層，有一系列可學(xué)習(xí)的參數(shù)，稱作濾波器。訓(xùn)練過程中，濾波器在全圖按照卷積順序進(jìn)行移動(dòng)，計(jì)算輸入和濾波器的乘積，得到該濾波器的特征圖。CNN的另一個(gè)結(jié)構(gòu)是池化層，將輸入劃分成不重疊的區(qū)域，然后用每個(gè)區(qū)域的最大值作為輸出。CNN的最后一個(gè)結(jié)構(gòu)是ReLU激活函數(shù)層，既可以縮短訓(xùn)練時(shí)間，也能避免影響網(wǎng)絡(luò)的泛化能力。

CNN和DNN的主要區(qū)別在于CNN具有局部相連、權(quán)值共享的特性，因此在視覺任務(wù)中具有獨(dú)特的優(yōu)越性，并且降低了網(wǎng)絡(luò)的復(fù)雜性。

2)循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networks，RNN)

循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

RNN主要適用于輸入為序列(例如語音和文本)或時(shí)間序列的數(shù)據(jù)(傳感器數(shù)據(jù))。RNN的輸入既包括當(dāng)前樣例，也包括之前觀察的樣例。也就是說，時(shí)間為t-1時(shí)RNN的輸出會(huì)影響時(shí)間為t的輸出。RNN的每個(gè)神經(jīng)元都有一個(gè)反饋環(huán)，將當(dāng)前的輸出作為下一步的輸入。該結(jié)構(gòu)可以解釋為RNN的每個(gè)神經(jīng)元都有一個(gè)內(nèi)部存儲(chǔ)，保留了用之前輸入進(jìn)行計(jì)算得到的信息。

3)長(zhǎng)短時(shí)記憶(Long Short Term Memory，LSTM)

LSTM記憶單元結(jié)構(gòu)

LSTM是RNN的一種擴(kuò)展。LSTM中，每個(gè)神經(jīng)元除了有反饋環(huán)這一儲(chǔ)存信息的機(jī)制，還有用于控制神經(jīng)元信息通過的“遺忘門”、“輸入層門”及“輸出層門”，防止不相關(guān)的信息造成的擾動(dòng)。

4)自動(dòng)編碼器(Autoencoders，AE)

自編碼器網(wǎng)絡(luò)結(jié)構(gòu)

AE的輸入層和輸出層由一個(gè)或多個(gè)隱層相連接，其輸入和輸出神經(jīng)元數(shù)量相同。該網(wǎng)絡(luò)的目標(biāo)是通過用最簡(jiǎn)單的方式將輸入變換到輸出，以重建輸入信息。

5)變分自動(dòng)編碼器(Variational Autoencoders，VAE)

變分自動(dòng)編碼器結(jié)構(gòu)

VAE對(duì)數(shù)據(jù)結(jié)構(gòu)的假設(shè)并不強(qiáng)，是較為流行的生成模型框架。它很適用于IoT解決方案，因?yàn)镮oT數(shù)據(jù)呈現(xiàn)的多樣性，以及標(biāo)記數(shù)據(jù)的缺失。模型由兩個(gè)子網(wǎng)絡(luò)組成：一個(gè)生成樣例，一個(gè)進(jìn)行假設(shè)推理。

6)生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Networks，GAN)

生成對(duì)抗網(wǎng)絡(luò)概念圖

GAN由兩個(gè)神經(jīng)網(wǎng)絡(luò)組成，一個(gè)生成網(wǎng)絡(luò)，一個(gè)判別網(wǎng)絡(luò)，共同工作來產(chǎn)生合成的、高質(zhì)量數(shù)據(jù)。生成器根據(jù)數(shù)據(jù)在訓(xùn)練數(shù)據(jù)集中的分布生成新數(shù)據(jù)，判別器學(xué)習(xí)判別真實(shí)數(shù)據(jù)和生成器生成的假數(shù)據(jù)。GAN的目標(biāo)函數(shù)是基于極大極小博弈的，一個(gè)網(wǎng)絡(luò)要最大化目標(biāo)函數(shù)，而另一個(gè)要最小化目標(biāo)函數(shù)。

7)受限玻爾茲曼機(jī)(Restricted Boltzmann Machine，RBM)

受限玻爾茲曼機(jī)結(jié)構(gòu)

RBM是一種隨機(jī)神經(jīng)網(wǎng)絡(luò)，由兩層組成，一層是包含輸入的可見層，一層是含有隱變量的隱藏層。RBM中的限制是指同一層的任意兩個(gè)神經(jīng)元互不相連。除此之外，偏置單元與所有的可見層和隱藏層單元都相連。

8)深度信念網(wǎng)絡(luò)(Deep Belief Network，DBN)

深度信念網(wǎng)絡(luò)結(jié)構(gòu)圖

虛線表示特征提取通道，實(shí)現(xiàn)表示生成通道。DBN是一種生成神經(jīng)網(wǎng)絡(luò)，由一個(gè)可見層可幾個(gè)隱層組成。可以提取訓(xùn)練數(shù)據(jù)的多層表示，并且對(duì)輸入數(shù)據(jù)進(jìn)行重構(gòu)。DBN的訓(xùn)練過程是逐層訓(xùn)練，將每一層視作一個(gè)RBM，在前一層的基礎(chǔ)上進(jìn)行訓(xùn)練。這樣的機(jī)制使DBN成為深度學(xué)習(xí)中有效且快速的網(wǎng)絡(luò)之一。

9)階梯網(wǎng)絡(luò)(Ladder Network)

兩層階梯網(wǎng)絡(luò)

階梯網(wǎng)絡(luò)在無監(jiān)督和半監(jiān)督學(xué)習(xí)任務(wù)中達(dá)到了先進(jìn)的水平。階梯網(wǎng)絡(luò)由兩個(gè)編碼器和一個(gè)解碼器組成。編碼器作為網(wǎng)絡(luò)的有監(jiān)督部分，解碼器進(jìn)行無監(jiān)督學(xué)習(xí)。訓(xùn)練目標(biāo)是最小化有監(jiān)督部分和無監(jiān)督網(wǎng)絡(luò)的損失和。

快速實(shí)時(shí)深度學(xué)習(xí)結(jié)構(gòu)

使用深度學(xué)習(xí)模型對(duì)數(shù)據(jù)流進(jìn)行快速實(shí)時(shí)的處理仍在起步階段。

早期工作：

【1】是對(duì)超限學(xué)習(xí)機(jī)（Extreme learning machine，ELM）的擴(kuò)展——OS-ELM，將一個(gè)實(shí)時(shí)序列學(xué)習(xí)算法應(yīng)用到單隱層的前饋神經(jīng)網(wǎng)絡(luò)。

【2】Ren等人提出的Faster-RCNN在圖片中的目標(biāo)檢測(cè)中達(dá)到了接近實(shí)時(shí)的速度。他們的目標(biāo)檢測(cè)框架的運(yùn)行時(shí)間為5-17fps。然而對(duì)于圖像處理任務(wù)，真正的實(shí)時(shí)效果需要系統(tǒng)的處理和分析時(shí)間達(dá)到30fps或更高。

【3】Redmon等人提出了YOLO，將目標(biāo)檢測(cè)的速度提高到45fps，以及更小版本的YOLO，速度更是達(dá)到了155fps，已經(jīng)適用于智能相機(jī)。

深度學(xué)習(xí)與其他方法結(jié)合

1）深度增強(qiáng)學(xué)習(xí)（Deep Reinforcement Learning）

深度增強(qiáng)學(xué)習(xí)是將增強(qiáng)學(xué)習(xí)和深度神經(jīng)網(wǎng)絡(luò)相結(jié)合的產(chǎn)物。其目標(biāo)是創(chuàng)建能自主學(xué)習(xí)的個(gè)體（agent），通過建立成功的交互過程以獲得長(zhǎng)期的最大正反饋（reward）。

當(dāng)環(huán)境（environment）可由大量狀態(tài)表示時(shí)，傳統(tǒng)的增強(qiáng)學(xué)習(xí)方法稍顯不足，而深度神經(jīng)網(wǎng)絡(luò)則彌補(bǔ)了這一點(diǎn)。在IoT領(lǐng)域，【4】使用深度增強(qiáng)學(xué)習(xí)實(shí)現(xiàn)了半監(jiān)督條件下智能校園環(huán)境中的定位。

2）遷移學(xué)習(xí)與深度模型（Transfer Learning with Deep Models）

遷移學(xué)習(xí)主要應(yīng)用在域適應(yīng)和多任務(wù)學(xué)習(xí)的領(lǐng)域。遷移學(xué)習(xí)對(duì)于許多難以收集訓(xùn)練數(shù)據(jù)的IoT應(yīng)用來說都是一個(gè)可用的解決方案。

例如訓(xùn)練一個(gè)通過智能手機(jī)的低功耗藍(lán)牙和Wifi fingerpringting的定位系統(tǒng)，同一時(shí)間，在同一地點(diǎn)的RSSI值（Received Signal Strength Indication接收的信號(hào)強(qiáng)度指示）對(duì)于不同的平臺(tái)來說可能不同。

如果我們對(duì)一個(gè)平臺(tái)訓(xùn)練了一個(gè)模型，該模型可以遷移到其他平臺(tái)，而不需要對(duì)新平臺(tái)再收集訓(xùn)練數(shù)據(jù)。

3）深度學(xué)習(xí)與在線學(xué)習(xí)算法

由于IoT的應(yīng)用產(chǎn)生的數(shù)據(jù)流會(huì)上傳到云平臺(tái)來分析，在線機(jī)器學(xué)習(xí)算法的角色變得越來越重要，因?yàn)橛?xùn)練模型需要隨數(shù)據(jù)的增加而更新。

框架

近幾年，隨著深度學(xué)習(xí)在各個(gè)領(lǐng)域的應(yīng)用熱潮，各種深度學(xué)習(xí)框架也應(yīng)運(yùn)而生。

Tensorflow： Tensorflow是機(jī)器學(xué)習(xí)系統(tǒng)的開源庫，可以使用多種深度神經(jīng)網(wǎng)絡(luò)。

Tensorflow使用圖表示來建立神經(jīng)網(wǎng)絡(luò)模型。開發(fā)人員也在使用TensorBoard，能可視化神經(jīng)網(wǎng)絡(luò)模型，并且觀測(cè)學(xué)習(xí)過程，包括參數(shù)更新。

Torch： Torch是一個(gè)機(jī)器學(xué)習(xí)開源框架，包含大量深度學(xué)習(xí)算法，可用于深度神經(jīng)網(wǎng)絡(luò)模型的簡(jiǎn)單開發(fā)。它基于Lua語言開發(fā)，是訓(xùn)練深度學(xué)習(xí)算法的輕量級(jí)快速框架。支持在CPU和GPU上開發(fā)機(jī)器學(xué)習(xí)模型，并且提供了訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的并行計(jì)算庫。

Caffe： Caffe是一個(gè)深度學(xué)習(xí)算法和參考模型集的開源框架。基于C++，支持CUDA進(jìn)行GPU運(yùn)算，并且提供Python和Matlab接口。Caffe通過配置文件定義模型，而不需要在源代碼中定義參數(shù)，將模型表示和實(shí)現(xiàn)分開。

深度學(xué)習(xí)框架對(duì)比

深度學(xué)習(xí)在IoT領(lǐng)域的應(yīng)用

IoT應(yīng)用和基礎(chǔ)服務(wù)。

基礎(chǔ)服務(wù)

1）圖像識(shí)別：

IoT的一大部分應(yīng)用場(chǎng)景中，輸入深度學(xué)習(xí)的數(shù)據(jù)是圖片或視頻。每天，每個(gè)人都在用手機(jī)的高清攝像頭拍攝者圖片和視頻，除此之外，家居、校園或工廠也在使用智能攝像頭。所以，圖像識(shí)別、分類、目標(biāo)檢測(cè)是這類設(shè)備的基礎(chǔ)應(yīng)用。

2）語音識(shí)別

隨著智能手機(jī)和可穿戴設(shè)備的普及，語音識(shí)別也成了人們和自己的設(shè)備互動(dòng)的一種自然而方便的方式。Price等人【5】搭建了一個(gè)專用的低功耗深度學(xué)習(xí)芯片，用于自動(dòng)語音識(shí)別。這種特制芯片的能量消耗要比目前手機(jī)上運(yùn)行的語音識(shí)別工具的能量消耗低100倍。

3）室內(nèi)定位

室內(nèi)定位在IoT領(lǐng)域有許多應(yīng)用，例如智能家居、智能校園、或智能醫(yī)院。例如DeepFi系統(tǒng)，在線下訓(xùn)練階段，通過深度學(xué)習(xí)用之前儲(chǔ)存的WiFi通道狀態(tài)信息數(shù)據(jù)來訓(xùn)練網(wǎng)絡(luò)權(quán)重，在線上定位階段通過fingerpringting來測(cè)定用戶位置。

4）生理和心理狀態(tài)檢測(cè)

IoT與深度學(xué)習(xí)的結(jié)合也應(yīng)用在了檢測(cè)各種生理或心理狀態(tài)中，例如姿態(tài)、活動(dòng)和情緒。許多IoT應(yīng)用都在交付的服務(wù)中整合了人體姿態(tài)估計(jì)或活動(dòng)識(shí)別模塊，例如智能家居、智能汽車、XBox、健康、運(yùn)動(dòng)等等。

5）安全和隱私

安全和隱私是所有IoT領(lǐng)域應(yīng)用所關(guān)注的一個(gè)重要問題。事實(shí)上，系統(tǒng)功能的有效性取決于是否能保護(hù)機(jī)器學(xué)習(xí)工具和處理過程不受攻擊。虛假數(shù)據(jù)注入（False Data Injection，F(xiàn)DI）是數(shù)據(jù)驅(qū)動(dòng)系統(tǒng)的一種常見攻擊類型。

He等人【6】提出用條件DBN從歷史數(shù)據(jù)中提取FDI特征，然后利用這些特征進(jìn)行實(shí)時(shí)攻擊檢測(cè)。作為物聯(lián)網(wǎng)數(shù)據(jù)和應(yīng)用程序的一大貢獻(xiàn)者，智能手機(jī)也面臨著黑客攻擊的威脅。

Yuan等人【7】提出用深度學(xué)習(xí)框架來鑒別安卓應(yīng)用中的惡意軟件，準(zhǔn)確率達(dá)到了96.5%。深度機(jī)器學(xué)習(xí)方法的安全性和隱私保護(hù)是能否在IoT領(lǐng)域應(yīng)用的最重要因素。

Shokri等人【8】提出了一種解決分布式學(xué)習(xí)的深度學(xué)習(xí)模型隱私保護(hù)問題的方法。

應(yīng)用

1）智能家居：

智能家居的概念涉及廣泛的基于IoT的應(yīng)用，它有助于提高家庭的能源使用和效率，以及居住者的便利性、生產(chǎn)力和生活質(zhì)量。如今，家電可以與互聯(lián)網(wǎng)連接，提供智能服務(wù)。例如微軟和 Liebherr的一個(gè)合作項(xiàng)目，對(duì)從冰箱內(nèi)收集的信息應(yīng)用了Cortana 深度學(xué)習(xí)。這些分析和預(yù)測(cè)可以幫助家庭更好地控制他們的家庭用品和開支，并結(jié)合其他外部數(shù)據(jù)，可用于監(jiān)測(cè)和預(yù)測(cè)健康趨勢(shì)。

2）智慧城市：

智能城市服務(wù)跨越多個(gè)物聯(lián)網(wǎng)領(lǐng)域，如交通、能源、農(nóng)業(yè)等。智慧城市的一個(gè)重要問題是預(yù)測(cè)群體移動(dòng)模式，Song等人【9】開發(fā)了基于深度神經(jīng)網(wǎng)絡(luò)模型的系統(tǒng)，在城市級(jí)別實(shí)現(xiàn)了這一目標(biāo)。Liang等人【10】基于RNN模型搭建了實(shí)時(shí)群體密度預(yù)測(cè)系統(tǒng)，利用移動(dòng)手機(jī)用戶的通信數(shù)據(jù)對(duì)交通站的群體密度進(jìn)行預(yù)測(cè)。廢物管理和垃圾分類也是智慧城市的一個(gè)相關(guān)任務(wù)，可以通過基于視覺分類任務(wù)的CNN模型來實(shí)現(xiàn)自動(dòng)化。Amato等人【11】基于智能相機(jī)和深度CNN開發(fā)了檢測(cè)停車場(chǎng)的使用中和空閑車位的系統(tǒng)。

3）能源：

消費(fèi)者與智能電網(wǎng)之間的雙向通信是IoT大數(shù)據(jù)的來源。能源供應(yīng)商希望學(xué)習(xí)當(dāng)?shù)氐哪茉聪M(fèi)模式、預(yù)測(cè)需求，并根據(jù)實(shí)時(shí)分析做出適當(dāng)?shù)臎Q定。在智能電網(wǎng)方面，從太陽能、風(fēng)能或其他類型的自然可持續(xù)能源中預(yù)測(cè)電力是一個(gè)活躍的研究領(lǐng)域，深度學(xué)習(xí)在這一領(lǐng)域的許多應(yīng)用中越來越多地被使用。

4）智能交通系統(tǒng)：

來自智能交通系統(tǒng)（ITS）的數(shù)據(jù)是大數(shù)據(jù)的另一個(gè)數(shù)據(jù)源。Ma等人【12】采用RBM和RNN結(jié)構(gòu)設(shè)計(jì)了一個(gè)交通網(wǎng)絡(luò)分析系統(tǒng)，模型輸入是參與該系統(tǒng)的出租車GPS數(shù)據(jù)。該系統(tǒng)通過一小時(shí)內(nèi)的累積數(shù)據(jù)預(yù)測(cè)交通擁堵的準(zhǔn)確率高達(dá)88%。ITS也帶動(dòng)了交通標(biāo)志檢測(cè)和識(shí)別的發(fā)展，這一技術(shù)在自動(dòng)駕駛、輔助駕駛系統(tǒng)中都有很重要的應(yīng)用。除此之外，許多初創(chuàng)公司應(yīng)用深度學(xué)習(xí)來完善自動(dòng)駕駛汽車系統(tǒng)的檢測(cè)行人、交通標(biāo)志、路障等任務(wù)。

5）醫(yī)療和健康：

IoT結(jié)合深度學(xué)習(xí)也在為個(gè)人和組織提供醫(yī)療和健康方案中得到應(yīng)用。例如，開發(fā)基于移動(dòng)應(yīng)用程序的精確測(cè)量飲食攝入量的解決方案，可以幫助提升個(gè)人健康和幸福感。Liu等人【13】采用CNN開發(fā)了識(shí)別食物圖片和相關(guān)信息的系統(tǒng)。用深度學(xué)習(xí)對(duì)醫(yī)學(xué)圖片進(jìn)行分類和分析是醫(yī)療領(lǐng)域的研究熱點(diǎn)。Pereira等人【14】通過CNN識(shí)別手寫圖片來鑒定早期帕金森癥。除此之外，深度學(xué)習(xí)與IoT的結(jié)合在聲音異常檢測(cè)、乳腺血管疾病檢測(cè)中也得到了應(yīng)用

6）農(nóng)業(yè)：

生產(chǎn)健康作物和發(fā)展有效的種植方式是健康社會(huì)和可持續(xù)環(huán)境的要求。使用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行植物病害識(shí)別是一個(gè)可行的解決方案。深度學(xué)習(xí)也被用于遙感，進(jìn)行土地和作物的檢測(cè)與分類。研究顯示，使用CNN進(jìn)行作物識(shí)別準(zhǔn)確率達(dá)到了85%，相比于MLP或隨機(jī)森林有很大提高。自動(dòng)耕作中的預(yù)測(cè)和檢測(cè)任務(wù)也應(yīng)用了深度學(xué)習(xí)。

7）教育：

IoT和深度學(xué)習(xí)的結(jié)合有助于提高教育系統(tǒng)的效率。移動(dòng)設(shè)備可以收集學(xué)生的數(shù)據(jù)，深度分析方法可以用來預(yù)測(cè)和解釋學(xué)生的進(jìn)步和成就。增強(qiáng)現(xiàn)實(shí)技術(shù)結(jié)合可穿戴設(shè)備和移動(dòng)設(shè)備也是深度學(xué)習(xí)在這一領(lǐng)域的潛在應(yīng)用，激發(fā)學(xué)生的興趣，讓教育學(xué)習(xí)方法更有效。此外，深度學(xué)習(xí)可以用于個(gè)性化推薦模塊，向教育者推薦更多相關(guān)內(nèi)容。利用深度學(xué)習(xí)對(duì)大型開放式網(wǎng)絡(luò)課程數(shù)據(jù)（MOOC）進(jìn)行分析，可以幫助學(xué)生更好的學(xué)習(xí)。除此之外，利用CNN監(jiān)測(cè)教室占用率是深度學(xué)習(xí)在教育方面的另一個(gè)應(yīng)用。

8）工業(yè)：

對(duì)于工業(yè)部門來說，IoT和網(wǎng)絡(luò)物理系統(tǒng)（CPS）是推動(dòng)制造技術(shù)邁向智能制造（工業(yè)4.0）的核心要素。工業(yè)中的廣泛應(yīng)用均可以受益于深度學(xué)習(xí)模型的引入。通過將裝配線中生產(chǎn)車輛的圖像及其注釋都輸入深度學(xué)習(xí)系統(tǒng)，可以利用AlexNet、GoogLeNet等網(wǎng)絡(luò)實(shí)現(xiàn)視覺檢測(cè)。

9）政府：

許多涉及市政的各種任務(wù)需要精確的分析和預(yù)測(cè)。【15】利用美國地質(zhì)調(diào)查局網(wǎng)絡(luò)的歷史數(shù)據(jù)訓(xùn)練LSTM網(wǎng)絡(luò)，可進(jìn)行地震預(yù)測(cè)。【16】利用極端氣候的圖片訓(xùn)練CNN，進(jìn)行極端氣候事件探測(cè)。此外，城市的基礎(chǔ)設(shè)施，如道路、供水管道等的損害檢測(cè)，是IoT和深度學(xué)習(xí)可以為政府提供便利的另一個(gè)領(lǐng)域。

10）運(yùn)動(dòng)和娛樂：

運(yùn)動(dòng)分析近年來發(fā)展迅速，為團(tuán)隊(duì)或運(yùn)動(dòng)員帶來了競(jìng)爭(zhēng)優(yōu)勢(shì)?！?7】提出了深度學(xué)習(xí)方法打造智能籃球場(chǎng)。【18】采用RNN識(shí)別NBA比賽中的球員違規(guī)。【19】結(jié)合了可穿戴設(shè)備傳感數(shù)據(jù)和CNN進(jìn)行排球運(yùn)動(dòng)員活動(dòng)識(shí)別?！?0】采用層級(jí)結(jié)構(gòu)的LSTM模型研究排球隊(duì)的整體活動(dòng)。

11）零售：

隨著移動(dòng)設(shè)備的普及，網(wǎng)上購物的人數(shù)大大增加了。最近出現(xiàn)了通過視覺搜索技術(shù)向產(chǎn)品圖像檢索的轉(zhuǎn)變。CNN一直用于服裝和時(shí)尚市場(chǎng)的視覺搜索，幫助你在網(wǎng)店中找到在電影中看到的或在街上看到的商品。IoT結(jié)合深度學(xué)習(xí)可以搭建視覺購物輔助系統(tǒng)，包括智能眼鏡、手套和購物車，目的是幫助視障人士購物。此外，智能購物車的開發(fā)可以實(shí)現(xiàn)實(shí)時(shí)自結(jié)賬的功能。

IoT設(shè)備上的深度學(xué)習(xí)

深度學(xué)習(xí)在語音和視頻方面的成功為IoT的基礎(chǔ)服務(wù)打下了良好的基礎(chǔ)，如何將它們的模型和方法部署在資源受限的設(shè)備上成了IoT領(lǐng)域的一個(gè)重要研究方向。到目前為止，深度學(xué)習(xí)方法難以應(yīng)用于IoT和資源受限設(shè)備，因?yàn)樗鼈冃枰罅康馁Y源來運(yùn)行，如處理器、電池能量和存儲(chǔ)器。

幸運(yùn)的是，近期研究顯示，深度神經(jīng)網(wǎng)絡(luò)的許多參數(shù)是冗余的，有時(shí)也不需要大量的隱層。有效的去除這些參數(shù)或?qū)涌梢詼p少網(wǎng)絡(luò)的復(fù)雜度，同時(shí)對(duì)輸出不會(huì)有太大的影響。

方法和技術(shù)

1）網(wǎng)絡(luò)壓縮

在資源受限設(shè)備上應(yīng)用深度神經(jīng)網(wǎng)絡(luò)的方法之一是網(wǎng)絡(luò)壓縮，將密集的網(wǎng)絡(luò)轉(zhuǎn)化為一個(gè)稀疏的網(wǎng)絡(luò)。主要局限性在于，它不足以支持所有類型的網(wǎng)絡(luò)。它只適用于具有這種稀疏性的特定網(wǎng)絡(luò)模型。另外，修剪多余的和不重要的參數(shù)或神經(jīng)元，是在資源受限的設(shè)備上運(yùn)行深度神經(jīng)網(wǎng)絡(luò)的另一個(gè)重要途徑。

深度神經(jīng)網(wǎng)絡(luò)剪枝整體概念圖

2）近似計(jì)算：

近似計(jì)算是實(shí)現(xiàn)在IoT設(shè)備上部署機(jī)器學(xué)習(xí)工具的另一種方法，并有助于主機(jī)設(shè)備的節(jié)能。在許多IoT應(yīng)用中，機(jī)器學(xué)習(xí)的輸出不一定是精確的，而是在可接受的范圍內(nèi)提供所需的質(zhì)量。實(shí)際上，將深度學(xué)習(xí)模型與近似計(jì)算相結(jié)合，可以為資源受限設(shè)備提供更有效的深度學(xué)習(xí)模型。

3）加速器：

設(shè)計(jì)特定的硬件和電路來優(yōu)化IoT設(shè)備中深度學(xué)習(xí)模型的能量效率和內(nèi)存占用是另一個(gè)活躍的研究方向。目前已有工作為DNN和CNN設(shè)計(jì)加速器，并且應(yīng)用Post-CMOS技術(shù)進(jìn)行電子自旋加速。

4）微處理器：

除了之前所提方法，開發(fā)具有強(qiáng)深度學(xué)習(xí)能力的小尺寸處理器也是研究熱點(diǎn)。微處理器的設(shè)計(jì)尺寸在一立方毫米的范圍內(nèi)，可以用電池驅(qū)動(dòng)，進(jìn)行深度神經(jīng)網(wǎng)絡(luò)分析只消耗大約300毫瓦。通過這種技術(shù)，許多對(duì)時(shí)間要求較高的IoT應(yīng)用程序可以在設(shè)備上執(zhí)行決策，而不是將數(shù)據(jù)發(fā)送到高性能計(jì)算機(jī)，等待它們的響應(yīng)。

IoT的霧和云中心深度學(xué)習(xí)

最近，人們提出了霧計(jì)算，使計(jì)算和分析更接近終端用戶和設(shè)備，而不是僅僅停留在云計(jì)算上。實(shí)驗(yàn)表明，通過對(duì)霧計(jì)算節(jié)點(diǎn)進(jìn)行數(shù)據(jù)分析，可以避免向遙遠(yuǎn)的云節(jié)點(diǎn)傳輸大量原始數(shù)據(jù)，從而提高整體性能。還可以在一定程度上進(jìn)行實(shí)時(shí)分析，因?yàn)殪F計(jì)算在本地，靠近數(shù)據(jù)源。

一些用于在霧或云上使用深度學(xué)習(xí)和服務(wù)的IoT領(lǐng)域的產(chǎn)品

技術(shù)和平臺(tái)

盡管在霧計(jì)算架構(gòu)上引入了深度學(xué)習(xí)分析，云計(jì)算仍然是許多無法在霧計(jì)算中處理的IoT應(yīng)用的唯一可行的解決方案。因此，設(shè)計(jì)的可擴(kuò)展的和高性能的云中心的DNN模型和算法，對(duì)大量的IoT數(shù)據(jù)進(jìn)行分析，仍然是一個(gè)重要的研究領(lǐng)域。

除了在云平臺(tái)上托管可擴(kuò)展的深度學(xué)習(xí)模型基礎(chǔ)設(shè)施的進(jìn)步，還需要研究使深度學(xué)習(xí)模型通過API訪問的機(jī)制和方法，以便容易地集成到IoT應(yīng)用程序中。

在云平臺(tái)中作為服務(wù)的深度學(xué)習(xí)模型

挑戰(zhàn)

在霧計(jì)算節(jié)點(diǎn)上進(jìn)行深度學(xué)習(xí)分析時(shí)，也會(huì)面臨一些挑戰(zhàn)：

深度學(xué)習(xí)服務(wù)發(fā)現(xiàn)：設(shè)備需要通過深度學(xué)習(xí)分析的某種擴(kuò)展服務(wù)發(fā)現(xiàn)協(xié)議，來識(shí)別適當(dāng)?shù)姆治鎏峁┱叩膩碓础?/p>

深度學(xué)習(xí)模型和任務(wù)分布：在霧節(jié)點(diǎn)之間劃分深度學(xué)習(xí)模型和任務(wù)的執(zhí)行，以及在可用節(jié)點(diǎn)之間優(yōu)化數(shù)據(jù)流分配，對(duì)于時(shí)間敏感的應(yīng)用程序是至關(guān)重要的。

設(shè)計(jì)因素：研究如何霧計(jì)算環(huán)境的設(shè)計(jì)因素，以及在這種環(huán)境中部署深度學(xué)習(xí)模型如何影響分析服務(wù)的質(zhì)量是很有必要的。

移動(dòng)端：在設(shè)計(jì)終端輔助的深度學(xué)習(xí)分析系統(tǒng)時(shí)，需要考慮移動(dòng)端計(jì)算環(huán)境的動(dòng)態(tài)性，因?yàn)橐苿?dòng)設(shè)備可能會(huì)加入或離開系統(tǒng)。

深度學(xué)習(xí)帶來的IoT挑戰(zhàn)，以及未來的研究方向

挑戰(zhàn)

1）缺少大型IoT數(shù)據(jù)集：

缺乏可用的實(shí)際IoT應(yīng)用大數(shù)據(jù)集將深度學(xué)習(xí)模型引入IoT的一個(gè)主要障礙，因?yàn)樯疃葘W(xué)習(xí)需要更多的數(shù)據(jù)來實(shí)現(xiàn)更高的精度。此外，更多的數(shù)據(jù)也可以防止模型過度擬合。

2）預(yù)處理：

許多深度學(xué)習(xí)方法需要對(duì)數(shù)據(jù)進(jìn)行預(yù)處理以產(chǎn)生更好的結(jié)果，對(duì)于IoT應(yīng)用，預(yù)處理會(huì)更復(fù)雜，因?yàn)橄到y(tǒng)處理的是來自不同數(shù)據(jù)源的數(shù)據(jù)，可能有多種格式和分布，而且還可能有數(shù)據(jù)丟失。

3）安全和隱私：

確保數(shù)據(jù)安全和隱私是許多IoT應(yīng)用的一個(gè)主要問題，因?yàn)镮oT大數(shù)據(jù)將通過互聯(lián)網(wǎng)進(jìn)行分析，因此世界各地都有可能看得到。此外，深度學(xué)習(xí)訓(xùn)練模型也容易受到惡意攻擊，如虛假數(shù)據(jù)注入或?qū)剐詷颖据斎?，其中IoT系統(tǒng)的許多功能或非功能性要求可能無法得到保證。

4）IoT大數(shù)據(jù)”6V“特性：

Volume（數(shù)據(jù)量）對(duì)于深度學(xué)習(xí)模型的時(shí)間消耗和結(jié)構(gòu)復(fù)雜性提出了很大的挑戰(zhàn)。并且數(shù)據(jù)量巨大也帶來了包括噪聲和未標(biāo)注數(shù)據(jù)的挑戰(zhàn)。

Variety（多樣性）帶來了管理不同數(shù)據(jù)源之間沖突的挑戰(zhàn)。在數(shù)據(jù)源沒有沖突的情況下，深度學(xué)習(xí)能夠有效處理異質(zhì)數(shù)據(jù)。

Velocity（速率）帶來了高速處理和分析數(shù)據(jù)的要求，增強(qiáng)深度學(xué)習(xí)的在線學(xué)習(xí)和序列學(xué)習(xí)的技術(shù)仍需進(jìn)一步研究。

Veracity（可信度），當(dāng)輸入數(shù)據(jù)不是來自可信的數(shù)據(jù)源時(shí)，IoT的大數(shù)據(jù)分析則是無用的。

Variability（可變性），IoT大數(shù)據(jù)的流速可變性對(duì)在線分析提出了挑戰(zhàn)。

Value（價(jià)值），企業(yè)經(jīng)理采用大數(shù)據(jù)的一個(gè)主要挑戰(zhàn)是，他們不清楚如何使用大數(shù)據(jù)分析來獲得價(jià)值，并改善他們的業(yè)務(wù)。

5）IoT設(shè)備上的深度學(xué)習(xí)：

在IoT設(shè)備上開發(fā)深度學(xué)習(xí)是一個(gè)新的挑戰(zhàn)，要考慮在資源受限的設(shè)備上處理深度神經(jīng)網(wǎng)絡(luò)的需求。

6）深度學(xué)習(xí)局限：

盡管深度學(xué)習(xí)模型在許多應(yīng)用中顯示出令人印象深刻的結(jié)果，它仍然有局限性。研究發(fā)現(xiàn)，深度網(wǎng)絡(luò)會(huì)將無法識(shí)別的圖片分類到熟悉的種類中。并且深度神經(jīng)網(wǎng)絡(luò)的回歸能力有待增強(qiáng)。

未來研究方向

1）IoT移動(dòng)數(shù)據(jù)：

IoT數(shù)據(jù)的一大部分來自移動(dòng)設(shè)備。研究利用移動(dòng)大數(shù)據(jù)與深度學(xué)習(xí)方法相結(jié)合的有效方式，可以為IoT提供更好的服務(wù)，特別是在智慧城市場(chǎng)景中。

2）結(jié)合環(huán)境信息：

單靠IoT的 傳感數(shù)據(jù)不能理解環(huán)境的情況。因此，IoT數(shù)據(jù)需要與其他數(shù)據(jù)源融合，即環(huán)境信息，以補(bǔ)充對(duì)環(huán)境的理解。

3）IoT分析的在線資源供應(yīng)：

基于霧和云計(jì)算的深度學(xué)習(xí)快速數(shù)據(jù)分析部署需要在線配置霧或云資源來承載數(shù)據(jù)流。由于IoT數(shù)據(jù)的流特性，無法提前知道數(shù)據(jù)序列的容量。因此，我們需要一種新的基于當(dāng)前數(shù)據(jù)流的算法，并且不依賴于數(shù)據(jù)流的先驗(yàn)知識(shí)。

4）半監(jiān)督分析框架：

為半監(jiān)督學(xué)習(xí)而設(shè)計(jì)的先進(jìn)的機(jī)器學(xué)習(xí)算法非常適合于智慧城市系統(tǒng)，可以使用少量的訓(xùn)練數(shù)據(jù)集訓(xùn)練模型，然后使用大量未標(biāo)記數(shù)據(jù)來提高模型的準(zhǔn)確性。

5）可靠的IoT分析：

深度學(xué)習(xí)方法可以通過分析大量的信息物理系統(tǒng)（CPS）和IoT系統(tǒng)的日志，以識(shí)別和預(yù)測(cè)可能受到攻擊的系統(tǒng)的薄弱點(diǎn)。這將有助于系統(tǒng)防止或從故障中恢復(fù)，從而提高CPS和IoT系統(tǒng)的可靠性水平。

6）自組織通信網(wǎng)絡(luò)：

由于IoT設(shè)備的數(shù)量龐大，配置和維護(hù)他們的基本物理M2M通信和網(wǎng)絡(luò)變得越來越難。雖然大量的網(wǎng)絡(luò)節(jié)點(diǎn)及其相互關(guān)系對(duì)傳統(tǒng)的機(jī)器學(xué)習(xí)方法是一個(gè)挑戰(zhàn)，但它為深度學(xué)習(xí)體系結(jié)構(gòu)提供了一個(gè)機(jī)會(huì)，通過提供自配置、自優(yōu)化、自修復(fù)和自負(fù)載平衡等一系列的自我服務(wù)足以證明它們?cè)谶@一領(lǐng)域的能力。

7）新興IoT應(yīng)用：

無人機(jī)：無人機(jī)被用于許多實(shí)時(shí)圖像分析任務(wù)，如監(jiān)視、搜索和救援行動(dòng)，以及基礎(chǔ)設(shè)施檢查。這些設(shè)備的采用面臨包括路由、節(jié)約能源、避免私人區(qū)域和避障等挑戰(zhàn)。深度學(xué)習(xí)對(duì)于該領(lǐng)域的預(yù)測(cè)和決策任務(wù)有很大的影響，可以推動(dòng)無人機(jī)達(dá)到最佳性能。

虛擬/增強(qiáng)現(xiàn)實(shí)：虛擬/增強(qiáng)現(xiàn)實(shí)是受益于IoT和深度學(xué)習(xí)的另一個(gè)應(yīng)用領(lǐng)域。增強(qiáng)現(xiàn)實(shí)可以用于提供諸如目標(biāo)跟蹤、行為識(shí)別、圖像分類和對(duì)象識(shí)別這樣的服務(wù)。增強(qiáng)現(xiàn)實(shí)可以極大地影響如教育，博物館，智能車等幾大領(lǐng)域。

結(jié)論

深度學(xué)習(xí)和IoT近年來受到研究人員和商業(yè)領(lǐng)域的廣泛關(guān)注，這兩項(xiàng)技術(shù)對(duì)我們的生活、城市和世界都產(chǎn)生了積極的影響。IoT和深度學(xué)習(xí)構(gòu)成了一個(gè)數(shù)據(jù)生產(chǎn)者-消費(fèi)者鏈，其中IoT生成由深度學(xué)習(xí)模型分析的原始數(shù)據(jù)，深度學(xué)習(xí)模型產(chǎn)生高層次的分析，反饋給IoT系統(tǒng)，以微調(diào)和改進(jìn)服務(wù)。

查看論文原文：Deep Learning for IoT Big Data and Streaming Analytics: A Survey

參考文獻(xiàn)

【1】N.-Y. Liang, G.-B. Huang, P. Saratchandran, and N. Sundararajan, “A fast and accurate online sequential learning algorithm for feedforward networks,” IEEE Transactions on neural networks, vol. 17, no. 6, pp. 1411–1423, 2006.

【2】S. Ren, K. He, R. Girshick, and J. Sun, “Faster R-CNN: Towards realtime object detection with region proposal networks,” IEEE transactions on pattern analysis and machine intelligence, vol. 39, no. 6, pp. 1137–1149, 2017.

【3】J. Redmon, S. Divvala, R. Girshick, and A. Farhadi, “You only look once: Unified, real-time object detection,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016, pp. 779–788.

【4】M. Mohammadi, A. Al-Fuqaha, M. Guizani, and J.-S. Oh, “Semisupervised deep reinforcement learning in support of IoT and smart city services,” IEEE Internet of Things Journal, vol. PP, no. 99, pp. 1–12, 2017.

【5】M. Price, J. Glass, and A. Chandrakasan, “A scalable speech recognizer with deep-neural-network acoustic models and voice-activated power gating,” in Proceedings of the IEEE ISSCC2017, 2017.

【6】Y. He, G. J. Mendis, and J. Wei, “Real-time detection of false data injection attacks in smart grid: A deep learning-based intelligent mechanism,” IEEE Transactions on Smart Grid, 2017.

【7】 Z. Yuan, Y. Lu, Z. Wang, and Y. Xue, “Droid-sec: deep learning in android malware detection,” in ACM SIGCOMM Computer Communication Review, vol. 44, no. 4. ACM, 2014, pp. 371–372.

【8】R. Shokri and V. Shmatikov, “Privacy-preserving deep learning,” in Proceedings of the 22nd ACM SIGSAC conference on computer and communications security. ACM, 2015, pp. 1310–1321.

【9】X. Song, H. Kanasugi, and R. Shibasaki, “Deeptransport: Prediction and simulation of human mobility and transportation mode at a citywide level.” IJCAI, 2016.

【10】V. C. Liang, R. T. Ma, W. S. Ng, L. Wang, M. Winslett, H. Wu, S. Ying, and Z. Zhang, “Mercury: Metro density prediction with recurrent neural network on streaming cdr data,” in Data Engineering (ICDE), 2016 IEEE 32nd International Conference on. IEEE, 2016, pp. 1374–1377.

【11】G. Amato, F. Carrara, F. Falchi, C. Gennaro, C. Meghini, and C. Vairo, “Deep learning for decentralized parking lot occupancy detection,” Expert Systems with Applications, 2017.

【12】X. Ma, H. Yu, Y. Wang, and Y. Wang, “Large-scale transportation network congestion evolution prediction using deep learning theory,” PloS one, vol. 10, no. 3, p. e0119044, 2015.

【13】C. Liu, Y. Cao, Y. Luo, G. Chen, V. Vokkarane, and Y. Ma, “Deepfood: Deep learning-based food image recognition for computer-aided dietary assessment,” in International Conference on Smart Homes and Health Telematics. Springer, 2016, pp. 37–48.

【14】C. R. Pereira, D. R. Pereira, J. P. Papa, G. H. Rosa, and X.-S. Yang, “Convolutional neural networks applied for parkinson’s disease identification,” in Machine Learning for Health Informatics. Springer, 2016, pp. 377–390.

【15】Q. Wang, Y. Guo, L. Yu, and P. Li, “Earthquake prediction based on spatio-temporal data mining: An lstm network approach,” IEEE Transactions on Emerging Topics in Computing, 2017.

【16】Y. Liu, E. Racah, J. Correa, A. Khosrowshahi, D. Lavers, K. Kunkel, M. Wehner, and W. Collins, “Application of deep convolutional neural networks for detecting extreme weather in climate datasets,” Int’l Conf. on Advances in Big Data Analytics, 2016.

【17】W. Liu, J. Liu, X. Gu, K. Liu, X. Dai, and H. Ma, “Deep learning based intelligent basketball arena with energy image,” in International Conference on Multimedia Modeling. Springer, 2017, pp. 601–613.

【18】K.-C. Wang and R. Zemel, “classifying nba offensive plays using neural networks,” in Proc. MIT SLOAN Sports Analytics Conf, 2016.

【19】T. Kautz, B. H. Groh, J. Hannink, U. Jensen, H. Strubberg, and B. M. Eskofier, “Activity recognition in beach volleyball using a deep convolutional neural network,” Data Mining and Knowledge Discovery, pp. 1–28, 2017.

【20】M. S. Ibrahim, S. Muralidharan, Z. Deng, A. Vahdat, and G. Mori, “A hierarchical deep temporal model for group activity recognition,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016, pp. 1971–1980.

未來智能實(shí)驗(yàn)室是人工智能學(xué)家與科學(xué)院相關(guān)機(jī)構(gòu)聯(lián)合成立的人工智能，互聯(lián)網(wǎng)和腦科學(xué)交叉研究機(jī)構(gòu)。

未來智能實(shí)驗(yàn)室的主要工作包括：建立AI智能系統(tǒng)智商評(píng)測(cè)體系，開展世界人工智能智商評(píng)測(cè)；開展互聯(lián)網(wǎng)（城市）云腦研究計(jì)劃，構(gòu)建互聯(lián)網(wǎng)（城市）云腦技術(shù)和企業(yè)圖譜，為提升企業(yè)，行業(yè)與城市的智能水平服務(wù)。