CSDN 出品的《2018-2019 中國人工智能產業路線圖》V2.0 版即將重磅面世！

V1.0 版發布以來，我們有幸得到了諸多讀者朋友及行業專家的鼎力支持，在此表示由衷感謝。此次 V2.0 版路線圖將進行新一輪大升級，力求為讀者呈現更全面的中國人工智能產業發展概況和趨勢判斷。

此文為深度技術分析系列稿件第 6 篇，作者為 CSDN 特邀 AI 專家——探智立方產品總監宋煜。

人工智能會影響多個領域，甚至是那些非常傳統的商業領域。而機器學習（這里指的是廣義的機器學習）是人工智能的一個重要組成部分，它指的是對大數據集上的算法進行訓練，以便他們學習如何更好地識別所需的模式。

近一年來，我們會看到在芯片領域，網絡安全領域，語音助理領域，法律咨詢領域，醫療診斷領域，制藥領域，越來越多的AI技術在推動行業的發展和進步。同時，各種人工智能的比賽也層出不窮，而比賽的背后推動力實際上就是行業方案的落地能力。傳統行業正越來越急迫地希望 AI 能夠真正應用于實際的生產環節之中。

機器學習算法概述

隨著對實際應用要求的呼聲越來越大，算法層面的研究也慢慢變得清晰和細致。在今天，從技術的角度來看，人工智能的落地有四個重要的環節需要解決：數據標注問題，模型設計問題，模型訓練性能問題和模型可解釋性問題。

在算法層面，有大量的工作圍繞這四個問題展開：

▌模型訓練需要大量準確的標注數據

針對這種挑戰，業界一直試圖通過數學方法降低對大量數據的依賴。從減少標注的角度，非監督學習提供了不同的方法如協同訓練，半監督字典學習，標簽傳播算法，半監督支持向量機以及階梯（Ladder）網絡。可以看到，大部分半監督學習的方法都建立在對數據分布的某種假設。如果訓練數據的確真實反應了現實世界中數據分布的情況，那么就會從中受益，否則效果會大打折扣。

在深度學習領域，階梯網絡試圖通過一個網絡把有標簽的監督學習和同類但無標簽數據進行共同訓練，實現一個端到端的半監督深度模型。階梯網絡通過在反向傳播的同時最小化有監督和無監督的損失，從而避免分層預訓練的需求。通過 SkipConnection 使編碼層的每一層都有一個到解碼層的橫向連接；同時在編碼層，每一層都引入噪聲以實現類似于降噪自編碼器的能力。階梯網絡中，隱變量是整個模型的關鍵所在。分層隱變量模型可以保留較低級別的細節表示，允許更高級別的表示可以更多的關注那些不變，抽象的特征。隨著技術的發展，階梯網絡也可以支持卷積神經網絡。不過，技術領域從來沒有萬能鑰匙。

當你用一個技術解決部分問題的時候，新的問題也會隨之產生。在灰度和簡單圖像的情況下，階梯網絡效果是非常好的，但是當應用于醫療里的細胞切片分析時，性能會下降的比較厲害。類似的一些新的研究也有很多，比如 Self-Ensembling Graph Convolutional Networks 、主動學習（Active-Learning）以及 Acluster-then-label Semi-supervised learning Approach 就能夠在部分標注的醫學切片掃描圖片上得到很好的成績。

同時，業界也在試圖利用生成對抗神經網絡（GAN）生成更多的樣本從而解決數據擴增問題。在低樣本數據體系中，訓練參數不確定，學習網絡概括性差，而且帶有很強的數據偏向性。使用數據擴充能夠有效的來緩解這種情況。然而，標準數據增加僅產生有限的似乎合理的替代數據，并有可能引入人為指定的擴增算法的數據分布規律。對抗神經網絡生成模型能夠更加有效地做到數據擴增。從源數據獲取、學習數據特征，然后將其推廣以生成其他類內數據項。這個生成過程不依賴于類本身，因此它可以應用于新的、未曾見過的數據類。通常這種擴增可以使最后的訓練結果提高10-15%。

第三個解決標注數據需求量問題的是元學習的方法。其中，One/Low-Shot Learning 變的越來越熱。元學習（MetaLearning）目的并不是收斂學習的目標，如圖像識別或者下棋，而是學習更高一層的內容，例如，參數設置、神經結構、神經元初始化、優化器的選擇、損失函數的定義、數據空間的維度信息等。

One-Shot Learning旨在通過少數例子學習對象的概念。基于元學習的方法與生成數據模型結合，同時優化兩個模型，從而提升小樣本情況下的準確性。Low-Shot Learning 由一個學習器，兩個 Learning Phase （Representation Learning Phase + Low-Shot Learning Phase）和一個 Testing Pase 構成。其中，學習器就是特征提取與分類的結合。

LearningPhase 的第一階段是標準的訓練過程，固定學習器的特征提取參數；去除最后的分類層，固定特征提取參數，使用少量的新類別（Noval Class）更新新類別的分類器參數；交替進行第二、三階段。看起來似乎與遷移學習很像，但這里的關鍵是如何讓第二階段的表示層學習地更普適。其最大的改變是損失函數的設計，也就是讓基于第二階段的 RepresentationLearning 學到的權重使全局損失最小。那么，在原損失基礎上加入梯度；梯度越小，說明 W（權重）的改變越小而得到的 W 也就越接近“普適”。從實際效果而言，第三種方法效果目前還不如前兩種，但可以看到，第三種方法更接近人類的學習方式。

▌模型設計和調參的難度

今天，除了數據標注的難度，在實際落地的項目中，會大量使用遷移學習方法加速模型與生產系統的對接。但是，很多時候，如果數據科學家經驗不豐富或者理論理解不深入的情況下，調參和調整模型結構就進入了“玄學”范疇。實際上，從數學的角度而言，有很多新的方法試圖解決這類問題。其中，最具代表性的就是自動機器學習（AutoML）。業界目前主流的幾種AutoML方法包括遺傳學算法、元學習、強化學習與基于序列模型的優化（SMBO）。通常而言，數據特征抽取、模型結構優化與超參搜索是一個迭代過程。通過不停地調整從而在準確性和穩定性上達到生產環境的要求，通常這個過程占整個開發過程75%以上的時間。

作為一個新興領域，AutoML旨在減少或消除所需的手動操作機器學習的專業知識。基于圖架構靈活地表示組合ML和DL模型的方法，提供了在極大搜索空間構建出基于樹和基于堆疊的體系結構的模型的可能。加上遺傳學算法的趨好性和多樣性特點，AutoML能夠獲得在手工設計中難以獲得的結構。而通常這種結果所需要的參數遠小于常規模型所使用的參數數量。相比大模型剪枝后的模型，這種小參數模型移植到IoT設備上具有巨大的優勢。有些AutoML系統會使用貝葉斯優化來搜索模型和超參數，確實在超參優化中有效。但是，在較大的架構搜索領域效率是很低的。而真正有效解決自動模型設計問題，遺傳學演化算法會被更加頻繁的使用。

相比增強學習來構建計算圖的方法，遺傳學算法在極大搜索空間中，效率會更高。遺傳學算法會把父代中穩定的結構或者部分網絡進行編碼，并把這部分固化成一個片段傳遞給子代，讓子代基于已得出的部分穩定結構繼續生成網絡。當然，遺傳學算法也不是萬能的，在模型演化過程中，如何預防整個群體的過早熟（大量子代來自于同一祖先，而導致無法跳出局部最優）；如何快速從模型結構評估模型間的相似性而減少Loss變化極小的采樣；如何做有序度分析，從而找到適合遺傳的部分結構這些都是實際工程化過程中要面臨的問題。值得一提的是DARTS（Differentiable Architecture Search）把計算圖邊的選擇變換成了一個連續空間求導的問題，從而大大加速了固定結構以后，邊選擇問題的求解。

同時我們也會看到，有大量新的專用模型的產生用于解決某一個領域的問題。強化學習，對抗神經網絡和元學習，由于它們自身算法的特點會更為普遍的應用于不同的領域。 另外一些新的損失函數的研究，使得越來越多All-in-One或者All-You-Need模型解決一個甚至多個復雜問題變成可能。在強化學習方面， 通常分為RL理論，RL算法，RL網絡架構，RL優化，RL探索，RL獎勵，分布式RL，分層RL，多Agent，RL元學習等方向。元學習和強化學習的結合成為非常熱的話題。

大部分強化學習的環境假設都是單一環境，而這種強假設就是環境固定不變，然后學習出針對這個環境的策略，但是現實環境卻不是這樣的，環境的變化是存在的，而且變化速度有時候會很快，比如量化交易和對抗（對手的策略也在變換）。而RL+MetaLearning的核心就是根據歷史學習的經驗包括策略和軌跡，來快速創建新的策略。MAML（Model-AgnosticMetaLearning）假設任務，策略和軌跡都是隨機變量，上一時間步的策略和軌跡被用于當前時間步構建新的策略。使用訓練數據做梯度下降更新當前網絡，然后用測試數據在更新后的網絡下計算損失函數，最后通過損失函數梯度下降更新前面使用的網絡。這是一種適用于連續、簡單、基于梯度的元學習方法，并且考慮非平穩性作為一系列固定任務和訓練代理。在非平穩運動和競爭性多智能體的情況下，允許測試各種適應戰略的各個方面。

生成對抗網絡是另一種重要的深度學習模型。它可以用于圖像優化、交互式圖像生成、圖像編輯、文本到圖像或者圖像到文本，對話生成等領域。LS-GAN（Loss-Sensitive GAN）是目前比較穩定的一種模型，能夠比較好的解決梯度消失問題。另外Large-ScaleGAN通過兩種簡單生成架構變化以及正則化方式的修改使生成器水平得到極大的提高。當然，今天的GAN仍然面臨很多問題，最嚴重的就是生成多樣性的問題。在對話生成的過程中，隨著訓練的提升，生成的語言會越來越符合人的語法模式，但是同時，多樣性在減少，大量能夠騙過分辨器的雷同語句會被生成，而無法做到真正在NLP領域里面擴增數據內容。

在整個模型設計中，損失函數和優化器的創新恐怕是最難的而意義又是最大的。例如今年的“On the Convergence of Adam and Beyond”通過賦予Adam算法過去梯度的“長期記憶”，來解決在大輸出空間，無法收斂到最優解的問題。這種算法層面的優化會直接解決大部分使用RMSPROP和ADAM優化器的網絡收斂問題。

▌模型訓練的性能

模型訓練一直對計算力的需求最旺盛。當數據集超過T級或者設計了一個非常復雜的神經網絡，GPU的并行化訓練甚至集群的并行化訓練就是不可或缺的。OpenAI的Dota5v5模型使用了256塊P100GPU和128，000CPUcore進行訓練。大規模分布式并行訓練是解決這類問題的必選項。通過分級求導，在求導過程中傳遞不同層的梯度；通過設置雙向環路，減少權重傳遞次數；優化參數匯聚算法；乃至模型并行化等手段都旨在不停地提高訓練效率。這部分的研究工作與傳統的HPC（高性能計算）其實非常相似。大家最后碰到的問題都是這種分布式難以線性疊加，當規模達到一定程度后，很難再有所提升；而收斂過程在后面的過程中，由于梯度下降本身速度已經放緩，大量的并行GPU所提升的效率就會更加不明顯。由于模型并行化過于復雜，而且并行化方案難以通用，大部分并行化方案都還是訓練數據并行化。

▌模型可解釋性

模型設計取得不錯的性能后，解釋模型又會變成一個新的挑戰。今天大多數復雜的深度學習模型都是一個黑盒子。這也是深度學習在一些方面被人詬病的原因。隨著業界對這個問題的爭論，越來也多的可視化方法被提供試圖解釋模型。論文《The Building Blocks of Interpretability》將獨立的神經元、分類器與可視化結合，提供一種觀察方法來判斷神經元可以被哪些圖像激活、神經元判斷這個圖像屬于哪一類，以及神經元的最終決策貢獻值。這類方法在Attention模型中也得到比較廣泛的使用。當使用LSTM做輸入文本的特征提取，用CNN做圖像特征提取后，研究人員也可以通過這種可視化的方法來分析，哪些文字讓Attention單元對哪部分圖像的特征圖（FeatureMap）敏感。從定性分析的角度看，這類方法的確可以提供對模型可解釋性的指導，但是從定量分析的角度，特別是對于一些高維的數據特征，還有很長的路要走。

機器學習算法所面臨的挑戰及原因

今天，機器學習所面臨的挑戰有很多。從數據的角度來看，除了有效數據的高成本問題，還有數據不公平性問題。

通常，大家會覺得，如果算法或者模型用機器固化后，應用到實際場景會消除人為偏差，但是今天的數據如果在分布上本身就帶有“歧視”，這種偏見是會被一直保持的。例如，如果訓練數據表明男性比女性更有生產力，那么機器學到的判決模型很有可能將偏向選擇男性候選人。而這種問題很難有一個明確的標準來衡量并糾錯。從模型的角度來看，今天的大部分模型還是針對一個比較確定的環境和數據來解決問題的，這就導致了大量的實際應用不一定很快就能找到合適的模型，而是需要大量的數據科學家來對模型和真實數據做調整。

普惠AI的提出就是在試圖打破這個瓶頸。而這個瓶頸最關鍵的問題是如何降低設計和使用模型的門檻。我們可以看到今天大部分AI的公有云服務，都在試圖使用遷移學習來解決這部分問題，但是這些AI公有云服務忽略了一個問題，他們這次不是提供商品讓最終消費者來選擇買什么，而是需要提供一個互動的方式了解消費者要做什么之后提供對應的模型設計服務來完成這個目標。AutomML是解決這個方法的一條途徑，不過同時有也很長的路要走。至于算法層面的問題，反而不是一個巨大的挑戰。只要有明確的問題被提出，就一定會有新的數學方法來解決。只要我們不會進入《銀河帝國》里所描述的科技發展衰退，算法層面的挑戰永遠不會是絆腳石。

機器學習算法的未來

未來，新的算法會層出不窮，但是深度學習不會被替代。不會替代并不意味著深度學習理論已經很完善，成為其他學科的基石。技術的發展有很強的延續性，少有被完全顛覆性的理論出現。如同今天的膠囊網絡、元學習。從表面上看，他們和最初的深度學習網絡模型有很大的差距。但是深入來看，實際上，它們是在使用深度學習的部分技術來構造新架構。今天大家不夠滿意的主要原因在于，目前的人工智能所做的仍只能停留在對單一問題的輔助，而不可能有真正的創新甚至成為復雜問題的輔助。接下來，還會有很多工作會基于不同的視角提出不同的算法。我們依然期待一個大一統的框架。然而目前的情況是視角越單一，做的效果可能會越好。畢竟視角的選擇等價于人類的知識賦予，相當于簡化了神經網絡的學習難度。