在二十世紀五十年代就存在深度學習的概念了。麥肯錫全球研究院發文簡要回顧了深度學習是如何從概念發展為現實的，而使之實現的關鍵人物又是誰。

文章表示，要書寫深度學習的完整歷史還為時過早，有些細節尚存在爭議，但是我們已經能追尋其公認的起源概貌，雖然還不完整，也能確定一些先驅者了。沃倫·麥卡洛克（WarrenMcCulloch）和沃爾特·皮茨（Walter Pitts）就名列其中。他們早在1943年就提出了人工神經元，這是大腦中“神經網絡”的計算模型。還有美國斯坦福大學（Stanford University）的伯納德·威德羅（BernardWidrow）和泰德·霍夫（Ted Hoff），他們在二十世紀五十年代末期開發了一種神經網絡應用，降低電話線中的噪音。

同一時期，美國心理學家弗蘭克·羅森布拉特（Frank Rosenblatt）引入了“感知器”這種設備的概念，模擬大腦的神經結構，并展現出學習的能力。后來，美國麻省理工學院（MIT）的馬文·明斯基（Marvin Minsky）和西摩·帕普特（SeymourPapert）在其1969年出版的書《感知器》中，用數學的方法展示了感知器只能進行很基礎的任務，所以這項研究暫停。他們的書還討論了訓練多層神經網絡的難點。

1986年，加拿大多倫多大學（University of Toronto）的杰弗里·辛頓（Geoffrey Hinton）與同事大衛·魯姆哈特（DavidRumelhart）和羅納德·威廉姆斯（Ronald Williams）發表了目前很著名的反向傳播訓練算法，解決了這一訓練難題，但有些業內人士指出芬蘭數學家賽普·林納因馬（SeppoLinnainmaa）早在二十世紀六十年代就已經發明了反向傳播。美國紐約大學（New York University）的楊立昆（Yann LeCun）率先將神經網絡應用于圖像識別任務，他在1998年發表的文章中定義了卷積神經網絡，這種神經網絡模擬人類的視覺皮層。同期，約翰·霍普菲爾德（JohnHopfield）推廣了“霍普菲爾德”網絡，這是首個循環神經網絡。1997年，爾根·施米德休伯（JürgenSchmidhuber）和賽普·霍克賴特（Sepp Hochreiter）進一步擴展了該網絡，他們引入了長短期記憶模型（long-short termmemory， LSTM），極大地提高了循環神經網絡的效率和實用性。2012年，辛頓和他的學生在著名的 ImageNet 競賽中取得了突出的結果，彰顯了深度學習的強大。該競賽以李飛飛等人整理的數據集為基礎。與此同時，杰弗里·迪恩（JeffDean）和吳恩達（Andrew Ng）正在谷歌大腦（Google Brain）進行大規模圖像識別方面的突破性工作。

深度學習也增強了強化學習這一已存在的領域，理查德·薩頓（Richard Sutton）就是其中一位頂尖的研究人員，他牽頭讓谷歌DeepMind開發的系統取得了多次棋類比賽的勝利。2014年，伊恩·古德費洛（IanGoodfellow）發表了一篇關于生成式對抗網絡的文章，這種網絡與強化學習已成為了該領域近期多個研究的焦點。

人工智能（AI）能力的持續進步讓斯坦福大學啟動了“人工智能百年研究”（One Hundred Year Study on Artificial Intelligence）項目。該項目由微軟研究院院長埃里克·霍維茨（EricHorvitz）發起，是基于他和微軟研究院的同事所進行的長期研究。過去幾年里，眾多研究先驅的研究結果和指導讓我們受益良多。