多年來，電氣工程師和計(jì)算機(jī)科學(xué)家一直在努力尋找如何更快，更有效地執(zhí)行神經(jīng)網(wǎng)絡(luò)計(jì)算的方法。實(shí)際上，設(shè)計(jì)適合神經(jīng)網(wǎng)絡(luò)計(jì)算的加速器最近已經(jīng)成為活躍的溫床，最常見的解決方案是GPU，它與各種特定于應(yīng)用的IC（例如Google的 Tensor Processing Unit ）和現(xiàn)場可編程門陣列展開競爭。

現(xiàn)在，另一位競爭者剛剛進(jìn)入了這個競技場，它基于一種完全不同的范例：光計(jì)算。麻省理工學(xué)院的一個名為 Lightmatter的分支機(jī)構(gòu)在近日的Hot Chips線上會議上描述了其“ Mars ”設(shè)備。Lightmatter不是唯一采用這種新穎策略的公司，但它似乎領(lǐng)先于競爭對手。

不過，我（作者）把這種方法稱為“新穎”可能會有點(diǎn)誤導(dǎo)大家。事實(shí)上，光學(xué)計(jì)算有著悠久的歷史。早在20世紀(jì)50年代末，它就被用于處理第一批合成孔徑雷達(dá)（synthetic-aperture radar，SAR）圖像，這些圖像是在數(shù)字計(jì)算機(jī)無法完成必要的數(shù)學(xué)計(jì)算任務(wù)的時候建造的。這解釋了為什么工程師要制造各種各樣的模擬計(jì)算機(jī)，這些模擬計(jì)算機(jī)基于spinning disks，sloshing fluids，continuous amounts of electric charge甚至光線。

在過去的幾十年中，研究人員不時地重新提出了用光來計(jì)算事物的想法，但這一概念并沒有被證明對任何事物都有廣泛的實(shí)用性。當(dāng)涉及到神經(jīng)網(wǎng)絡(luò)計(jì)算時，Lightmatter正在嘗試改變這一現(xiàn)狀。Mars裝置的核心是一個芯片，該芯片中包括一個模擬光學(xué)處理器，專門設(shè)計(jì)用于執(zhí)行神經(jīng)網(wǎng)絡(luò)基本的數(shù)學(xué)運(yùn)算。

這里的關(guān)鍵操作是矩陣乘法，該乘法包括將數(shù)字對相乘并相加結(jié)果。可以構(gòu)成光的加法并不奇怪，因?yàn)楫?dāng)兩束光束結(jié)合時，構(gòu)成光的電磁波會疊加在一起。

更棘手的問題是如何用光來做乘法運(yùn)算。讓我在這里概述一下，當(dāng)然，如果想了解更全面的描述，我建議閱讀Lightmatter在其博客上提供的關(guān)于其技術(shù)的相關(guān)文章。

Lightmatter光學(xué)處理器的基本單位是所謂的 Mach-Zehnder干涉儀的裝置 。Ludwig Mach和Ludwig Zehnder在19世紀(jì)90年代發(fā)明了這種設(shè)備，所以我們這里所說的并不是完全現(xiàn)代的東西。新的想法是將許多Mach-Zehnder干涉儀縮小到納米級尺寸，并將它們集成到一個芯片上，以加快神經(jīng)網(wǎng)絡(luò)計(jì)算的速度。

這種干涉儀將入射光分成兩束，然后經(jīng)過兩條不同的路徑，將產(chǎn)生的兩個光束重新組合。如果兩條路徑相同，那么輸出看起來就像輸入。但是，如果兩個光束中的一個必須比另一個光束傳播得更遠(yuǎn)或速度減慢，則它會與另一個光束異相。在極端情況下，它可能是完全180度（半波長）的相位不一致，在這種情況下，當(dāng)重新組合時，兩束光束會產(chǎn)生破壞性的干涉，并且輸出完全為零。

一般來說，光在輸出端的場振幅將是輸入端的光振幅乘以在其兩臂行進(jìn)的光之間相位差的一半的余弦。如果你能用一些方便的方法控制相位差，你就有了一個可以進(jìn)行乘法運(yùn)算的裝置。

Lightmatter的Mach-Zehnder干涉儀是通過在納米光子芯片中為光形成適當(dāng)?shù)男〔▽?dǎo)而構(gòu)建的。通過使用折射率取決于其所受電場的材料，可以簡單地通過施加電壓來產(chǎn)生電場來控制分裂光束的相對相位，就像給電容器充電一樣。在光物質(zhì)的芯片中，這是通過在干涉儀的一個臂上施加一個極性的電場，在另一個臂上施加相反極性的電場來實(shí)現(xiàn)的。

就像電容器一樣，電流僅在電荷積累時流動。一旦有足夠的電荷來提供所需強(qiáng)度的電場，就不再有電流流動，因此就不再需要能量。這很重要，因?yàn)檫@意味著一旦你設(shè)置了要應(yīng)用的乘數(shù)的值，并且隨后該值（神經(jīng)網(wǎng)絡(luò)計(jì)算中的“權(quán)重”）沒有變化，則不再需要能量。通過芯片的光流同樣不消耗能量。所以這里有一個非常有效的乘法系統(tǒng)，一個以光速運(yùn)行的系統(tǒng)。

各種模擬計(jì)算機(jī)的缺點(diǎn)之一是它們可以執(zhí)行的計(jì)算精度有限。這也是Lightmatter芯片的一個缺點(diǎn)——你不能像使用數(shù)字電路那樣精確地指定數(shù)字。幸運(yùn)的是，神經(jīng)網(wǎng)絡(luò)一旦經(jīng)過訓(xùn)練就可以進(jìn)行“推理”計(jì)算，不需要太多的分辨率。然而，神經(jīng)網(wǎng)絡(luò)是可以訓(xùn)練的。“訓(xùn)練需要更高的動態(tài)范圍；因此，我們專注于推理。”Lightmatter首席執(zhí)行官兼公司創(chuàng)始人之一 Nicholas Harris表示。“我們有一個8位等效系統(tǒng)。”

你或許會想，Lightmatter革命性的用于用光執(zhí)行神經(jīng)網(wǎng)絡(luò)計(jì)算的新設(shè)備在現(xiàn)階段只是一個實(shí)驗(yàn)室原型，但這是錯誤的想法。該公司在生產(chǎn)一種實(shí)用的產(chǎn)品方面已經(jīng)走了相當(dāng)長的路，它可以被添加到任何一個帶有PCI-Express插槽的服務(wù)器主板上，并立即編程開始進(jìn)行神經(jīng)網(wǎng)絡(luò)推理計(jì)算。Harris說：“我們非常專注于使它看起來不像外星人的技術(shù)。” 他解釋說，“Lightmatter不僅內(nèi)置了這種硬件，還創(chuàng)建了必要的軟件工具鏈，以支持將其與標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)框架（TensorFlow和PyTorch）一起使用。

Lightmatter預(yù)計(jì)將于2021年底投入生產(chǎn)，該公司的Mars設(shè)備也將投入商業(yè)生產(chǎn)。Harris說，該公司的芯片雖然很精密復(fù)雜，但產(chǎn)量很高，這在很大程度上是因?yàn)樗婕暗募{米光子組件與切割中所發(fā)現(xiàn)的相比并沒有那么小邊緣的電子設(shè)備。因此，保持高收益率和低價格的Mars設(shè)備應(yīng)該不難與GPU競爭。

誰知道呢，也許其他公司，例如 Lightintelligence ， LightOn ， Optalysis 或 Fathom Computing ，屆時將推出他們自己的基于光的神經(jīng)網(wǎng)絡(luò)加速器卡。不過，Harris并不為此擔(dān)心 -- 我們遙遙領(lǐng)先。

原文標(biāo)題：Lightmatter研發(fā)Mars芯片 能以光速執(zhí)行神經(jīng)網(wǎng)絡(luò)計(jì)算

文章出處：【微信公眾號：IEEE電氣電子工程師學(xué)會】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。