AWS全球基礎(chǔ)設(shè)施和客戶支持高級副總裁Peter DeSantis在AWS Re:Invent年度用戶活動上發(fā)表主旨演講時(shí)表示，與CPU巨頭AMD和Intel提供的處理器相比AWS的處理器和芯片設(shè)計(jì)在云應(yīng)用程序性能方面具有優(yōu)越性，而且AWS的圖形處理器性能超過了Nvidia為機(jī)器學(xué)習(xí)（ML）提供的GPU。他指的是AWS Graviton2處理器，由AWS使用64位Arm Neoverse定制。

隨著AWS上以及Azure和Google Cloud Platform（GCP）上可用選擇的爆炸式增長，客戶可能會越來越仔細(xì)地考慮應(yīng)用程序性能和服務(wù)提供的成本/性能比。這樣，底層芯片和服務(wù)器基礎(chǔ)設(shè)施將成為決定云原生應(yīng)用程序性能、功耗以及成本的關(guān)鍵因素。

因此，AWS希望旗艦64位基于ARM的Gravion2和其他內(nèi)部設(shè)計(jì)的處理器的強(qiáng)大功能發(fā)揮重要作用，以幫助客戶提高其應(yīng)用程序的性能。

DeSantis說：“對AWS硅技術(shù)的深度投資真正令人興奮和帶來變革的是能夠跨定制硬件和軟件工作，以提供獨(dú)特的功能。通過在整個(gè)堆棧中工作，我們能夠比以往任何時(shí)候更快地實(shí)現(xiàn)這些改進(jìn)。”

發(fā)力芯片

Graviton2有望通過多種方式進(jìn)一步提高應(yīng)用程序性能。DeSantis作出了大膽的聲明，AWS Graviton2提供了優(yōu)于傳統(tǒng)設(shè)計(jì)的性能、節(jié)能優(yōu)勢和安全性。AWS還公開表示，為Amazon EC2 T4g、M6g、C6g和R6g實(shí)例以及基于本地NVMe的SSD存儲的“變體”提供動力的Graviton2“為各種工作負(fù)載”提供了比基于x86的實(shí)例高出40%的性價(jià)比

DeSantis說，在基于Graviton的Amazon EC2 A1實(shí)例中引入Graviton的目的是讓AWS“與客戶和ISV合作伙伴合作，了解他們在現(xiàn)代64位ARM處理器上運(yùn)行工作負(fù)載需要什么”。

DeSantis解釋說，如今用戶需要的是將處理器設(shè)計(jì)與在云環(huán)境中運(yùn)行的高度分布式微服務(wù)應(yīng)用程序相匹配的能力。今天的開發(fā)者也基本上不再用C++編寫云原生應(yīng)用程序，而是用GO和Ruat，并且“完全改變了高性能多線程應(yīng)用程序的開發(fā)”。

“對我來說，最令人興奮的趨勢之一是轉(zhuǎn)向基于服務(wù)的架構(gòu)，從大型單體應(yīng)用程序向小型專門構(gòu)建的獨(dú)立應(yīng)用程序發(fā)展。這正是容器和Lambda支持的計(jì)算類型。雖然橫向擴(kuò)展計(jì)算已經(jīng)發(fā)展到利用更高核心處理器，但處理器設(shè)計(jì)師從未真正拋棄舊世界。他們試圖做到這兩個(gè)方面，既滿足傳統(tǒng)應(yīng)用程序的需要，又滿足現(xiàn)代擴(kuò)展應(yīng)用程序的需要。”

DeSantis在重申Graviton2的設(shè)計(jì)者“專注于確保每個(gè)核心都能為現(xiàn)代云工作負(fù)載提供最真實(shí)的性能”的同時(shí)，還暗指傳統(tǒng)的CPU性能基準(zhǔn)（如用于衡量PC和服務(wù)器性能的基準(zhǔn)）不再適用。“我們利用運(yùn)行實(shí)際橫向擴(kuò)展應(yīng)用程序的經(jīng)驗(yàn)，確定需要在哪些方面添加功能以確保最佳性能。”

DeSantis還表示，Graviton2的設(shè)計(jì)旨在節(jié)省每個(gè)芯片的硅表面，同時(shí)通過減少內(nèi)核數(shù)量來降低功耗——這是衡量處理器性能的傳統(tǒng)方法。

“我們設(shè)計(jì)Graviton的目的是有盡可能多的獨(dú)立核心，而盡管獨(dú)立，Graviton兩個(gè)核心的設(shè)計(jì)是一致的。”

Snap的工程高級副總裁Jerry Hunter表示，Snap使用Graviron2有助于降低AWS DynamoDB和S3的成本和能耗。除了用AWS的DynamoDB和S3進(jìn)行存儲外，他還看到了Graviton2“在不消耗大量能源的情況下為客戶降低成本并創(chuàng)造更好的性能”。

Hunter說，Snap向Graviton2的轉(zhuǎn)變“非常簡單”，API“與以前使用的非常相似”，因此“不需要花太多時(shí)間來遷移代碼以進(jìn)行測試。我們節(jié)省了20%的成本，這是非常棒的，因?yàn)槲覀兡軌蚯袚Q此負(fù)載，并立即獲得成本節(jié)約和更高的性能。”

芯片上的機(jī)器學(xué)習(xí)

雖然沒有透露具體的基準(zhǔn)測試，DeSantis還表示AWS優(yōu)于Nvidia。總的來說，與用于支持ML的大規(guī)模推理基礎(chǔ)設(shè)施的GPU相比，AWS Inferentia提供了“以一半的成本實(shí)現(xiàn)了最高的吞吐量（每次推理）”。具體到Nvidia，DeSantis說Amazon Alexa最近將其推理工作負(fù)載從基于Nvidia GPU的硬件轉(zhuǎn)移到了基于Inferentia的EC2實(shí)例，成本降低了30%，延遲降低了25%。

對于ML開發(fā)人員，AWS的Neuron團(tuán)隊(duì)提供了TensorFlow、PyTorch和Apache MXNet等框架來設(shè)計(jì)運(yùn)行在Inferntia上的應(yīng)用程序。DeSantis說：“開發(fā)人員可以利用Inferntia的成本節(jié)約和性能，而不需要對ML代碼進(jìn)行很多更改或根本不做任何更改，并保持對其他ML處理器的支持。”

在沒有透露具體細(xì)節(jié)的情況下，DeSantis說，AWS為ML設(shè)計(jì)的下一款硅芯片將包括明年推出的AWS Trainium。

“我們在機(jī)器學(xué)習(xí)芯片上的投資才剛剛開始。正如Inferentia所做的那樣，Trainium將提供最低成本和最高性能的方式來運(yùn)行訓(xùn)練工作負(fù)載。”

對于ML開發(fā)團(tuán)隊(duì)，AWS還通過機(jī)器學(xué)習(xí)擴(kuò)展運(yùn)維，并將AWS的數(shù)據(jù)庫服務(wù)（包括S3和Dynamo）與AWS SageMaker及其ML基礎(chǔ)設(shè)施集成在一起。有了正確的硅基礎(chǔ)設(shè)施和開發(fā)工具，目的是提供一個(gè)機(jī)器學(xué)習(xí)平臺可以滿足DevOps團(tuán)隊(duì)的需求，因?yàn)樗麄兛梢栽诓桓淖兓A(chǔ)設(shè)施和工具集的情況下，從10或100個(gè)ML項(xiàng)目模型擴(kuò)展到1000個(gè)。

“這是一種變革性的技術(shù)。我認(rèn)為，開始機(jī)器學(xué)習(xí)并開始進(jìn)行概念驗(yàn)證非常重要，而AWS提供的工具使其變得更加容易，”AWS ML的副總裁Bratin Saha表示。“所以，我認(rèn)為讓客戶明白機(jī)器學(xué)習(xí)是現(xiàn)在的關(guān)鍵，而不是未來，這一點(diǎn)非常重要。”
編輯：hfy