1. 中國移動輕量化邊緣AI，讓識別更準(zhǔn)更快

原文：http://szjj.china.com.cn/2023-09/14/content_42521336.html

1:N≤0.5S/人,實現(xiàn)邊緣AI性能突破

生態(tài)賦能,助力產(chǎn)業(yè)鏈協(xié)同創(chuàng)新

2. 騰訊健康公布醫(yī)療大模型 發(fā)布多場景AI產(chǎn)品矩陣

原文：http://science.china.com.cn/2023-09/11/content_42516411.htm

讓大模型更懂醫(yī)療

就診全流程智能升級

多場景推動AI應(yīng)用普及

構(gòu)建數(shù)智醫(yī)療的“TRUST”模式

3. 人工智能爆火導(dǎo)致用水量飆升：問ChatGPT 50個問題，耗水500毫升

原文：https://new.qq.com/rain/a/20230911A00Z0E00

01 與ChatGPT每次交互耗水500毫升

“大多數(shù)人都沒有意識到ChatGPT背后的資源消耗情況，”任說?！叭绻悴恢蕾Y源的使用情況，那么我們就無法幫助保護資源?！?/span>OpenAI在其聲明中回應(yīng)了這些評論，稱該公司正在“充分考慮”如何最好地利用計算能力。“我們認識到，培訓(xùn)大型模型可能是能源和水密集型的，為此會努力提高效率，”該公司表示。

02 微軟因訓(xùn)練和部署AI用水量飆升34%

微軟在其最新的環(huán)境報告中披露，從2021年到2022年，該公司全球用水量飆升了34%(達到近17億加侖，或超過2500個奧運會游泳池儲水量)。與外部研究人員對微軟人工智能研究相關(guān)用水情況相比，這一數(shù)字有了大幅增長。在就用水問題做出回應(yīng)時，微軟在一份聲明中表示，它正在投資研究，以衡量人工智能的能源和碳足跡，“同時努力使大語言模型系統(tǒng)在培訓(xùn)和應(yīng)用方面更有效率”。該公司的聲明稱：“我們將繼續(xù)監(jiān)測我們的排放，加快進度，同時增加使用清潔能源為數(shù)據(jù)中心供電，購買可再生能源，并通過其他努力實現(xiàn)我們的可持續(xù)發(fā)展目標(biāo)，即到2030年實現(xiàn)負碳、水正和零浪費?！?/span>微軟于2019年對總部位于舊金山的OpenAI進行了第一筆10億美元的投資。兩年多后，這家初創(chuàng)公司推出了ChatGPT，并引發(fā)了全球?qū)θ斯ぶ悄苓M步的關(guān)注。作為投資協(xié)議的一部分，微軟將為OpenAI提供訓(xùn)練人工智能模型所需的計算能力。為了至少完成其中的一部分工作，兩家公司把目光投向了愛荷華州的西得梅因，這是個擁有6.8萬人口的城市。十多年來，微軟一直在那里建設(shè)數(shù)據(jù)中心，以為其云計算服務(wù)提供支持。微軟在當(dāng)?shù)亟ㄔO(shè)的第四和第五個數(shù)據(jù)中心將于今年晚些時候投入使用。微軟開始在西得梅因投資時擔(dān)任市長的史蒂夫·蓋爾(Steve Gaer)說：“他們（微軟）正在以最快的速度建造這些設(shè)施。”他表示，該公司被西得梅因致力于建設(shè)公共基礎(chǔ)設(shè)施的承諾所吸引，并通過納稅為支持這項投資貢獻了一筆“驚人”的資金。微軟在2020年首次表示，它正在為OpenAI開發(fā)世界上最強大的超級計算機之一，當(dāng)時拒絕向媒體透露其部署的位置，但將其描述為“單一系統(tǒng)”，擁有超過28.5萬個傳統(tǒng)半導(dǎo)體核心和1萬個圖形處理器，后者是對人工智能工作負載至關(guān)重要的芯片。專家們表示，由于需要在計算核心之間傳輸大量數(shù)據(jù)，在單個地點對人工智能模型進行預(yù)訓(xùn)練至關(guān)重要。直到5月下旬，微軟總裁布拉德·史密斯（Brad Smith）才透露，該公司已經(jīng)在愛荷華州建立了“先進的人工智能超級計算數(shù)據(jù)中心”，專門讓OpenAI能夠訓(xùn)練其第四代模型GPT-4。這種模型現(xiàn)在支持高級版本的ChatGPT和微軟自己的諸多產(chǎn)品，并加速了一場關(guān)于遏制人工智能社會風(fēng)險的辯論。史密斯說：“這個數(shù)據(jù)中心是由加州工程師設(shè)計的，但它實際上是在愛荷華州建造的?！?/span>在某些方面，西得梅因是訓(xùn)練強大人工智能系統(tǒng)相對高效的地方，特別是與微軟在亞利桑那州的數(shù)據(jù)中心相比，后者為同樣的計算需求消耗的水要多得多。“因此，如果你在微軟內(nèi)部開發(fā)人工智能模型，那么你應(yīng)該把模型的培訓(xùn)安排在愛荷華州，而不是亞利桑那州，”任少雷說。“在訓(xùn)練方面，這兩個地方?jīng)]有什么區(qū)別。但在用水和能源小號方面，兩者有很大的不同?！?/span>在一年中的大部分時間里，愛荷華州的天氣足夠涼爽，以至于微軟可以使用外部空氣來保持超級計算機的正常運行，并將熱量排出大樓。該公司在一份公開披露的文件中表示，只有當(dāng)溫度超過29.3攝氏度時，它才會利用水來降溫。即便如此，微軟可能仍然需要使用大量的水，特別是在夏天。根據(jù)西得梅因水廠的數(shù)據(jù)，2022年7月，也就是OpenAI表示完成GPT-4培訓(xùn)的前一個月，微軟向其愛荷華州的數(shù)據(jù)中心群注入了約1150萬加侖的水。這相當(dāng)于該地區(qū)總用水量的6%左右，該水廠也為當(dāng)?shù)鼐用裉峁╋嬘盟?/span>2022年，西得梅因水廠的一份文件稱，該公司和市政府只會考慮微軟未來的特定數(shù)據(jù)中心項目，前提是這些項目能夠“展示并實施技術(shù)，大幅降低當(dāng)前水平的高峰用水量”，以保護住宅和其他商業(yè)用戶的供水。微軟表示，該公司正在直接與自來水廠合作，以解決反饋意見。自來水廠在一份書面聲明中表示，微軟始終是一個很好的合作伙伴，一直在與當(dāng)?shù)毓賳T合作，在滿足其需求的同時減少水足跡。

03 谷歌用水量飆升20%，AI競賽讓情況變得更糟

谷歌于7月份發(fā)布的2023年環(huán)境報告顯示，該公司的用水量飆升20%，這在很大程度上也歸功于其人工智能工作。這家互聯(lián)網(wǎng)巨頭表示，其2022年消耗了56億加侖的水，相當(dāng)于37個高爾夫球場的用水量，其中52億加侖用于支持其龐大的數(shù)據(jù)中心運營，比上一年增加了20%。谷歌的用水量上漲幅度并不一致：在俄勒岡州，其用水量很穩(wěn)定，因為它吸引了公眾的注意；而在拉斯維加斯以外，它的用水量翻了一番。在愛荷華州，谷歌同樣很饑渴，其Council Bluffs數(shù)據(jù)中心用水量比其他任何地方都多。谷歌的報告詳細介紹了保持大型數(shù)據(jù)中心運行所需要的環(huán)境成本，這些數(shù)據(jù)中心通常需要大量的水才能保持涼爽。數(shù)據(jù)顯示，隨著谷歌和人工智能競賽中的所有其他科技公司加快建設(shè)新的數(shù)據(jù)中心，它們的用水量很可能會繼續(xù)上升。2019年，谷歌僅在三個州就為數(shù)據(jù)中心申請了超過23億加侖的水。該公司目前在北美擁有14個數(shù)據(jù)中心，用于支持其產(chǎn)品套件Google Search，以及最近推出的Lamda和Bard等大語言模型。數(shù)據(jù)顯示，僅Lamda就可能需要數(shù)百萬升水來進行培訓(xùn)，比GPT-3還要多，因為谷歌的幾個干渴的數(shù)據(jù)中心都位于得克薩斯州等炎熱的州。

加州大學(xué)河濱分校電氣與計算機工程系副教授任少雷指出，谷歌用水量增加20%幾乎與其計算能力的增長同時發(fā)生，而谷歌的計算能力在很大程度上是由人工智能推動的。然而，任少雷表示，他對這種增長能否長期持續(xù)持懷疑態(tài)度，即使谷歌承諾補充水資源以抵消其使用量。他說：“這只是讓他們的水務(wù)賬目看起來更好，但水仍然被大量消耗?！?/span>谷歌表示，2030年是其辦公室和數(shù)據(jù)中心補充120%淡水的最后期限。根據(jù)它自己的報告，目前它只補充了6%的淡水。谷歌目前消耗的大部分水都是“可飲用的”，足夠干凈，可以用作飲用水。谷歌在最新報告中指出，該公司已經(jīng)考慮到緩解“當(dāng)?shù)氐乃Y源壓力”（水資源短缺的另一種方法），并表示到 2022 年，其淡水抽取量的 82% 將來自水資源相對豐富的地區(qū)。對于剩下的18%，谷歌稱其正在探索新的合作伙伴和機會來改善用水情況，但隨著更多的地方面臨水資源短缺，它可能會面臨越來越大的阻力。2019年，谷歌計劃在亞利桑那州梅薩建立一個數(shù)據(jù)中心，保證每天最多供水400萬加侖。但正如媒體最近指出的那樣，亞利桑那州已經(jīng)面臨水資源短缺困擾，這可能會阻止其批準(zhǔn)谷歌類似的交易。事實上，谷歌的一位發(fā)言人表示，一旦數(shù)據(jù)中心建成，那里將使用“風(fēng)冷技術(shù)”。這表明谷歌正在努力尋找更可持續(xù)的用水策略，以應(yīng)對不斷增長的用水需求。04 Meta新AI模型用水總量驚人微軟和谷歌并不是唯一感到越來越饑渴的公司。Facebook母公司Meta也在亞利桑那州建設(shè)一個數(shù)據(jù)中心，2022年用水量超過260萬立方米(約合6.97億加侖)，主要用于冷卻數(shù)據(jù)中心。此外，Meta最新的大語言模型Llama 2，也需要大量的水來訓(xùn)練。 今年7月份，Meta發(fā)布了名為Llama 2的大型新人工智能模型。科技行業(yè)的人都感到很興奮，除了任少雷，他對訓(xùn)練這些大語言模型需要消耗的水量感到擔(dān)心。任少雷估計，訓(xùn)練Llama 2需要的用水總量高達1090萬升，如果不包括水力發(fā)電，則為280萬升。普通人平均每天要喝大約3升水。Meta沒有透露它用了多少水來訓(xùn)練這個人工智能模型。不過，該公司確實披露了耗電量。任少雷以此為基礎(chǔ)，研究了Meta數(shù)據(jù)中心在使用能源和水方面的效率。他說，Llama 2幾乎是Meta今年早些時候推出的上一款大型人工智能模型Llama 1的水足跡的兩倍。數(shù)據(jù)中心已經(jīng)消耗了大量的能源，人工智能的蓬勃發(fā)展預(yù)計將大幅增加這種消耗。任少雷表示：“如果用電量增加，碳足跡和水足跡等其他東西也會隨之增加?！?Meta發(fā)言人沒有就任少雷的估算進行置評。Meta的數(shù)據(jù)中心在2021年使用了超過500萬立方米的水，大約相當(dāng)于13.3億加侖。該公司尚未分享2022年的數(shù)據(jù)。到今年年底或者明年，Meta將在亞利桑那州建成并擴建一個數(shù)據(jù)中心，其用水量將繼續(xù)攀升。

4. Nvidia發(fā)布TensorRT-LLM開源軟件 提升高端GPU芯片上的AI模型性能

原文：https://new.qq.com/rain/a/20230911A075ZW00

Nvidia近日宣布推出一款名為TensorRT-LLM的新開源軟件套件，擴展了Nvidia GPU上大型語言模型優(yōu)化的功能，并突破了部署之后人工智能推理性能的極限。生成式AI大語言模型因其令人印象深刻的功能而變得流行，而且擴大了人工智能的可能性，被廣泛應(yīng)用于眾多行業(yè)，讓用戶能夠通過聊天機器人“與數(shù)據(jù)對話”、總結(jié)大型文檔、編寫軟件代碼、以及發(fā)現(xiàn)理解信息的新方法。Nvidia公司超大規(guī)模和高性能計算副總裁Ian Buck表示：“大型語言模型推理變得越來越難。模型的復(fù)雜性不斷增加，模型變得越來越智能，也變得越來越大，這是很自然的，但當(dāng)模型擴展到單個GPU之外并且必須在多個GPU上運行的時候，就成了一大難題?！?/span>在人工智能方面，推理是模型處理那些前所未見的新數(shù)據(jù)的一個過程，例如用于總結(jié)、生成代碼、提供建議或者回答問題，是大型語言模型的主力。隨著模型生態(tài)系統(tǒng)的迅速擴展，模型也變得越來越大，功能越來越多，這也意味著模型變得如此之大以至于無法同時運行在單個GPU上，而必須將其分開。開發(fā)人員和工程師必須手動將工作負載分開或分段，協(xié)調(diào)執(zhí)行，以便實時獲得響應(yīng)。TensorRT-LLM就是通過“張量并行性”幫助解決這個問題的，允許跨多個GPU進行大規(guī)模的高效推理。除此之外，由于當(dāng)今市場中有各種各樣的大型語言模型，所以Nvidia針對目前主流的大型語言模型對核心進行了優(yōu)化。該軟件套件包括了完全優(yōu)化的、可立即運行的大型語言模型版本，包括Meta Platform的Llama 2、OpenAI的GPT-2和GPT-3、Falcon、MosaicMPT和BLOOM。

應(yīng)對動態(tài)工作負載的“運行中批處理”機制

由于大型語言模型本身的性質(zhì)，模型的工作負載可能是高度動態(tài)的，工作負載的需求和任務(wù)使用情況也可能會隨著時間的推移而發(fā)生變化，單個模型可以同時用作聊天機器人來提問和回答，也可以用于總結(jié)大型文檔和簡短文檔。因此，輸出大小可能會出現(xiàn)完全不同的數(shù)量級。為了應(yīng)對這些不同的工作負載，TensorRT-LLM引入了一種稱為“運行中批處理”的機制，這是一個優(yōu)化調(diào)度的過程，把文本生成過程分解為多個片段，以便可以將移入或者移出GPU，這樣在開始新一批之前就不需要完成整批工作負載了。以前，如果有大型請求的話，例如對非常大的文檔進行摘要提取，那么后面所有的內(nèi)容都必須等待該過程完成才能使隊列繼續(xù)前進。Nvidia一直在與眾多廠商合作優(yōu)化TensorRT-LLM，包括Meta、Cohere、Grammarly、Databricks和Tabnine。在他們的幫助下，Nvidia不斷簡化軟件套件中的功能和工具集，包括開源Python應(yīng)用用戶界面，用于定義和優(yōu)化新架構(gòu)以定制大型語言模型。例如，MosaicML在將TensorRT-LLM與其現(xiàn)有軟件堆棧集成時在TensorRT-LLM之上添加額外的功能。Databricks公司工程副總裁Naveen Rao表示，這是一個簡單的過程。“TensorRT-LLM易于使用，功能豐富，包括令牌流、動態(tài)批處理、分頁注意力、量化等，而且效率很高，為使用 NVIDIA GPU的大型語言模型服務(wù)提供了最佳性能，并使我們能夠?qū)⒐?jié)省的成本回饋給我們的客戶。”Nvidia稱，TensorRT-LLM及其帶來的好處（包括運行中批處理功能）可以讓使用Nvidia H100提取文章摘要的推理性能提高1倍多。在使用GPT-J-6B模型進行對CNN/每日郵報文章摘要的A100測試中，僅H100就要比A100快4倍，啟用TensorRT-LLM優(yōu)化后，速度快了8倍。TensorRT-LLM為開發(fā)人員和工程師提供了深度學(xué)習(xí)編譯器、優(yōu)化的大型語言模型內(nèi)核、預(yù)處理和后處理、多GPU/多節(jié)點通信功能、以及簡單的開源API，使他們能夠快速優(yōu)化和執(zhí)行大型語言模型生產(chǎn)的推理。隨著大型語言模型繼續(xù)重塑數(shù)據(jù)中心，企業(yè)需要更高的性能就意味著開發(fā)人員比以往任何時候都更需要能夠為他們提供具備功能和訪問權(quán)限的工具，以提供更高性能的結(jié)果。TensorRT-LLM軟件套件現(xiàn)已可供Nvidia開發(fā)人員計劃中的開發(fā)人員搶先體驗，并將于下個月集成到用于生產(chǎn)型AI端到端軟件平臺Nvidia AI Enterprise的NeMo框架中。

5. 魔法打敗魔法，AI數(shù)據(jù)需要AI解決方案

原文：https://new.qq.com/rain/a/20230914A07W7X00

根據(jù)Kompprise委托進行的“非結(jié)構(gòu)化數(shù)據(jù)管理狀況”調(diào)查 顯示，人工智能正成為IT和商業(yè)領(lǐng)袖面臨的主要數(shù)據(jù)管理挑戰(zhàn)。研究顯示，公司在很大程度上允許員工使用生成型人工智能，但三分之二（66%）的公司擔(dān)心它可能帶來的數(shù)據(jù)治理風(fēng)險，包括隱私、安全以及供應(yīng)商解決方案中缺乏數(shù)據(jù)源透明度。這項由數(shù)據(jù)管理供應(yīng)商Kompprise委托進行的“非結(jié)構(gòu)化數(shù)據(jù)管理狀況”調(diào)查收集了美國和英國擁有1000多名員工的公司的300名企業(yè)存儲IT和業(yè)務(wù)決策者的回復(fù)。雖然只有10%的組織不允許員工使用生成人工智能，但大多數(shù)組織擔(dān)心不道德、有偏見或不準(zhǔn)確的輸出，以及公司數(shù)據(jù)泄露到供應(yīng)商的人工智能系統(tǒng)中。為了應(yīng)對這些挑戰(zhàn)，同時也從人工智能中尋找競爭優(yōu)勢，研究發(fā)現(xiàn)，40%的領(lǐng)導(dǎo)者正在采取多管齊下的方法來降低人工智能中非結(jié)構(gòu)化數(shù)據(jù)的風(fēng)險，包括存儲、數(shù)據(jù)管理和安全工具，以及使用內(nèi)部工作組來監(jiān)督人工智能的使用。領(lǐng)導(dǎo)者面臨的最大非結(jié)構(gòu)化數(shù)據(jù)管理挑戰(zhàn)是“在不干擾用戶和應(yīng)用程序的情況下移動數(shù)據(jù)”（47%），但緊隨其后的是“為人工智能和云服務(wù)做準(zhǔn)備”（46%）。“生成式人工智能對數(shù)據(jù)治理和保護提出了新的問題，” NAND Research首席分析師Steve McDowell表示，“研究顯示，IT領(lǐng)導(dǎo)者正在努力在快速推出生成式人工智能解決方案的同時，負責(zé)平衡企業(yè)數(shù)據(jù)的保護，但這是一個困難的挑戰(zhàn)，需要采用智能工具?！?/span>“IT領(lǐng)導(dǎo)者正在將重點轉(zhuǎn)移到利用生成性人工智能解決方案上，但他們希望在這樣做時有所限制， ” Kompprise首席執(zhí)行官Kumar Goswami補充道，“人工智能的數(shù)據(jù)治理需要正確的數(shù)據(jù)管理策略，包括跨數(shù)據(jù)存儲孤島的可見性、數(shù)據(jù)來源的透明度、高性能的數(shù)據(jù)移動性和安全的數(shù)據(jù)訪問?！?/span>

6. 俄IT巨頭Yandex開發(fā)GPT大模型，稱與ChatGPT抗衡“只是時間問題”

原文：https://www.163.com/dy/article/IE9Q30M00511B8LM.html

俄媒 Russia Today 當(dāng)?shù)貢r間 9 日報道，當(dāng)?shù)乜萍季揞^ Yandex 在采訪中表示，該公司開發(fā)的 YandexGPT 相比于美國競爭對手 OpenAI 開發(fā)的 ChatGPT 而言，具有更大的前途。 andex 的搜索和廣告技術(shù)業(yè)務(wù)部主管 Dmitry Masyuk 表示，YandexGPT 在生成俄語內(nèi)容時的表現(xiàn)已經(jīng)能夠“穩(wěn)步超越”ChatGPT 3.5 版本，甚至在許多情況下提供了優(yōu)于 ChatGPT 4.0 的回答，更表示 YandexGPT 與其美國對手抗衡將“只是時間問題”。而跟 Meta 公司開發(fā)的 Llama-2-7b 相比，YandexGPT 也能夠生成“更好的回答”，包括生成英語內(nèi)容的情況。Dmitry Masyuk 也稱，公司正在不斷評估其生成式 AI 與 ChatGPT 的技術(shù)進展情況。很難對這兩個系統(tǒng)進行比較，它們可能各有所長。比如說，一個能夠解決物理學(xué)問題、撰寫童話故事、給 CEO 寫信的神經(jīng)網(wǎng)絡(luò)在某些方面做得更好，而在其他方面稍顯遜色，那么總體來看，這個系統(tǒng)該說它“更好”，還是“更差”呢？IT之家注：Yandex 的大模型產(chǎn)品于今年 5 月首發(fā)亮相，包含聊天機器人、AI 助手，能夠生成、重構(gòu)或匯總基于文本內(nèi)容的信息，并可解決其他業(yè)務(wù)有關(guān)問題。今年 9 月，該公司推出了這款大模型產(chǎn)品的升級版 ——YandexGPT 2，號稱能夠解決更多問題，用于更多場景，提供更加精確的答案。 ———————End——————— 點擊閱讀原文進入官網(wǎng)