谷歌多模態(tài)大模型PaLI研究神經(jīng)網(wǎng)絡(luò)

語(yǔ)言和視覺(jué)任務(wù)的建模中，更大的神經(jīng)網(wǎng)絡(luò)模型能獲得更好的結(jié)果，幾乎已經(jīng)是共識(shí)。在語(yǔ)言方面，T5、GPT-3、Megatron-Turing、GLAM、Ch...

2022-10-09 標(biāo)簽：谷歌神經(jīng)網(wǎng)絡(luò)大模型 1381 0

AI大模型的白堊紀(jì)

美好的長(zhǎng)假即將過(guò)去，我們又該忙起來(lái)了。在AI領(lǐng)域，這兩年最忙的一項(xiàng)基礎(chǔ)技術(shù)應(yīng)該非大模型莫屬。 隨著最近AI繪畫、AI生成視頻等能力不斷刷新大眾對(duì)AI技術(shù)...

2022-10-08 標(biāo)簽：AI人工智能大模型 946 0

大模型的禾下乘涼夢(mèng)，百度自己來(lái)做試驗(yàn)田

禾下乘涼夢(mèng)，是一個(gè)今天國(guó)人無(wú)比熟悉的詞。它來(lái)自袁隆平院士對(duì)雜交水稻高產(chǎn)的理想追求，是袁隆平的中國(guó)夢(mèng)。他生前多次提到，夢(mèng)想到禾下乘涼，夢(mèng)里水稻長(zhǎng)得有高粱那...

2022-09-27 標(biāo)簽：AI人工智能大模型 1028 0

百度文心大模型實(shí)現(xiàn)端到端極致的性能優(yōu)化

王海峰在致辭中提出，大模型的產(chǎn)業(yè)模式將是“類臺(tái)積電”模式。大模型加深度學(xué)習(xí)平臺(tái)，貫通AI全產(chǎn)業(yè)鏈，是產(chǎn)業(yè)智能化的基座。

2022-09-02 標(biāo)簽：百度人工智能飛槳 785 0

如何在GPU資源受限的情況下訓(xùn)練transformers庫(kù)上面的大模型

自BERT出現(xiàn)以來(lái)，nlp領(lǐng)域已經(jīng)進(jìn)入了大模型的時(shí)代，大模型雖然效果好，但是畢竟不是人人都有著豐富的GPU資源，在訓(xùn)練時(shí)往往就捉襟見(jiàn)肘，出現(xiàn)顯存out ...

2022-08-31 標(biāo)簽：gpu自然語(yǔ)言處理nlp 2881 0

基于昇騰AI的“空天.靈眸”大模型應(yīng)用 能大幅節(jié)省訓(xùn)練數(shù)據(jù)標(biāo)注成本

在中國(guó)圖象圖形大會(huì)的華為昇思MindSpore技術(shù)論壇上，中國(guó)科學(xué)院空天信息創(chuàng)新研究院（以下簡(jiǎn)稱“空天院”）發(fā)布了首個(gè)面向跨模態(tài)遙感數(shù)據(jù)的生成式預(yù)訓(xùn)練大...

2022-08-23 標(biāo)簽：AI模型昇騰 2239 0

百度飛槳及文心大模型賦能千行百業(yè)

2021中國(guó)自動(dòng)化大會(huì)2022年8月11日至13日在云南昆明舉辦，多位院士、專家參會(huì)并做特邀報(bào)告。中國(guó)自動(dòng)化大會(huì)是由中國(guó)自動(dòng)化學(xué)會(huì)主辦的國(guó)內(nèi)最高層次的自...

2022-08-14 標(biāo)簽：AI百度飛槳 1229 0

參天生長(zhǎng)大模型：昇騰AI如何強(qiáng)壯模型開(kāi)發(fā)與創(chuàng)新之根？

自2018年谷歌發(fā)布BERT以來(lái)，預(yù)訓(xùn)練大模型經(jīng)過(guò)幾年的發(fā)展，以強(qiáng)大的算法效果，席卷了以NLP為代表的各大AI榜單與測(cè)試數(shù)據(jù)集。2020年OpenAI發(fā)...

2022-08-11 標(biāo)簽：華為算法AI 1896 0

大模型技術(shù)發(fā)展背景

我們今天看到了一個(gè)明顯的趨勢(shì)就是 AI 正從感知智能快速向認(rèn)知智能邁進(jìn)。AI 正從“能聽(tīng)、會(huì)說(shuō)、會(huì)看”的感知智能，走向“能思考、能回答問(wèn)題、能總結(jié)、做翻...

2022-07-26 標(biāo)簽：人工智能nlp大模型 3426 0

運(yùn)營(yíng)商AI機(jī)遇：以大模型拓展全新賽道

東數(shù)西算正在成為各行業(yè)的普遍機(jī)遇，對(duì)于運(yùn)營(yíng)商來(lái)說(shuō)也是如此。 東數(shù)西算帶來(lái)了全新的算力網(wǎng)絡(luò)建設(shè)需求，以及各行業(yè)普遍的網(wǎng)絡(luò)升級(jí)需求。在這一大背景下，運(yùn)營(yíng)商還...

2022-07-20 標(biāo)簽：運(yùn)營(yíng)商AI昇騰 2104 0

只需添加幾行代碼，就能實(shí)現(xiàn)大模型的低成本訓(xùn)練和微調(diào)

要知道，業(yè)界主流方法ZeRO （Zero Reduency Optimizer），盡管也利用CPU+GPU異構(gòu)內(nèi)存的方法，但是由于是靜態(tài)劃分，還是會(huì)引起...

2022-07-14 標(biāo)簽：開(kāi)源模型代碼 3136 0