女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

基于動態(tài)編譯(Just-in-Time)的全新深度學(xué)習(xí)框架

電子設(shè)計 ? 來源:風(fēng)君子 ? 作者:風(fēng)君子 ? 2020-11-25 11:08 ? 次閱讀

據(jù)官方消息,清華大學(xué)計算機(jī)系圖形實驗室宣布開源一個全新的深度學(xué)習(xí)框架:Jittor,中文名計圖。

Jittor 是一個采用元算子表達(dá)神經(jīng)網(wǎng)絡(luò)計算單元、完全基于動態(tài)編譯(Just-in-Time)的深度學(xué)習(xí)框架。[1]

據(jù)介紹,Jittor 內(nèi)部使用創(chuàng)新的元算子和統(tǒng)一計算圖的深度學(xué)習(xí)框架。和 Numpy 相比,元算子在保證易用性的同時,能夠?qū)崿F(xiàn)更復(fù)雜、更高效的操作。而統(tǒng)一計算圖則是融合了靜態(tài)計算圖和動態(tài)計算圖的諸多優(yōu)點(diǎn),在易于使用的同時,提供高性能的優(yōu)化。基于元算子開發(fā)的深度學(xué)習(xí)模型,可以被計圖實時自動優(yōu)化并且運(yùn)行 CPUGPU 等指定的硬件上。

Jittor 特性

Jittor 是基于易用、可定制、實現(xiàn)與優(yōu)化分離、即時的理念設(shè)計的。用戶只需要數(shù)行代碼,就可定義新的算子和模型,且所有的代碼都是即時編譯運(yùn)行。

在 Jittor 上,多個元算子之間可以相互融合,成為更加復(fù)雜的算子,進(jìn)一步構(gòu)成神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)應(yīng)用。

支持計算任意高階導(dǎo)數(shù)。元算子在 Jittor 上反向傳播后仍然是元算子,因此,在深度學(xué)習(xí)開發(fā)過程中,你不用算子的反向傳播而重復(fù)開發(fā)。同時,還可以使用統(tǒng)一的優(yōu)化策略。

使用 Jittor 內(nèi)置的元算子編譯器,用戶可以直接將通過元算子編寫的 Python 代碼動態(tài)編譯成更高效的 C++ 代碼。

Jittor 能夠自動優(yōu)化動態(tài)編譯的代碼。其內(nèi)置的優(yōu)化編譯遍(complier pass)兼容 LLVM,可以根據(jù)設(shè)備進(jìn)行自動優(yōu)化,生成的底層算子對計算設(shè)備非常友好。

Jittor 統(tǒng)一管理 GPU 和 CPU 的內(nèi)存。當(dāng)深度學(xué)習(xí)耗盡 GPU 內(nèi)存資源時,將用 CPU 內(nèi)存彌補(bǔ)。

Jittor 同時提供同步接口和異步接口,用戶可以同時享受同步接口的易用性和異步接口的高效性。

使用輔助轉(zhuǎn)換腳本,PyTorch 代碼可以直接轉(zhuǎn)換成 Jittor 模型。在參數(shù)保存和數(shù)據(jù)傳輸上,Jittor使用和 PyTorch 一樣的 Numpy+pickle 協(xié)議,二者的模型可以相互加載和調(diào)用。

性能超越 Pytorch

雖然這是清華大學(xué)第一次發(fā)布開源機(jī)器學(xué)習(xí)框架,但與國際主流平臺相比,Jittor 豪不遜色。 目前 ResNet、VGG、SSD、DeepLab、LSGAN 等多個網(wǎng)絡(luò)模型已經(jīng)在 Jittor 平臺實現(xiàn),可供用戶使用。與同類型框架相比,Jittor 在收斂精度一致情況下,推理速度取得了 10%-50% 的性能提升 。

目前,Jittor 得到了國家自然科學(xué)基金項目、北京信息科學(xué)與技術(shù)國家研究中心團(tuán)隊項目和清華-騰訊聯(lián)合實驗室項目的資助和支持。

開源超級玩家

開源,特別是人工智能領(lǐng)域的開源,逐漸成為綜合實力的象征。清華在這方面有著獨(dú)到的優(yōu)勢。

首先,是在人工智能領(lǐng)域的學(xué)術(shù)傳承。2019 年,清華人工智能研究院動作頻頻,在張鈸院士的帶領(lǐng)下,4 月成立聽覺智能研究中心,由鄭方教授擔(dān)任主任,5 月成立基礎(chǔ)理論研究中心,朱軍任主任,在基礎(chǔ)算法AI 框架、AI 應(yīng)用、數(shù)據(jù)資源等方面早已布好基礎(chǔ)。

第一代院士打好基礎(chǔ),第二代老師形成了中堅力量。此次驚艷推出的計圖(Jittor),牽頭人就是清華大學(xué)計算機(jī)系的胡事民教授,1969 年生人,正屬于中堅,而開發(fā)團(tuán)隊的主體,正是他帶領(lǐng)的圖形學(xué)實驗室的一批博士生。今天出世的計圖更不免讓人想到當(dāng)年的清華畢業(yè)生賈揚(yáng)清,他在加州大學(xué)伯克利分校攻讀博士期間創(chuàng)建了 Caffe 項目。

清華大學(xué)自然語言處理實驗室(THUNLP)也有一個知名的開源項目,叫 OpenNRE。[2] 這是一個在自然語言處理里進(jìn)行關(guān)系提取的開源框架,可以用于擴(kuò)展知識圖譜,是推薦系統(tǒng)、搜索引擎、問題解答這些應(yīng)用的基礎(chǔ)和關(guān)鍵技術(shù)。

實驗室由孫茂松教授領(lǐng)銜,帶出了一批骨干老師,以及本碩博的尖子。THUNLP 在 GitHub 上得到的 star,已經(jīng)跟全球最強(qiáng)的斯坦福 NLP 小組的 star 差不多了。

由此帶出的第三代學(xué)生梯隊也人才濟(jì)濟(jì)。清華姚班自不必說,去年以本科人才培養(yǎng)著名的姚期智教授又開設(shè)智班,重點(diǎn)培養(yǎng)人工智能領(lǐng)域的后備軍。

姚班畢業(yè),目前在 MIT 就讀的博士生胡淵鳴,設(shè)計、實現(xiàn)了 Taichi 編程語言及其優(yōu)化編譯器,后生可畏。[3]

另外,清華和企業(yè)以實驗室形式的合作,碩果累累,吸引了像張亞勤、沈向洋這樣的大師級科學(xué)家加入。

比如,清華和微軟研究院合作了 Convlab 開源端到端對話系統(tǒng) [4],和美團(tuán)合作了視頻動作分析的開源數(shù)據(jù)集 COIN [5]。

去年,清華-伯克利深圳學(xué)院更是成立了“RISC-V 國際開源實驗室”,直接將圖靈獎得主、最早提出“精簡指令集”(RISC)體系的大衛(wèi)·帕特森(David Patterson)引入,抓住了開源和源創(chuàng)的源頭,有可能在芯片領(lǐng)域形成新的開源 CPU 生態(tài)體系,打造國家重器。

編輯:hfy
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 神經(jīng)網(wǎng)絡(luò)

    關(guān)注

    42

    文章

    4807

    瀏覽量

    102771
  • gpu
    gpu
    +關(guān)注

    關(guān)注

    28

    文章

    4910

    瀏覽量

    130653
  • 人工智能
    +關(guān)注

    關(guān)注

    1804

    文章

    48704

    瀏覽量

    246470
  • 深度學(xué)習(xí)
    +關(guān)注

    關(guān)注

    73

    文章

    5554

    瀏覽量

    122478
收藏 人收藏

    評論

    相關(guān)推薦
    熱點(diǎn)推薦

    Triton編譯器的優(yōu)勢與劣勢分析

    Triton編譯器作為一種新興的深度學(xué)習(xí)編譯器,具有一系列顯著的優(yōu)勢,同時也存在一些潛在的劣勢。以下是對Triton編譯器優(yōu)勢與劣勢的分析:
    的頭像 發(fā)表于 12-25 09:07 ?1032次閱讀

    Triton編譯器在機(jī)器學(xué)習(xí)中的應(yīng)用

    多種深度學(xué)習(xí)框架,如TensorFlow、PyTorch、ONNX等,使得開發(fā)者能夠輕松地將不同框架下訓(xùn)練的模型部署到GPU上。 2. Triton
    的頭像 發(fā)表于 12-24 18:13 ?874次閱讀

    Triton編譯器支持的編程語言

    編寫和優(yōu)化深度學(xué)習(xí)代碼。Python是一種廣泛使用的高級編程語言,具有簡潔易讀、易于上手、庫豐富等特點(diǎn),非常適合用于深度學(xué)習(xí)應(yīng)用的開發(fā)。 二、領(lǐng)域特定語言(DSL) Triton也提供
    的頭像 發(fā)表于 12-24 17:33 ?859次閱讀

    Triton編譯器與其他編譯器的比較

    Triton編譯器與其他編譯器的比較主要體現(xiàn)在以下幾個方面: 一、定位與目標(biāo) Triton編譯器 : 定位:專注于深度學(xué)習(xí)中最核心、最耗時的
    的頭像 發(fā)表于 12-24 17:25 ?885次閱讀

    NPU在深度學(xué)習(xí)中的應(yīng)用

    隨著人工智能技術(shù)的飛速發(fā)展,深度學(xué)習(xí)作為其核心驅(qū)動力之一,已經(jīng)在眾多領(lǐng)域展現(xiàn)出了巨大的潛力和價值。NPU(Neural Processing Unit,神經(jīng)網(wǎng)絡(luò)處理單元)是專門為深度學(xué)習(xí)
    的頭像 發(fā)表于 11-14 15:17 ?1697次閱讀

    GPU深度學(xué)習(xí)應(yīng)用案例

    GPU在深度學(xué)習(xí)中的應(yīng)用廣泛且重要,以下是一些GPU深度學(xué)習(xí)應(yīng)用案例: 一、圖像識別 圖像識別是深度學(xué)習(xí)
    的頭像 發(fā)表于 10-27 11:13 ?1101次閱讀

    AI大模型與深度學(xué)習(xí)的關(guān)系

    AI大模型與深度學(xué)習(xí)之間存在著密不可分的關(guān)系,它們互為促進(jìn),相輔相成。以下是對兩者關(guān)系的介紹: 一、深度學(xué)習(xí)是AI大模型的基礎(chǔ) 技術(shù)支撐 :深度
    的頭像 發(fā)表于 10-23 15:25 ?2688次閱讀

    NVIDIA推出全新深度學(xué)習(xí)框架fVDB

    在 SIGGRAPH 上推出的全新深度學(xué)習(xí)框架可用于打造自動駕駛汽車、氣候科學(xué)和智慧城市的 AI 就緒型虛擬表示。
    的頭像 發(fā)表于 08-01 14:31 ?1021次閱讀

    深度學(xué)習(xí)編譯器和推理引擎的區(qū)別

    深度學(xué)習(xí)編譯器和推理引擎在人工智能領(lǐng)域中都扮演著至關(guān)重要的角色,但它們各自的功能、應(yīng)用場景以及優(yōu)化目標(biāo)等方面存在顯著的差異。以下是對兩者區(qū)別的詳細(xì)探討。
    的頭像 發(fā)表于 07-17 18:12 ?1686次閱讀

    PyTorch深度學(xué)習(xí)開發(fā)環(huán)境搭建指南

    PyTorch作為一種流行的深度學(xué)習(xí)框架,其開發(fā)環(huán)境的搭建對于深度學(xué)習(xí)研究者和開發(fā)者來說至關(guān)重要。在Windows操作系統(tǒng)上搭建PyTorc
    的頭像 發(fā)表于 07-16 18:29 ?2263次閱讀

    深度學(xué)習(xí)中的時間序列分類方法

    時間序列分類(Time Series Classification, TSC)是機(jī)器學(xué)習(xí)深度學(xué)習(xí)領(lǐng)域的重要任務(wù)之一,廣泛應(yīng)用于人體活動識別、系統(tǒng)監(jiān)測、金融預(yù)測、醫(yī)療診斷等多個領(lǐng)域。隨
    的頭像 發(fā)表于 07-09 15:54 ?1926次閱讀

    深度學(xué)習(xí)與nlp的區(qū)別在哪

    深度學(xué)習(xí)和自然語言處理(NLP)是計算機(jī)科學(xué)領(lǐng)域中兩個非常重要的研究方向。它們之間既有聯(lián)系,也有區(qū)別。本文將介紹深度學(xué)習(xí)與NLP的區(qū)別。 深度
    的頭像 發(fā)表于 07-05 09:47 ?1504次閱讀

    深度學(xué)習(xí)常用的Python庫

    深度學(xué)習(xí)常用的Python庫,包括核心庫、可視化工具、深度學(xué)習(xí)框架、自然語言處理庫以及數(shù)據(jù)抓取庫等,并詳細(xì)分析它們的功能和優(yōu)勢。
    的頭像 發(fā)表于 07-03 16:04 ?1064次閱讀

    TensorFlow與PyTorch深度學(xué)習(xí)框架的比較與選擇

    深度學(xué)習(xí)作為人工智能領(lǐng)域的一個重要分支,在過去十年中取得了顯著的進(jìn)展。在構(gòu)建和訓(xùn)練深度學(xué)習(xí)模型的過程中,深度
    的頭像 發(fā)表于 07-02 14:04 ?1508次閱讀

    深度學(xué)習(xí)與傳統(tǒng)機(jī)器學(xué)習(xí)的對比

    在人工智能的浪潮中,機(jī)器學(xué)習(xí)深度學(xué)習(xí)無疑是兩大核心驅(qū)動力。它們各自以其獨(dú)特的方式推動著技術(shù)的進(jìn)步,為眾多領(lǐng)域帶來了革命性的變化。然而,盡管它們都屬于機(jī)器學(xué)習(xí)的范疇,但
    的頭像 發(fā)表于 07-01 11:40 ?2220次閱讀