女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

在微軟云機器學習平臺Azure ML上利用OpenVINO快速實現AI推理

英特爾中國 ? 來源:英特爾中國 ? 作者:武卓博士 ? 2022-07-25 11:21 ? 次閱讀

作者

英特爾AI軟件布道師

武卓博士

曾主持國家級及省部級科研項目十余項,已授權國際國內專利十余項。

目前,數字化浪潮席卷全球,人類社會已經進入智能時代。萬物互聯的數字化浪潮下,端—邊—云協同是實現數字化智能化的重要架構之一。本文我們將簡要分析邊云協同的必要性,并介紹如何使用英特爾開源的OpenVINO工具套件,在“端—邊—云”快速實現高性能人工智能推理。

1邊云協同的必要性及

OpenVINO工具套件簡介

眾所周知,18世紀60年代人類開始了第一次工業革命,從此進入“蒸汽時代”,接著進入了電氣時代和信息時代,當前人類社會正在發生第四次工業革命,即智能時代。英特爾首席執行官帕特·基辛格在2021年世界互聯網大會烏鎮峰會上指出,要擁抱四大超級技術力量。這四大超級技術力量分別是:第一,無所不在的計算。計算能力正滲透到我們生活的方方面面,作為人和技術的交互點,跨越現有和新興設備。第二,無處不在的連接,即萬物互聯。第三,從云到邊緣的基礎設施。它創造一個動態可靠的路徑來連接計算和數據,實現規模和容量無限擴展的云與無限延伸的智能邊緣相結合。第四是人工智能。這四大超級技術力量并不是技術孤島,而且相互協同,相互融合,共同推動產業的巨大變革。

a5368f52-042c-11ed-ba43-dac502259ad0.png

四大超級技術力量使得數據一旦產生之后,能夠在相應的節點做快速且及時的處理,從而減少數據處理的延時;高價值數據經過邊緣提取后,高效率的傳遞到云端,借助云端的超級計算力量挖掘數據背后隱含的價值,讓用戶可以開發相應的服務,實現科技向善。沒有邊云協同,這四大超級技術力量將被割裂,數據將成為孤島,智能時代要求的智能化、無人化和集群化將無法實現。如下圖所示,將云端規模開發的優勢與邊緣端推理的好處結合起來,能夠使得邊云協同的優勢發揮到最大化,將無限的數據變成可操作的洞察力。

a5589ef8-042c-11ed-ba43-dac502259ad0.png

下圖是一個智能制造工廠中,利用“端—邊—云”協同架構,利用人工智能技術實現實時產品缺陷檢測的例子。在這個場景中,每個工位構成了“端”,在工位上架設的攝像頭可以每秒采集超過400張產品生產過程中的圖片。因此,在端這一側利用 AI 推理技術,對實時產生的大量圖片進行 AI 推理,從而避免將海量數據同時傳輸到云端產生的高成本及延時。生產流水線構成了這個場景中的“邊”,一些更為復雜的推理任務可以實時的在邊側完成,并進行跨工位的調度。最終所有的推理結果可以進一步推送到云端,進行數據集中以及更為深層次的分析,同時邊緣端產生的部分數據也可以推送至云端,作為訓練數據的補充,用于對深度學習模型進行重訓練,以獲得更高的準確性。

a579a26a-042c-11ed-ba43-dac502259ad0.png

a58cb472-042c-11ed-ba43-dac502259ad0.png

通過上述的例子,我們可以看出,在邊云協同的架構中,一個很重要的步驟就是將 AI 的推理擴展到邊緣端,避免邊緣端產生的大量數據向云端同時進行傳輸所引起的高成本,可以獲得接近或處于邊緣的近實時決策。而能夠實現邊緣端方便進行 AI 模型部署及推理加速的重要工具之一,就是由英特爾開源的OpenVINO工具套件。

a59d034a-042c-11ed-ba43-dac502259ad0.png

OpenVINO工具套件經過近四年的發展和演進,現已正式發布了迄今為止變化最大的版本,即 OpenVINO 2022.1版本。在這一版本中,不僅支持包括基于 Tensorflow,PyTorch 在內的深度學習框,更可以支持深受中國開發者喜愛的 PaddlePaddle 飛槳深度學習框架。同時,為了方便開發者在邊緣端部署深度學習模型,實現“一次撰寫,任意部署(Write once,deploy anywhere)”的目的,OpenVINO可以支持包括英特爾 CPU、集成 GPU(iGPU)以及 VPU 在內的多個硬件平臺的部署。只需要改動一行代碼,就可以實現多硬件平臺部署。

尤為值得一提的是,在 OpenVINO2022.1版本中,為了使得開發者更加便捷的使用 OpenVINO進行深度學習的推理,更推出了 AUTO 插件(“auto device”)。開發者只需要使用這樣的一行代碼

a5c8a518-042c-11ed-ba43-dac502259ad0.png

就可以在邊緣端實施 AI 推理時,由 AUTO 插件自動化的檢測開發者環境中可以用來進行 AI 推理的設備,并自動化的選擇更為合適的硬件設備進行 AI 推理。另外,根據不同使用場景的使用需求不同,AUTO 插件在使用時,還允許開發者選擇不同的“performance hint”性能指標模式,從而按照使用需求,獲得高吞吐量或者低延時的推理性能。

a5d9c3b6-042c-11ed-ba43-dac502259ad0.png

2在微軟云機器學習平臺 Azure ML 上利用

OpenVINO快速實現 AI 推理

除了在邊緣端可以很方便地利用 OpenVINO工具套件進行快速部署以外,在云端,比如微軟云 Azure 的機器學習平臺 Azure ML 上,也可以利用 OpenVINO工具套件快速實現深度學習模型的部署,并進行相應的深度學習模型的優化及推理加速。實現步驟如下:

步驟一

在 Azure 上注冊個人賬號,并在機器學習平臺上建立自己的工作室,就類似于建立一個自己運行推理的專用路徑。工作室建立好之后,每次運行 AI 推理時,只需要點擊“啟動工作室”之后,就可以進入可以進行模型部署及推理的頁面了。

a5f8da30-042c-11ed-ba43-dac502259ad0.png

步驟二

在啟動工作室之后,即進入以下頁面。由于我們是利用OpenVINOnotebooks的 notebook代碼示例資源,因此,我們在頁面上相應選擇Notebooks,即進入可以使用Jupyter Notebook 運行代碼,進行 AI 推理的頁面。

頁面地址:https://github.com/openvinotoolkit/openvino_notebooks

a61dd466-042c-11ed-ba43-dac502259ad0.png

步驟三

在進入 Notebooks 頁面后,即可根據界面提示由本地上傳所有 Notebooks 文件夾中的代碼示例。也可以新建終端 Terminals,在終端頁面以 git clone 的方式,直接將OpenVINO Notebooks 在 GitHub 上的資源導入在 Azure ML 平臺上的工作室。

a640644a-042c-11ed-ba43-dac502259ad0.png

所有 notebooks 代碼示例導入過后,即可看到文件夾內包含的所有代碼示例。

a67075b8-042c-11ed-ba43-dac502259ad0.png

步驟四

申請 Azure 上的計算資源,運行 notebook 代碼。

a6909226-042c-11ed-ba43-dac502259ad0.png

以運行 Notebook 213 機器問答代碼示例,在申請好并打開計算資源的使用后,運行機器問答 notebook 代碼示例,運行結果如下,

a6ae5bd0-042c-11ed-ba43-dac502259ad0.gif

3小結:

在上面的內容中,我們跟大家分享了邊云協同的必要性,以及在邊緣端能夠實現快速深度學習模型優化、推理及任意部署的英特爾開源 OpenVINO工具套件。并通過一個實例,向大家展示了如何在 Azure 機器學習平臺上利用 OpenVINO快速實現深度學習模型的推理。

關于英特爾 OpenVINO開源工具套件的詳細資料,包括其中我們提供的三百多個經驗證并優化的預訓練模型的詳細資料,請您點擊:

https://www.intel.com/content/www/us/en/developer/tools/openvino-toolkit/overview.html

除此之外,為了方便大家了解并快速掌握 OpenVINO工具套件的使用,我們還提供了一系列開源的 Jupyter notebook demo。運行這些 notebook,就能快速了解在不同場景下如何利用 OpenVINO工具套件實現一系列、包括 OCR 在內的、計算機視覺及自然語言處理任務。OpenVINO notebooks的資源可以在 Github 以下地址下載安裝:

https://github.com/openvinotoolkit/openvino_notebooks

審核編輯:湯梓紅

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 英特爾
    +關注

    關注

    61

    文章

    10169

    瀏覽量

    173973
  • 機器學習
    +關注

    關注

    66

    文章

    8492

    瀏覽量

    134122
  • 微軟云
    +關注

    關注

    0

    文章

    11

    瀏覽量

    3042

原文標題:使用OpenVINO? 在“端—邊—云”快速實現高性能人工智能推理

文章出處:【微信號:英特爾中國,微信公眾號:英特爾中國】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦
    熱點推薦

    Raspberry Pi Pico 2 實現:實時機器學習ML)音頻噪音抑制功能

    Arm公司的首席軟件工程師SandeepMistry為我們展示了一種全新的巧妙方法:RaspberryPiPico2如何將音頻噪音抑制應用于麥克風輸入。機器學習
    的頭像 發表于 03-25 09:46 ?275次閱讀
    Raspberry Pi Pico 2 <b class='flag-5'>上</b><b class='flag-5'>實現</b>:實時<b class='flag-5'>機器</b><b class='flag-5'>學習</b>(<b class='flag-5'>ML</b>)音頻噪音抑制功能

    使用OpenVINO?進行推理時的內存泄漏怎么解決?

    使用 OpenVINO? 進行推理時,內存會隨著時間的推移而增加,并導致程序崩潰。
    發表于 03-06 08:29

    如何使用多攝像頭作為OpenVINO?推理的輸入?

    無法確定如何使用多攝像頭作為OpenVINO?推理的輸入
    發表于 03-06 07:30

    為什么深度學習中的Frame per Second高于OpenVINO?演示推理腳本?

    DL Workbench 使用 Microsoft 通用對象上下文 (MS COCO) 數據集運行 YOLOv4 對象檢測模型,并獲得 50 - 60 FPS。 OpenVINO?演示
    發表于 03-06 07:27

    是否可以使用OpenVINO?部署管理器部署機器運行Python應用程序?

    使用 OpenVINO?部署管理器創建運行時軟件包。 將運行時包轉移到部署機器中。 無法確定是否可以部署機器運行 Python 應用程
    發表于 03-05 08:16

    為什么無法在運行時C++推理中讀取OpenVINO?模型?

    使用模型優化器 2021.1 版OpenVINO?轉換模型 使用 Runtime 2022.3 版本 C++ 推理實現 ( core.read_model()) 中讀取模型
    發表于 03-05 06:17

    C#集成OpenVINO?:簡化AI模型部署

    開源測控、機器視覺、數采與分析三大領域中,如何快速AI模型集成到應用程序中, 實現AI賦能和
    的頭像 發表于 02-17 10:03 ?1841次閱讀
    C#集成<b class='flag-5'>OpenVINO</b>?:簡化<b class='flag-5'>AI</b>模型部署

    C#中使用OpenVINO?:輕松集成AI模型!

    與分析三大領域中,如何快速AI模型集成到應用程序中,實現AI賦能和應用增值?最容易的方式是:C#中,使用
    的頭像 發表于 02-07 14:05 ?737次閱讀
    C#中使用<b class='flag-5'>OpenVINO</b>?:輕松集成<b class='flag-5'>AI</b>模型!

    微軟投資30億美元擴大印度AIAzure服務

    近日,微軟公司宣布將投資約30億美元,以擴大其印度的人工智能(AI)和Azure計算服務的容量。這一舉措標志著
    的頭像 發表于 01-08 14:49 ?452次閱讀

    如何在低功耗MCU實現人工智能和機器學習

    人工智能 (AI) 和機器學習 (ML) 的技術不僅正在快速發展,還逐漸被創新性地應用于低功耗的微控制器 (MCU) 中,從而
    的頭像 發表于 12-17 16:06 ?773次閱讀

    微軟發布Azure AI Foundry,推動服務增長

    Azure AI Foundry為用戶提供了一個更為便捷的平臺,使得支持人工智能的大型語言模型之間切換變得輕松自如。這一創新工具的發布,無疑將極大地降低
    的頭像 發表于 11-21 11:32 ?804次閱讀

    通過工業智能網關實現微軟Azure IoT中心快速配置操作

    。 物通博聯工業智能網關支持接入微軟Azure IoT中心,快速實現PLC、儀器儀表、傳感器、工業機器人、數控機床等設備數據采集到
    的頭像 發表于 11-15 17:17 ?624次閱讀
    通過工業智能網關<b class='flag-5'>實現</b>與<b class='flag-5'>微軟</b><b class='flag-5'>Azure</b> IoT中心<b class='flag-5'>快速</b>配置操作

    微軟Azure首獲英偉達GB200 AI服務器

    微軟Azure社交平臺上宣布了一項重要進展,公司已經成功獲得了搭載英偉達最新GB200超級芯片的AI服務器。這一舉措使
    的頭像 發表于 10-10 17:01 ?899次閱讀

    Palantir計劃在微軟Azure平臺上部署其人工智能產品

    數據分析領域的領軍企業Palantir宣布與微軟達成重要合作,雙方將共同推動AI技術政府領域的深度應用。Palantir計劃將其核心產品,包括知名的Gotham軟件,部署于微軟
    的頭像 發表于 08-12 16:07 ?982次閱讀

    如影數字人生成平臺SenseAvatar上線微軟全球市場

    近日,如影數字人生成平臺SenseAvatar正式微軟全球市場Microsoft Azure Marketplace上線,為客戶提供高質
    的頭像 發表于 07-24 17:21 ?1071次閱讀