OpenVINO強大之處在于整合了當(dāng)前AI經(jīng)常應(yīng)用的情境，像是圖片或是影像的對象辨識、語音識別、自然語言與數(shù)據(jù)推薦系統(tǒng)等等，而透過這個套件的Open Model Zoo可以導(dǎo)入現(xiàn)有多個常用框架的模型，像是Caffe、TensorFlow、MXNet、Kaldi與ONNX，無疑是個現(xiàn)成的參考數(shù)據(jù)庫。

OpenVINO支持現(xiàn)有多個常用框架的模型（Source:Intel）

Intel OpenVINO 工具套件包含的項目實在太多，要做到基礎(chǔ)入門我想非常快。但如果要真的上手到導(dǎo)入既有的商業(yè)項目中，我想還是需要花不少時間。學(xué)習(xí)Intel OpenVINO 工具集我想是非常值得去投資的，后續(xù)對于導(dǎo)入AI應(yīng)用到升級與維護項目，會非常的容易。

以下的介紹將會以短篇的模式進行，我使用以下的環(huán)境去進行學(xué)習(xí)與測試：

1.硬件：

?Rock X Intel(R) Atom(TM) x5-Z8350 1.4GHz CPU. 4Gb RAM 與 128Gb 的SD卡環(huán)境

?EFI單板計算機，使用i7-1185G7E 2.8GHz 11代的Intel CPU, 16Gb RAM 與 128Gb SSD.

?2019年Mac book Pro 15吋 i7 2.6GHz CPU, 使用Parallels 設(shè)定兩個ubuntu VM. 分別設(shè)定 2Cores與4 Cores的環(huán)境

2. O/S：分別使用ubuntu server20.04 與 ubuntu desktop 20.04 兩個版本進行測試。

3. OpenVINO工具包版本： 2021.4

個人接觸與學(xué)習(xí)使用OpenVINO，目地都在于如何將這個工具應(yīng)用在未來公司的項目上，而選用Ubuntu Linux的操作系統(tǒng)，一方面是考慮Open Source 降低入門需要的投資成本，再者也是因為公司內(nèi)部整體的建置維護環(huán)境。如果有需要以Windows操作系統(tǒng)為建置環(huán)境，可以再多參考官方的文件。

我自己個人打算在OpenVINO完成三大目標(biāo)：

1.應(yīng)用DL Workbench可以選用現(xiàn)有或是自制的模型，透過GUI接口，輕松完成模型的分析與部署工作。

2.使用Nodejs的語言去使用OpenVINO提供的各種資源進行開發(fā)。

3.將V7RC上的道路辨識功能，透過OpenVINO的環(huán)境，使用Nodejs語言去重現(xiàn)功能。

首部曲– 從DL Workbench開始談起

在2018年我開始接觸AI，是基于想在公司的產(chǎn)品V7RC中導(dǎo)入AI的元素，當(dāng)時我希望可以透過遙控車上面的鏡頭傳回到手機上，透過手機上的運算資源進行演算，辨識影像中的物體。最早透過同事的協(xié)助找到Framework，使用Python進行模型訓(xùn)練，最后產(chǎn)生出的結(jié)果去實際應(yīng)用，效果很差，而且還不知道如何整合到iOS與Android的APP。

后來Google Cloud的AutoML 提供了一個模型訓(xùn)練很好的環(huán)境，訓(xùn)練好的模型可以直接使用Tensorflow Lite SDK整合到iOS與Android的APP中。這上面有個非常重要的關(guān)鍵在于一個好的GUI，讓使用者很容易地上手，去進行模型訓(xùn)練，最后導(dǎo)出到自己的應(yīng)用上。

后來像是Teachable Machine 也提供很好的GUI給使用者，對于入門的使用者來說，也的確夠用，但截至目前，我們的工程師還無法將訓(xùn)練成果部署到APP上。

DL Workbench最棒的地方在于可以從多種不同常用的Framework選擇自己要匯入的模型，或是匯入自己的模型，進行訓(xùn)練，并且可以選擇使用哪個裝置進行訓(xùn)練與分析。Dataset的管理也非常容易，很容易讓人著迷，愿意多花點時間去嘗試那些已經(jīng)訓(xùn)練好的模型進行比較。

/如果要了解如何安裝，可以參考之前的文章。/

而我想分享的是在實際安裝過程中遇到的問題排解與疑問，以下使用自問自答方式來進行：

1.DL Workbench是個Application，所以需要Desktop執(zhí)行嗎？

答案是不需要。DL Workbench是一個Web Server，安裝好了之后可以透過其他的計算機以訪問網(wǎng)站的方式來操作，就跟AutoML或是Teachable Machine一樣。多人操作應(yīng)該也沒有問題。我喜歡裝在Ubuntu Server上，減少像是Desktop版本還要跑個X Window浪費效能。

2.安裝DL Workbench需不需要在機器上面安裝OpenVINO套件？

答案是不需要。原本我的理解是一個步驟一個步驟去安裝OpenVINO所有的工具套件，Workbench放在最后面，當(dāng)然就要先裝好套件后才可以安裝Workbench。但其實Workbench使用Docker Container安裝，是不需要先下載與安裝工具包。為了方便各位進行測試，我也提供我的安裝方式作為參考：

Step 1. Docker執(zhí)行環(huán)境安裝：

確認與安裝docker環(huán)境：如果不確定Docker的版本，可以重新參考官方文件，

https://docs.docker.com/engine/install/ubuntu/

以下是我安裝流程：

A.移除舊版的docker套件：

~$ sudo apt-get remove docker docker-enginedocker.io containerd runc

B.安裝docker需要使用到的套件：

~$ sudoapt-get update

~$ sudoapt-get install

apt-transport-https

ca-certificates

curl

gnupg

lsb-release

C.設(shè)定apt安裝所需要的套件庫與環(huán)境(以x86環(huán)境為例)：

~$ echo

"deb [arch=amd64signed-by=/usr/share/keyrings/docker-archive-keyring.gpg]https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | sudo tee/etc/apt/sources.list.d/docker.list > /dev/nul

D.實際進行安裝：

~$ sudoapt-get update

~$ sudoapt-get install docker-ce docker-ce-cli containerd.io

E.安裝后，需要將ubuntu的用戶加入docker的群組：

~$ sudo usermod -aG docker ${USER}

F.重新注銷用戶，再次登入，才會將新加入的docker群組生效。或是重新啟動也可以。

Step 2. 安裝GPU Driver：

建議可以再次安裝Intel GPU的Driver，使用DFI 的單板計算機曾經(jīng)遇到過無法正確安裝GPU Driver，導(dǎo)致Workbench無法使用GPU，僅能使用CPU進行訓(xùn)練。安裝方次可以參考以下的網(wǎng)址：

https://docs.openvinotoolkit.org/latest/openvino_docs_install_guides_installing_openvino_linux.html#additional-GPU-steps

https://dgpu-docs.intel.com/installation-guides/ubuntu/ubuntu-focal.html

參考安裝流程如下：

A.安裝必要的套件，并增加apt套件庫的信息：

~$ sudoapt-get install -y gpg-agent wget

~$ wget-qO - https://repositories.intel.com/graphics/intel-graphics.key | sudo apt-keyadd -

~$ sudoapt-add-repository

'deb[arch=amd64] https://repositories.intel.com/graphics/ubuntu focal main'

B.安裝：

~$ sudoapt-get update

~$ sudoapt-get install

intel-opencl-icd

intel-level-zero-gpu level-zero

intel-media-va-driver-non-freelibmfx1

C.選擇性安裝開發(fā)工具包，如果要執(zhí)行某些API，還是需要安裝才會正常運作：

~$ sudoapt-get install

libigc-dev

intel-igc-cm

libigdfcl-dev

libigfxcmrt-dev

level-zero-dev

D. 設(shè)定權(quán)限：

可以先檢查用戶是否在render的群組，使用以下命令來檢查，列出目前這個用戶所擁有的群組：

~$ groups ${USER}

如果這個用戶有沒有加入render與video的群組，使用以下方法加入：

~$ sudogpasswd -a ${USER} render

~$ sudogpasswd -a ${USER} video

~$newgrp render

~$newgrp video

Step 3. 安裝DL Workbench DockerContainer：

有實際用過Docker Container的朋友應(yīng)該知道，如果沒有設(shè)定將數(shù)據(jù)儲存在外部空間，只要每次重新開啟Container，所有數(shù)據(jù)將會清空，還原成一開始的“干凈”狀態(tài)。因此除了安裝之外，還要確保相關(guān)設(shè)定與項目都有儲存到Server的儲存裝置上，而不是在Container里面。

參考官網(wǎng)的文件進行安裝：

https://docs.openvinotoolkit.org/latest/workbench_docs_Workbench_DG_Persist_Database.html

A. 使用pip安裝openvino-workbench套件，這不是下載與安裝WorkbenchContainer，可以當(dāng)作是方便啟動的script，簡化后面的流程：

~$ python3 -m pip install -Uopenvino-workbench

B.建立一個可以放設(shè)定與項目的目錄，例如放在自己目錄下的openvino-workbench目錄：

~$ mkdir -m 777 ~/openvino-workbench

C.執(zhí)行以下命令啟動Workbench：

~$ openvino-workbench --imageopenvino/workbench:2021.4 --assets-directory ~/openvino-workbench --enable-gpu--container-name openvino-workbench

這個命令，我們將Container名稱命名為 openvino-workbench，并且指定~/openvino-workbench作為項目與設(shè)定儲存的目錄，另外也啟動GPU。如果發(fā)生錯誤，像是找不到/dev/rencer/*的目錄等等，就是系統(tǒng)沒有正確的設(shè)定GPU，可以嘗試先吧–enable-gpu拿掉試試看。

完成后，就可以在本機打開Browser連結(jié)上這個網(wǎng)站，例如Workbench主機的IP是10.211.55.17，那么就在Browser上面鍵入：http:// 10.211.55.17:5665

3. DL Workbench最吸引我的地方在哪？

看到DL Workbench的接口上，Environment的右邊有個Add Remote Target按鈕。沒錯，可以將多臺機器的資源統(tǒng)一在這個見面上管理，這樣可以將項目切換到不同機器上進行訓(xùn)練與分析。

經(jīng)過一番努力，測試成功了，真的可以將項目指派到其他機器上面去進行訓(xùn)練，但可惜的是只能在本機進行驗證與測試，我想未來的版本應(yīng)該會解決這個問題。

以下提供安裝方式，以及參考網(wǎng)址。

https://docs.openvinotoolkit.org/latest/workbench_docs_Workbench_DG_Setup_Remote_Target.html

Step 1. 在遠程主機進行設(shè)定，下載并且安裝必要套件：

A.安裝套件：

~$ sudoapt-get update

~$ sudoapt-get install -y --no-install-recommends

openssh-server

ssh

python3

ython3-distutils

python3-apt

python3-dev

python3-pip

gcc

libgtk-3-0

ffmpeg

~$python3 -m pip install --upgrade pip

B. 更新python3-virtualenvwrapper套件。就個人的經(jīng)驗上我分別在Atom與VM的環(huán)境上嘗試安裝時，會遇到個套件出現(xiàn)問題，導(dǎo)致最后的安裝無法完成，避免麻煩在一開始就先完成更新套件。以下是更新方式：

~$ sudo apt removepython3-virtualenvwrapper

~$ sudo apt autoremove

~$ sudo apt purge python3-virtualenv

~$ /usr/bin/python3 -m pip install--force-reinstall virtualenvwrapper

Step 2. 設(shè)定ssh遠程登錄，并取得privatekey

回到安裝DL Workbench的機器上，我們需要可以使用ssh直接登入到遠程主機的相關(guān)權(quán)限。設(shè)定的過程中我們將會設(shè)定一個private key, 這個檔案將要使用在Workbench的設(shè)定上。以下是相關(guān)執(zhí)行步驟(如果對于ssh非常熟悉的朋友，可以簡化這個流程，直接取得ssh登入的private key)：

A. 使用ssh-keygen 產(chǎn)生ssh的Key：

~$ ssh-keygen

B.將剛剛產(chǎn)生的public key 復(fù)制到遠程的主機，可以使用ssh-copy-id命令，使用方法是：

~$ ssh-copy-id [email protected]

# 請將louis改成遠程可以登入賬號，192.68.1.100改成遠程的主機

過程中會需要填寫登入的密碼，請正確的進行填寫。

C.驗證是否正確，使用ssh登入遠程主機，將不再需要填寫密碼，可以直接登入。

~$ ssh [email protected]

如果可以正常登入，就表示完成這個步驟

Step 3. 確認遠程主機的用戶擁有根權(quán)限(SudoPrivileges)，不需要輸入密碼就可以執(zhí)行sudo的命令。

A.首先簡單的確認是否有sudo的權(quán)限以及是否不需要輸入密碼就可以執(zhí)行sudo，執(zhí)行以下指令：

~$ sudo ls -la /

B.如果可以順利列出根目錄下所有的檔案與目錄，表示這個用戶已經(jīng)擁有根權(quán)限，并且不需要密碼就可以執(zhí)行。如果顯示沒有sudo權(quán)限，則表示這個用戶沒有sudo使用權(quán)，請使用以下命令，將這個用戶加入到sudo群組中：

~$ su

~$ usermod -a -G sudo USERNAME

~$ exit

C. 加入后，請注銷再重新登入，并且再次使用sudols -la / 確認目前用戶使用已經(jīng)擁有sudo權(quán)限。

D. 如果用戶已經(jīng)擁有sudo權(quán)限，但需要填寫密碼，則使用visudo，將這個用戶加入到/etc/sudoers.tmp檔案中：

~$ sudo visudo

此時會開啟編輯畫面，并且顯示檔案內(nèi)容，接著將光標(biāo)移到檔案的最后，加入以下權(quán)限：

louis ALL=(ALL) NOPASSWD: ALL #請將louis改成這個賬戶的名稱

接著存擋離開，再重新測試這個用戶的sudo命令：

~$ sudo ls -la /

此時應(yīng)該不需要密碼就可以執(zhí)行了。

*特別注意：使用 visudo 編輯并存擋，務(wù)必確認正確填寫，否則有可能導(dǎo)致系統(tǒng)嚴重的問題發(fā)生。

Step 4：

進入 DL Workbench 設(shè)定目前準(zhǔn)備進入到DL Workbench設(shè)定的步驟，在此之前，必須要先下載id_rsa的私鑰到本機來，方便等一下再接口上需要上傳這個檔案。再次使用ssh登入到安裝Workbench的主機上，可以使用vi或是其他編輯器，打開私鑰檔案，使用以下命令開啟：

~$ vi ~/.ssh/id_rsa

將會看到以上的編輯畫面，可以使用圈選復(fù)制，然后在本機新增加一個文本文件，然后貼上剛剛復(fù)制的內(nèi)容，儲存成一個文本文件，例如：id_rsa_192.168.0.1.key。

接著，在本機打開Browser，進入Workbench的網(wǎng)站，然后按下Create的按鈕，產(chǎn)生一個新的項目：

在Create Project畫面上，可以看到Environment的功能，有個Add Remote Target的按鈕，按下后開始新增新的遠程主機：

這時可以看到Target Machine的列表，第一個顯示的就是Workbench內(nèi)建預(yù)設(shè)的環(huán)境。按下『Add』按鈕后，進行新增機器的畫面：

在Add Remote Target窗體中，請?zhí)钊胍韵滦畔ⅲ?/p>

?Hostname (遠程主機IP)

?Port (遠程主機ssh port, 除非有手動變更，預(yù)設(shè)都是22)

?Target Name(自己為這個遠程命名)

?User (登入遠程主機用的賬號)

?Ssh key (就是一開始我們先存下來的私鑰文本文件)

以上正確填寫后，下方的Save Target將會從灰色變成深紅色，按下后，就開始啟動安裝與設(shè)定程序了。

安裝進行中的畫面：

安裝中，每個階段都可以實時顯示狀態(tài)以及正在設(shè)定中的項目：

安裝完成后，在Target Machines的列表中會清楚出現(xiàn)該設(shè)備，如果安裝出現(xiàn)問題，也會出現(xiàn)錯誤信息。

安裝中如果出現(xiàn)錯誤，也會出現(xiàn)在下方的信息中：

回到Create Project畫面后，下方的Environment，就可以選擇遠程的主機來進行演算了。

實際簡單的測試一下，可以看到遠程主機上跑出來的結(jié)果，項目列表上可以看到第二列，使用我們剛剛新增的遠程主機資源進行演算的結(jié)果：

4.目前有沒有什么可以進一步厘清的地方？

截至目前無法正確的設(shè)定遠程主機使用GPU或是VPU的資源，算是一種遺憾。我想后續(xù)應(yīng)該是有機會可以解決，后續(xù)再做更新。

小結(jié)

如果各位希望打造一群工作的主機，可以進行選擇模型、設(shè)定數(shù)據(jù)集、建立基準(zhǔn)到分析與部署，Workbench正好提供了分布式Environment的安裝方式，設(shè)定起來不難。后續(xù)在商業(yè)上思考可以如何客戶運用OpenVINO打造一個私有的AI運算環(huán)境應(yīng)該不是問題。