前不久，基于Orange Pi 5 Plus的DEEPX人工智能產品亮相世界人工智能硬件與邊緣AI峰會，讓大家感受到Orange Pi 5 Plus妥妥的AI硬實力。現在又發現了一個可以基于Orange Pi 5的AI應用——AI-In-A-Box。

據美通社報道，專注于人工智能的初創公司 Useful Sensors日前推出了全球首個低成本、現成的人工智能模塊AI-In-A-Box，無需互聯網連接，即可在本地與電子設備進行直觀的自然語言交互。

該 AI-In-A-Box模塊可以回答、查詢和解決問題，其方式與基于大型語言模型（LLM）的著名AI工具類似。但由于采用了由Useful Sensors開發的壓縮和加速技術，該模塊可在本地托管其LLM文件，從而使其低成本微處理器能夠理解并即時響應口頭自然語言查詢或命令，而無需參考數據中心。

由于與互聯網斷開，AI-In-A-Box模塊徹底消除了用戶對隱私、窺探或依賴第三方云服務等問題的擔憂，而這些問題在大型技術公司銷售的基于LLM的傳統人工智能產品和服務中十分普遍。

Useful Sensors公司創始人兼首席執行官、前谷歌人工智能項目負責人Pete Warden說：“AI-In-A-Box模塊包含一個先進的模型，用戶可以與之自然對話，無需網絡連接、賬戶或API調用。它提供了人工智能的優勢——一種直觀、自然的方式來控制家中的設備、回答詢問或只是與一個自然語言化身聊天，而無需與大科技公司或云服務提供商共享任何對話或其他數據。”

除了可以像與人交談一樣與盒子進行交互的對話式人工智能外，AI-In-A-Box還可以進行多種語言之間的實時翻譯、顯示對話的實時字幕以及可以模擬USB鍵盤的語音工具。

AI-In-A-Box模塊現在可以在CrowdSupply購買，售價299美元。

高性能 NLP的本地實施

AI-In-A-Box模塊的自然語言處理（NLP）性能與著名的基于LLM的工具類似；它可以回答問題、講故事和笑話，并就藝術或體育等話題發表意見。但是，這些工具需要在數據中心托管高性能、高成本的GPU陣列，而AI-In-A-Box模塊只包含一個運行所有AI操作的通用Arm? Cortex?-A級微處理器。

在定制的外殼內，你會發現其配備了功能強大的瑞芯微RK3588S SoC、8GB內存、內置顯示屏、揚聲器和麥克風，使用的操作系統是Ubuntu 22.04。

看到這里，不得不說，香橙派的Orange Pi 5簡直就是為AI-In-A-Box量身定制的。Orange Pi 5采用了瑞芯微RK3588S新一代八核64位處理器，主頻最高可達2.4GHz，集成ARM Mali-G610 MP4 GPU，內嵌高性能3D和2D圖像加速模塊，內置高達6 Tops算力的AI加速器NPU，擁有4GB/8GB/16GB/32GB（LPDDR4/4x），具有高達8K顯示處理能力。

Orange Pi 5引用了相當豐富的接口，包括HDMI輸出、GPIO接口、Type-C、M.2 PCIe2.0、千兆網口、2個USB2.0，1個USB3.0等；支持Ubuntu、Debian、Android12等操作系統。

Orange Pi 5默認不帶WiFi和藍牙，雖然板上有一個以太網端口，但由于AI-In-A-Box不需要連接互聯網，因此也無需連接。由于在本地提供所有數據，可完全保護敏感對話或資料的隱私。