在今年的全球開發(fā)者大會（WWDC）上，蘋果面向iOS開發(fā)者推出了最新版的機(jī)器學(xué)習(xí)模型框架Core ML 3，將機(jī)器智能引入智能手機(jī)app。本文帶你了解Core ML 3有何亮點。

Core ML 3將首次能夠為設(shè)備上的（on-device）機(jī)器學(xué)習(xí)提供訓(xùn)練，以提供iOS app的個性化體驗。利用不同的數(shù)據(jù)集訓(xùn)練多個模型的能力也將成為macOS上新的Create ML app的一部分，用于目標(biāo)檢測和識別聲音等app。

支持100多種模型層

作為一種快速部署并尊重隱私的方式，設(shè)備上的機(jī)器學(xué)習(xí)越來越受歡迎。最近幾個月，谷歌的TensorFlow和Facebook的PyTorch等流行框架通過聯(lián)邦學(xué)習(xí)（Federated Learning）等方法提供了在線機(jī)器學(xué)習(xí)的解決方案。

Core ML框架在蘋果內(nèi)部被用于訓(xùn)練Siri、QuickType鍵盤、Memrise app的語言學(xué)習(xí)以及Polarr照片編輯app的預(yù)測。

在去年的WWDC上，蘋果推出了Core ML2框架，宣稱比上一代快30%，同時推出Create ML，一個GPU加速的框架，用于通過Xcode和Swift編程語言訓(xùn)練定制的AI模型。

最初的iOSCore ML框架是2017年在WWDC上推出，并納入到iOS 11。預(yù)置模型包括蘋果的VisionAPI和自然語言框架。

不像谷歌的ML Kit同時適用于安卓和iOS開發(fā)者，CoreML是專為蘋果iOS操作系統(tǒng)開發(fā)app的開發(fā)者設(shè)計的。2017年底，谷歌宣布TensorFlowLite支持CoreML。

Core ML 3亮點搶先看

無需機(jī)器學(xué)習(xí)的專業(yè)知識，使用Core ML 3和新的Create ML app，輕松創(chuàng)建、訓(xùn)練并部署機(jī)器學(xué)習(xí)模型。

Core ML 3將多種機(jī)器學(xué)習(xí)模型集成到你的app中，支持高級神經(jīng)網(wǎng)絡(luò)、支持100多種圖層，利用CPU、GPU和Neural Engine提供最高性能和效率。你可以直接在設(shè)備上運(yùn)行機(jī)器學(xué)習(xí)模型。

設(shè)備模型個性化

Core ML模型被捆綁到app中，幫助驅(qū)動像在照片中搜索或?qū)ο笞R別這樣的智能功能。現(xiàn)在，這些模型可以通過設(shè)備上的用戶數(shù)據(jù)進(jìn)行更新，幫助模型在不違背隱私的情況下了解用戶行為。

支持高級神經(jīng)網(wǎng)絡(luò)

現(xiàn)在最復(fù)雜的機(jī)器學(xué)習(xí)模型可以在帶有Core ML 3的設(shè)備上運(yùn)行。可以使用并運(yùn)行最新的模型，如用于理解圖像、視頻、聲音和其他富媒體的尖端神經(jīng)網(wǎng)絡(luò)。

視覺

在app中輕松構(gòu)建計算機(jī)視覺機(jī)器學(xué)習(xí)功能。利用人臉檢測、跟蹤和捕獲以及文本識別、圖像顯著性和分類，以及圖像相似性識別。其他功能包括提高地標(biāo)檢測、矩形檢測、條形碼檢測、目標(biāo)跟蹤和圖像配準(zhǔn)。使用新的Document Camera API通過相機(jī)檢測和捕獲文檔。

自然語言

對自然語言文本進(jìn)行分析，推導(dǎo)出其語言特有的元數(shù)據(jù)，以供深入理解。你可以使用這個框架和Create ML來訓(xùn)練和部署定制的NLP模型。功能包括Create ML文本模型的遷移學(xué)習(xí)、詞嵌入向量(WordEmbedding)、情感分類和文本目錄。可用于英語、法語、德語、意大利語、簡體中文和西班牙語。

演講

利用設(shè)備上10種語言的語音識別以及語音顯著性功能，如語音信息、streaming confidence、語音檢測和聲學(xué)功能。你的app可以通過訪問語音識別信息來消除同音詞的歧義。這些功能現(xiàn)在也可用于Macapp。