這是數(shù)據(jù)領(lǐng)域又一個(gè)激烈動(dòng)蕩的年頭，令人興奮，但又錯(cuò)綜復(fù)雜。

隨著越來(lái)越多的人上網(wǎng)，一切繼續(xù)在加快“數(shù)據(jù)化”的步伐。這個(gè)大趨勢(shì)的發(fā)展勢(shì)頭越來(lái)越猛，歸因于基礎(chǔ)設(shè)施、云計(jì)算、AI和開(kāi)源各個(gè)領(lǐng)域取得的進(jìn)步的大融合以及我們經(jīng)濟(jì)和生活的整體數(shù)字化。

幾年前，“大數(shù)據(jù)”方面的討論主要側(cè)重于技術(shù)層面，圍繞著收集、處理和分析大量數(shù)據(jù)的新一代工具。其中許多技術(shù)現(xiàn)已廣為人知，并大規(guī)模部署。此外，尤其是在過(guò)去幾年，我們開(kāi)始通過(guò)數(shù)據(jù)科學(xué)、機(jī)器學(xué)習(xí)和AI將一層層智能添加到許多應(yīng)用軟件中，而這些應(yīng)用軟件現(xiàn)在越來(lái)越多地運(yùn)行于生產(chǎn)環(huán)境的各種消費(fèi)級(jí)和B2B產(chǎn)品中。

隨著那些技術(shù)不斷改進(jìn)，并由最初的早期采用者群體（FAANG和初創(chuàng)公司）擴(kuò)大到更廣泛的經(jīng)濟(jì)和世界，討論的性質(zhì)從純粹的技術(shù)性討論變?yōu)閭?cè)重于探討對(duì)我們的經(jīng)濟(jì)、社會(huì)和生活帶來(lái)的影響。

我們剛開(kāi)始真正了解未來(lái)顛覆的本質(zhì)。在數(shù)據(jù)驅(qū)動(dòng)的自動(dòng)化司空見(jiàn)慣（自動(dòng)化產(chǎn)品、自動(dòng)化汽車和自動(dòng)化企業(yè)）的世界，工作的新特性是什么？我們?nèi)绾翁幚砩鐣?huì)影響？我們?nèi)绾慰创[私、安全和自由？

與此同時(shí)，底層技術(shù)繼續(xù)快速發(fā)展，眾多初創(chuàng)公司、產(chǎn)品和項(xiàng)目構(gòu)成了一個(gè)充滿活力的生態(tài)系統(tǒng)，預(yù)示著將來(lái)可能出現(xiàn)影響更深遠(yuǎn)的變化。在該生態(tài)系統(tǒng)中，這一年的特點(diǎn)是出現(xiàn)了期待已久的整合的早期局面；隨著早期技術(shù)開(kāi)始讓位于下一代技術(shù)，可能從一個(gè)時(shí)代轉(zhuǎn)變到另一個(gè)時(shí)代。

為了試圖解讀這一切，我們發(fā)布了第六份數(shù)據(jù)和AI生態(tài)系統(tǒng)“國(guó)情咨文”。如果讀者有興趣想跟蹤了解歷年的演變，可以看看2012年至2018年的往年版本。

值得一提的是：由于“大數(shù)據(jù)”一詞現(xiàn)已成為昔日熱門的流行語(yǔ)，今年的標(biāo)題就改為了“數(shù)據(jù)和AI領(lǐng)域”。

數(shù)據(jù)、AI和社會(huì)：潮流在轉(zhuǎn)變

2018年，我們注意到數(shù)據(jù)界如何開(kāi)始揭露一些更黑暗、更可怕的內(nèi)幕，尤其是在Cmbridge Analytica丑聞之后，這個(gè)趨勢(shì)在2019年愈演愈烈。數(shù)據(jù)泄密和隱私丑聞更多。AI深度造假（deepfake）方面出現(xiàn)了更多的例子，我們對(duì)此毫無(wú)準(zhǔn)備。

因而，潮流已開(kāi)始大幅轉(zhuǎn)變。

當(dāng)然，關(guān)于AI危險(xiǎn)的爭(zhēng)論已經(jīng)備受關(guān)注，今年出現(xiàn)了旨在認(rèn)真思考那些問(wèn)題的倡議，例如設(shè)立了李飛飛領(lǐng)銜的人類中心人工智能研究所。

隱私問(wèn)題可能比以往任何時(shí)候都更加突出，進(jìn)入到2019年公眾辯論的最前沿。而許多這些問(wèn)題都與被數(shù)十億人熟知的服務(wù)Facebook有關(guān)。

隨著各國(guó)政府日益參與進(jìn)來(lái)，數(shù)據(jù)隱私領(lǐng)域也在發(fā)生轉(zhuǎn)變。

監(jiān)管當(dāng)然在全面鋪開(kāi)：

歐洲數(shù)據(jù)保護(hù)和隱私法規(guī)（GDPR）于2018年5月生效，此后宣布了幾起巨額罰款，包括法國(guó)數(shù)據(jù)保護(hù)監(jiān)管機(jī)構(gòu)在2019年1月對(duì)谷歌開(kāi)出5000萬(wàn)歐元的罰單，英國(guó)信息專員辦公室在2018年10月對(duì)Facebook開(kāi)出50萬(wàn)英鎊的罰單。

《加利福尼亞州消費(fèi)者隱私法案》（CCPA）將于2020年1月1日生效。

紐約州的隱私法案比加州的隱私法案“還要嚴(yán)厲”。

舊金山剛投票禁止市政府機(jī)構(gòu)使用人臉識(shí)別技術(shù)。

伊利諾伊州提議反對(duì)將視頻機(jī)器人用于招聘面試。

然而，政府可能會(huì)采取更嚴(yán)厲的行動(dòng)。首先，F(xiàn)acebook可能會(huì)因隱私問(wèn)題被聯(lián)邦貿(mào)易委員會(huì)（FTC）處于高達(dá)50億美元的罰款。也許最重要的是，要求拆分幾大互聯(lián)網(wǎng)巨頭的呼聲日益高漲——權(quán)力太大，數(shù)據(jù)太多，隱私又不夠。Facebook無(wú)疑是最明顯的目標(biāo)，但也包括其他網(wǎng)絡(luò)巨頭（總統(tǒng)候選人Elizabeth Warren的提議針對(duì)谷歌和亞馬遜）。

科技巨頭已經(jīng)感受到了來(lái)自內(nèi)部的壓力。谷歌、亞馬遜和微軟的員工抗議人臉識(shí)別技術(shù)的商業(yè)化。谷歌讓步了，亞馬遜沒(méi)有讓步——一些激進(jìn)的股東和員工試圖實(shí)施禁令，但失敗而歸。

對(duì)于FAANG來(lái)說(shuō)，隱私已成為一個(gè)新的戰(zhàn)場(chǎng)，迫使各自的領(lǐng)導(dǎo)人采取更公開(kāi)的立場(chǎng)來(lái)闡明這個(gè)問(wèn)題：

蘋果CEO Tim Cook提醒我們警惕“數(shù)據(jù)的武器化”，那將導(dǎo)致我們進(jìn)入“數(shù)據(jù)工業(yè)綜合體”（data industrial complex）。

谷歌CEO Sundar Pichai在《紐約時(shí)報(bào)》上就此問(wèn)題表達(dá)了公開(kāi)立場(chǎng)。

Facebook CEO Mark Zuckerberg誓言要將Facebook變成一個(gè)關(guān)注隱私的消息和社交網(wǎng)絡(luò)平臺(tái)。

當(dāng)然，這些說(shuō)法在多大程度上能信以為真誰(shuí)也說(shuō)不準(zhǔn)，可能取決于具體的公司和領(lǐng)導(dǎo)人。

以Facebook為例，全球加密貨幣Libra的推出可能被認(rèn)為以此在隱私優(yōu)先的“后數(shù)據(jù)”時(shí)代繼續(xù)賺錢：在這個(gè)時(shí)代，這家公司不大依賴基于用戶數(shù)據(jù)的純粹廣告模式，但也可能被認(rèn)為以此收集更多的個(gè)人數(shù)據(jù)。

數(shù)據(jù)和AI對(duì)隱私和社會(huì)帶來(lái)的影響方面的爭(zhēng)論顯然非常重要。不過(guò)，這是復(fù)雜的討論，涉及許多細(xì)微差別。

我們與隱私的關(guān)系仍然很復(fù)雜，矛盾的情況隨處可見(jiàn)。人們說(shuō)他們關(guān)心隱私，但繼續(xù)購(gòu)買各種隱私保護(hù)不可靠的聯(lián)網(wǎng)設(shè)備。他們說(shuō)他們?yōu)镕acebook的隱私泄露感到憤怒，但Facebook繼續(xù)增加用戶數(shù)，業(yè)績(jī)繼續(xù)超預(yù)期（2018年第四季度和2019年第一季度都如此）。

同樣，我們?nèi)绾螞Q定處理AI要做出許多權(quán)衡和取舍。與所有技術(shù)一樣，AI本質(zhì)上是中立的，它為社會(huì)帶來(lái)好處還是壞處最終是人類的決定。以人臉識(shí)別為例：它可能是國(guó)家監(jiān)控的工具，但也可以幫助找到性交易的受害者。決定如何監(jiān)管或遏制AI會(huì)帶來(lái)各種難以預(yù)測(cè)的后果。比如說(shuō)，如果你在西方國(guó)家監(jiān)管AI，最終會(huì)不會(huì)較之中國(guó)，失去長(zhǎng)期的競(jìng)爭(zhēng)優(yōu)勢(shì)（中國(guó)有一套不同的規(guī)則）？

數(shù)據(jù)技術(shù)：充滿活力但不斷發(fā)展的領(lǐng)域

雖然在2019年不可能忽視圍繞數(shù)據(jù)和AI的隱私、安全和監(jiān)管這些更廣泛的問(wèn)題，但數(shù)據(jù)技術(shù)和產(chǎn)品組成的生態(tài)系統(tǒng)與過(guò)去一樣令人興奮。

生態(tài)系統(tǒng)也出現(xiàn)了幾處有意思的演變，Hadoop等一些開(kāi)創(chuàng)性技術(shù)可能日漸式微，取而代之的是云計(jì)算和Kubernetes，而商業(yè)智能等整個(gè)領(lǐng)域似乎在快速合并。

我們會(huì)深入地鉆研解讀那些趨勢(shì)，不過(guò)先看一下我們的2019年數(shù)據(jù)和AI領(lǐng)域生態(tài)圖：

誰(shuí)進(jìn)誰(shuí)出？

從市場(chǎng)退出的角度來(lái)看，上一年很活躍。

有幾家公司已上市。Crowdstrike（納斯達(dá)克股票代碼：CRWD）和Elastic（紐約證券交易所股票代碼：ESTC）在IPO時(shí)達(dá)到很高的估值：分別是70億美元和50億美元。其他IPO包括PagerDuty（18億美元）、Anaplan（18億美元）和Domo（5億美元）。

去年發(fā)生了幾起規(guī)模非常大的收購(gòu)：

包括Qualtrics（被SAP以80億美元收購(gòu)）

Medidata（IPO后被達(dá)索以58億美元收購(gòu)）

Hortonworks（與Cloudera達(dá)成涉資52億美元的合并）

Imperva（被Thoma Bravo以21億美元收購(gòu)）

AppNexus（被AT&T以20億美元收購(gòu)）

Cylance（被黑莓以14億美元收購(gòu)）

Datorama（被Salesforce以8億美元收購(gòu)）

Treasure Data（被Arm以6億美元收購(gòu)）

Attunity（IPO后被Qlik以5.6億美元收購(gòu)）

Dynamic Yield（被麥當(dāng)勞以3億美元收購(gòu)）

Figure Eight（被Appen以3億美元收購(gòu)）

商業(yè)智能領(lǐng)域：

Tableau（被Salesforce以157億美元收購(gòu)）

Looker（被谷歌以26億美元收購(gòu)）

Periscope Data（被Sisense以1億美元收購(gòu)）

ClearStory Data（被Alteryx以2000萬(wàn)美元收購(gòu)）

Zoomdata（被Logi Analytics收購(gòu)）

出現(xiàn)在2018年行情報(bào)告中的其他許多公司以較低金額被收購(gòu)：Alooma（谷歌）、Bonsai（微軟）、Euclid Analytics（WeWork）、Sailthru（Campaign Monitor）、Data Artisans（阿里巴巴）、GRIDSMART（Cubic）、Drawbridge（LinkedIn）、Citus Data（微軟）、Quandl（納斯達(dá)克）、Connotate（import.io）、Datafox（Oracle）、Market Track（Vista Equity Partners）、Lattice Engines（鄧白氏）、Blue Yonder（JDA Software）和SimpleReach（Nativo）。

同樣值得注意的是，2016年至2017年常出現(xiàn)的各大互聯(lián)網(wǎng)公司進(jìn)行AI人才收購(gòu)并未完全消失：比如說(shuō)，Twitter收購(gòu)了Fabula AI，以夯實(shí)其機(jī)器學(xué)習(xí)專長(zhǎng)。

在投資方面，大數(shù)據(jù)和AI初創(chuàng)公司繼續(xù)看到巨額融資。針對(duì)中國(guó)的投資不像去年那么大，去年多家公司融資金額超過(guò)10億美元。今年完成巨額融資的中國(guó)公司包括人臉識(shí)別公司Face ++（7.5億美元D輪）、AI芯片制造商地平線機(jī)器人（6億美元B輪）、車隊(duì)管理公司G7（3.2億美元F輪）和在線輔導(dǎo)平臺(tái)猿輔導(dǎo)（3億美元F輪）。

在美國(guó)，巨額資金投入到了自動(dòng)駕駛汽車公司，包括Cruise（2018年和2019年兩輪19億美元）、Nuro（9.4億美元B輪）和Aurora（6億美元B輪）。機(jī)器人流程自動(dòng)化（RPA）公司也出現(xiàn)了巨額融資：UiPath（2018年和2019年兩輪8億美元）和Automation Anywhere（2018年兩輪5.5億美元）。

其他完成巨額融資的美國(guó)公司包括：Verily Life Sciences（10億美元私募股權(quán)融資）、Cambridge Mobile Telematics（5億美元）、Clover Health（5億美元E輪）、Veeam Software（5億美元）、Snowflake Computing（4.5億美元F輪）、Compass（4億美元F輪）、Zymergen（4億美元C輪）、Dataminr（3.92億美元E輪）、Lemonade（4億美元D輪）、Rubrik（2.6億美元E輪）、Databricks（2.5億美元E輪）和MediaMath（2.25億美元D輪）。

2019年數(shù)據(jù)和AI領(lǐng)域的主要趨勢(shì)

數(shù)據(jù)和AI生態(tài)系統(tǒng)仍是技術(shù)界最令人興奮的領(lǐng)域之一。它不僅有自己的井噴發(fā)展勢(shì)頭，還推動(dòng)和加快其他許多領(lǐng)域（消費(fèi)者應(yīng)用、游戲和交通出行等）的創(chuàng)新。因此，該生態(tài)系統(tǒng)的整體影響力很大，遠(yuǎn)遠(yuǎn)超出下面的技術(shù)討論。

當(dāng)然，重大趨勢(shì)不會(huì)在短短一年內(nèi)出現(xiàn)，以下許多趨勢(shì)經(jīng)歷了數(shù)年的醞釀。我們將重點(diǎn)討論在2019年加快發(fā)展的趨勢(shì)。

我們看到基礎(chǔ)設(shè)施方面的三大趨勢(shì)：

第三波浪潮？從Hadoop到云服務(wù)再到Kubernetes

數(shù)據(jù)治理、數(shù)據(jù)編目和數(shù)據(jù)沿襲：數(shù)據(jù)管理越來(lái)越重要

側(cè)重于AI的基礎(chǔ)設(shè)施堆棧大行其道

數(shù)據(jù)基礎(chǔ)設(shè)施領(lǐng)域繼續(xù)快速發(fā)展。這里的主要變化是從Hadoop到云服務(wù)再到混合/ Kubernetes環(huán)境的分三個(gè)階段的轉(zhuǎn)變。

Hadoop好比是大數(shù)據(jù)領(lǐng)域的“保守派”。這是一種使用計(jì)算機(jī)網(wǎng)絡(luò)，分布式存儲(chǔ)和處理海量數(shù)據(jù)的框架，它在數(shù)據(jù)生態(tài)系統(tǒng)的爆炸式增長(zhǎng)中起到了絕對(duì)重要的作用。

然而在過(guò)去幾年，行業(yè)觀察人士紛紛預(yù)言Hadoop已死。由于Hadoop供應(yīng)商遇到各種各樣的麻煩，今年這個(gè)趨勢(shì)進(jìn)一步加速。撰寫本文時(shí)，MapR處于關(guān)門大吉的邊緣，可能已找到了買家。最近合并的Cloudera和Hortonworks剛完成了52億美元的大手筆交易，由于季度盈利令人失望，股價(jià)暴跌40%。雖然Cloudera宣布了眾多云產(chǎn)品和混合產(chǎn)品，但還沒(méi)有推出。

由于直接面臨云平臺(tái)的競(jìng)爭(zhēng)，Hadoop面臨越來(lái)越大的阻力。Hadoop是在云并不是重要選擇的時(shí)期開(kāi)發(fā)的，那時(shí)大多數(shù)數(shù)據(jù)放在企業(yè)內(nèi)部，網(wǎng)絡(luò)延遲是嚴(yán)重瓶頸，因此將數(shù)據(jù)和計(jì)算放在同一地方很有意義。但今非昔比。

然而，Hadoop不太可能很快就會(huì)消失。Hadoop的采用率可能在減慢，但部署在企業(yè)界的數(shù)量龐大，因而在未來(lái)幾年會(huì)保持慣性和持久力。

不管怎樣，向云轉(zhuǎn)變的步伐顯然在加快。順便提一下，我們?cè)谂c《財(cái)富》1000強(qiáng)企業(yè)高管的談話中發(fā)現(xiàn)，2019年迎來(lái)了大轉(zhuǎn)變。在過(guò)去幾年，這幾乎是公開(kāi)的秘密：盡管大家在熱議云，但真正的好戲出現(xiàn)在企業(yè)內(nèi)部，尤其是在受監(jiān)管行業(yè)。許多同樣的《財(cái)富》1000強(qiáng)企業(yè)高管積極轉(zhuǎn)向云，使用微軟產(chǎn)品的傳統(tǒng)部門紛紛轉(zhuǎn)向Azure。

因此，盡管規(guī)模已經(jīng)很龐大，但云提供商仍在繼續(xù)迅猛發(fā)展。AWS在2018年創(chuàng)收257億美元，比2017年的175億美元猛增46.9%。微軟Azure的收入未單獨(dú)披露，但截至2019年3月的季度同比猛增73%。同一季度AWS的收入同比增長(zhǎng)41%。

隨著云的使用日益廣泛，客戶開(kāi)始對(duì)成本猶豫不決。在許多地方的董事會(huì)會(huì)議室，高管突然留意到云支出迅速增多。云確實(shí)提供了靈活性，但常常需要高昂的費(fèi)用，如果客戶未注意度量，或者未準(zhǔn)確預(yù)測(cè)計(jì)算需求，更是如此。Adobe和Capital One等AWS客戶的云支出在2017年到2018年僅僅一年內(nèi)就增加了60%，遠(yuǎn)高于2億美元。

成本以及擔(dān)心被供應(yīng)商鎖定加快了向結(jié)合公共云、私有云和本地環(huán)境的混合方法演變的步伐。面對(duì)眾多選擇，企業(yè)將日益選擇最適合特定工作的工具，以優(yōu)化性能和成本。隨著云提供商更積極地與眾不同，企業(yè)隨之采用多云戰(zhàn)略，充分利用每家云提供商最擅長(zhǎng)的方面。在一些情況下，最好的做法是將一些工作負(fù)載留在本地以優(yōu)化成本，對(duì)于非動(dòng)態(tài)工作負(fù)載而言更是如此。

值得關(guān)注的是，面對(duì)企業(yè)計(jì)算出現(xiàn)在混合環(huán)境中的現(xiàn)實(shí)，云提供商紛紛提供AWS Outposts之類的工具。這類工具讓客戶可以在本地環(huán)境運(yùn)行計(jì)算和存儲(chǔ)，并將本地工作負(fù)載與AWS云端的其余應(yīng)用軟件無(wú)縫集成。

在這個(gè)新的多云和混合云時(shí)代，Kubernetes無(wú)疑是崛起的超級(jí)巨星。Kubernetes是2014年由谷歌開(kāi)源的一種用于管理容器化工作負(fù)載和服務(wù)的項(xiàng)目，與幾年前的Hadoop一樣受到了熱捧，8000人出席了KubeCon大會(huì)，介紹它的博文和播客不計(jì)其數(shù)。許多分析師認(rèn)為，Red Hat在Kubernetes界的顯赫地位很大程度上促使IBM斥資340億美元大舉收購(gòu)它。除了在一個(gè)或幾個(gè)公共云運(yùn)行工作負(fù)載外，Kubernetes還有望幫助企業(yè)在自己的數(shù)據(jù)中心和私有云運(yùn)行工作負(fù)載。

作為一個(gè)特別擅長(zhǎng)管理復(fù)雜混合環(huán)境的編排框架，Kubernetes還正成為機(jī)器學(xué)習(xí)界越來(lái)越有吸引力的選擇。Kubernetes為數(shù)據(jù)科學(xué)家提供了靈活性，可以隨意選擇自己青睞的任何語(yǔ)言、機(jī)器學(xué)習(xí)庫(kù)或框架，并且訓(xùn)練和擴(kuò)展模型，實(shí)現(xiàn)比較快的迭代和強(qiáng)大的可重復(fù)性，沒(méi)必要成為基礎(chǔ)設(shè)施專家，同一基礎(chǔ)設(shè)施為多個(gè)用戶提供服務(wù)。Kubernetes的機(jī)器學(xué)習(xí)工具包Kubeflow發(fā)展勢(shì)頭正猛。

Kubernetes仍處于相對(duì)新興的階段，但值得關(guān)注的是，這可能標(biāo)志著離云機(jī)器學(xué)習(xí)服務(wù)漸行漸遠(yuǎn)，因?yàn)閿?shù)據(jù)科學(xué)家更喜歡Kubernetes的整體靈活性和可控性。我們可能正進(jìn)入到數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)基礎(chǔ)設(shè)施的第三個(gè)范式轉(zhuǎn)變，從Hadoop（直到2017年？）到數(shù)據(jù)云服務(wù)（2017年至2019年），再到由Kubernetes和Snowflake等下一代數(shù)據(jù)倉(cāng)庫(kù)主導(dǎo)的世界（2019年至？）。

這種演變的另一面是復(fù)雜性增加。無(wú)疑有機(jī)會(huì)提供一個(gè)完整的平臺(tái)，可以抽取出云底層基礎(chǔ)設(shè)施的眾多復(fù)雜性，并使一群更廣泛的數(shù)據(jù)科學(xué)家和分析員更容易享受這個(gè)新世界。

Serverless是這種簡(jiǎn)化的一種嘗試，盡管角度不一樣。這種執(zhí)行模式使用戶能夠編寫和部署代碼，無(wú)需擔(dān)心底層基礎(chǔ)設(shè)施。云提供商處理所有后端服務(wù)，根據(jù)客戶實(shí)際使用的資源向客戶收費(fèi)。Serverless在過(guò)去幾年一直是重要的新興話題，這是我們?yōu)榻衲甑臄?shù)據(jù)和AI領(lǐng)域添加的另一個(gè)新類別。然而，Serverless在機(jī)器學(xué)習(xí)和數(shù)據(jù)科學(xué)方面的適用性仍在完善之中，像Algorithmia和Iguazio/Nuclio這些公司是早期的進(jìn)入者。

在企業(yè)界數(shù)據(jù)環(huán)境日益呈混合特性的另一個(gè)結(jié)果是，需要加大力度來(lái)控制企業(yè)的數(shù)據(jù)。

當(dāng)下一些數(shù)據(jù)駐留在數(shù)據(jù)倉(cāng)庫(kù)中，一些數(shù)據(jù)駐留在數(shù)據(jù)湖中，還有一些數(shù)據(jù)駐留在其他各種環(huán)境，橫跨本地環(huán)境、私有云和混合云，你如何查找、篩選、控制和跟蹤數(shù)據(jù)？這些努力有著各異的相關(guān)形式和名稱，包括數(shù)據(jù)查詢、數(shù)據(jù)治理、數(shù)據(jù)編目和數(shù)據(jù)沿襲，所有這些都越來(lái)越重要、越來(lái)越搶眼。

在混合環(huán)境查詢數(shù)據(jù)本身面臨挑戰(zhàn)，其解決方案屬于存儲(chǔ)和計(jì)算相分離這個(gè)大趨勢(shì)。

數(shù)據(jù)治理是迅速備受企業(yè)關(guān)注的另一個(gè)方面。數(shù)據(jù)治理的大體思路是管理一家企業(yè)的數(shù)據(jù)，確保數(shù)據(jù)在整個(gè)數(shù)據(jù)生命周期中都具有高質(zhì)量。數(shù)據(jù)治理涉及數(shù)據(jù)的可用性、完整性、易用性、一致性和安全性等方面。值得注意的是，2019年初，Collibra融資1億美元，估值超過(guò)10億美元。

數(shù)據(jù)目錄是另一種日益重要的數(shù)據(jù)管理方式。數(shù)據(jù)目錄實(shí)際上是綜合企業(yè)各種數(shù)據(jù)資產(chǎn)的字典。它們使用戶（包括數(shù)據(jù)科學(xué)家、數(shù)據(jù)分析員、開(kāi)發(fā)人員和業(yè)務(wù)用戶）能夠在自助環(huán)境下發(fā)現(xiàn)和使用數(shù)據(jù)。

最后，數(shù)據(jù)沿襲可能是最新出現(xiàn)的數(shù)據(jù)管理類別。數(shù)據(jù)沿襲旨在捕獲整個(gè)企業(yè)的“數(shù)據(jù)旅程”。它可以幫助公司搞清楚如何收集數(shù)據(jù)、數(shù)據(jù)在整個(gè)生命周期內(nèi)如何改動(dòng)和共享。這一塊的增長(zhǎng)受到許多因素的推動(dòng)，包括合規(guī)、隱私和道德越來(lái)越重要，以及需要機(jī)器學(xué)習(xí)管道和模型具有可重復(fù)性和透明度。

今年勢(shì)頭越來(lái)越猛的最后一個(gè)關(guān)鍵趨勢(shì)是側(cè)重于AI的基礎(chǔ)設(shè)施堆棧不斷涌現(xiàn)。

需要管理AI管道和模型促使MLOps（或AIOps）這個(gè)類別迅猛發(fā)展。鑒于這個(gè)新趨勢(shì)的勢(shì)頭，我們?cè)诮衲甑纳鷳B(tài)圖中添加了兩個(gè)新方框，一個(gè)在基礎(chǔ)設(shè)施下面（有眾多早期階段的初創(chuàng)公司，包括Algorithmia、Spell和Weights & Biases等），另一個(gè)在開(kāi)源下面（有眾多項(xiàng)目，通常也處于早期階段，包括Pachyderm、Seldon、Snorkel和MLeap等）。

機(jī)器學(xué)習(xí)工程師需要能夠進(jìn)行實(shí)驗(yàn)、快速迭代，需要時(shí)訪問(wèn)GPU等資源。許多早期階段的初創(chuàng)公司提供這種基礎(chǔ)設(shè)施，包括 Spell、Comet和Paperspace。

AI對(duì)基礎(chǔ)設(shè)施產(chǎn)生了深遠(yuǎn)的影響，甚至在堆棧的較低層面也是如此，GPU數(shù)據(jù)庫(kù)大行其道，新一代AI芯片（Graphcore和Cerebras等）涌現(xiàn)出來(lái)。AI可能迫使我們重新思考計(jì)算的整個(gè)本質(zhì)。

在分析方面，我們將重點(diǎn)介紹幾個(gè)主要趨勢(shì)：

熱點(diǎn)轉(zhuǎn)向企業(yè)AI平臺(tái)

橫向AI繼續(xù)非常活躍

商業(yè)智能（BI）在合并

企業(yè)界部署機(jī)器學(xué)習(xí)/AI仍處于早期階段。

對(duì)于該領(lǐng)域的大多數(shù)公司而言，明確的目標(biāo)是在機(jī)器學(xué)習(xí)/AI人才一向短缺繼續(xù)是阻礙廣泛采用的嚴(yán)重瓶頸這種環(huán)境下，促進(jìn)機(jī)器學(xué)習(xí)/AI的大眾化，惠及更廣大的用戶和公司。然而不同的玩家有不同的策略。

一種方法是AutoML。它使機(jī)器學(xué)習(xí)生命周期的所有環(huán)節(jié)實(shí)現(xiàn)自動(dòng)化，包括一些最繁瑣的環(huán)節(jié)。視產(chǎn)品而定，AutoML可以處理任何任務(wù)：從特征生成和特征工程、算法選擇，到模型訓(xùn)練、部署和監(jiān)控，不一而足。自我們發(fā)布2018年生態(tài)圖以來(lái)，DataLobot這家AutoML專業(yè)公司已完成了1億美元的D輪融資。

該領(lǐng)域的其他公司（Dataiku、H20和RapidMiner）不僅提供具有AutoML功能的平臺(tái)，還提供更廣泛的功能。比如說(shuō)，自發(fā)布2018年生態(tài)圖以來(lái)，Dataiku已完成約1.01億美元的C輪融資，總體理念是助力整個(gè)數(shù)據(jù)團(tuán)隊(duì)（包括數(shù)據(jù)科學(xué)家和數(shù)據(jù)分析員），并擯棄處理整個(gè)數(shù)據(jù)生命周期過(guò)程中的諸多復(fù)雜和繁瑣事務(wù)。

云提供商當(dāng)然很活躍，包括微軟的Learning Studio、谷歌的Cloud AutoML和AWS Sagemaker。盡管這些云提供商實(shí)力強(qiáng)大，但那些產(chǎn)品的范圍仍相當(dāng)狹窄——通常難以使?6?7?6?7用，主要針對(duì)精通技術(shù)的高級(jí)用戶。它們還處于初期階段。亞馬遜的云機(jī)器學(xué)習(xí)平臺(tái)Sagemaker在2018年起步緩慢，在商業(yè)領(lǐng)域的銷售額僅1100萬(wàn)美元。

一些云提供商正與該領(lǐng)域的專業(yè)玩家積極合作：微軟參投了Databricks 2.5億美元的E輪融資，這可能是未來(lái)收購(gòu)的前奏。

除了企業(yè)AI平臺(tái)外，橫向AI（包括計(jì)算機(jī)視覺(jué)、NLP和語(yǔ)音等）領(lǐng)域繼續(xù)異常活躍。

AI的一些主要趨勢(shì)包括：

NLP方面的重大改進(jìn)，尤其是通過(guò)運(yùn)用遷移學(xué)習(xí)（指對(duì)大量數(shù)據(jù)訓(xùn)練模型，并針對(duì)企業(yè)正在處理的具體問(wèn)題來(lái)移植和微調(diào)模型），使其能夠適用于較少的數(shù)據(jù)，比如ELMO、ULMFit和谷歌AI的BERT。

使AI適用于少量數(shù)據(jù)的更多項(xiàng)目，包括一次性學(xué)習(xí)（1-shot learning）。

將深度學(xué)習(xí)與強(qiáng)化學(xué)習(xí)相結(jié)合

GAN繼續(xù)取得進(jìn)展

應(yīng)用方面的幾個(gè)關(guān)鍵趨勢(shì)如下：

機(jī)器學(xué)習(xí)/AI達(dá)到部署階段

企業(yè)自動(dòng)化和RPA大行其道

我們?cè)噲D將機(jī)器學(xué)習(xí)/AI做入到適合它的幾乎任何企業(yè)應(yīng)用中，現(xiàn)在已有三四個(gè)年頭。無(wú)疑有一些拙劣的早期產(chǎn)品（第一代聊天機(jī)器人）和一些營(yíng)銷噱頭不切現(xiàn)實(shí)（尤其是試圖將機(jī)器學(xué)習(xí)/AI做入到現(xiàn)有產(chǎn)品中的老牌公司），總體而言仍處于早期階段。許多開(kāi)發(fā)機(jī)器學(xué)習(xí)/AI應(yīng)用的初創(chuàng)公司仍在摸索從研發(fā)模式進(jìn)入到完全投產(chǎn)所面臨的挑戰(zhàn)。

但今后幾年的趨勢(shì)似乎很明顯：拿來(lái)某個(gè)問(wèn)題，看看機(jī)器學(xué)習(xí)/AI能否大有作為，如果有幫助，構(gòu)建一款A(yù)I（或AI驅(qū)動(dòng)的）應(yīng)用軟件更有效地解決問(wèn)題。經(jīng)過(guò)幾年的評(píng)估和試驗(yàn)后，我們正完全進(jìn)入AI的部署階段。今后幾年，機(jī)器學(xué)習(xí)/AI產(chǎn)品會(huì)部署在整個(gè)企業(yè)，這一點(diǎn)很顯然且不可避免。

一些產(chǎn)品將由內(nèi)部團(tuán)隊(duì)使用上述企業(yè)AI平臺(tái)構(gòu)建和部署。其他產(chǎn)品將是各供應(yīng)商提供的嵌入AI的全棧式產(chǎn)品，其中AI部分可能在很大程度上對(duì)客戶不可見(jiàn)。還有一些產(chǎn)品由提供產(chǎn)品和服務(wù)組合的供應(yīng)商來(lái)提供。

無(wú)論技術(shù)復(fù)雜程度方面還是產(chǎn)品方面，成熟度都在逐步提高。目前狀態(tài)下的機(jī)器學(xué)習(xí)/AI能做什么、不能做什么，這點(diǎn)越來(lái)越清晰；我們開(kāi)始對(duì)任務(wù)在機(jī)器和人類之間的正解分配有了更好的認(rèn)識(shí)。比如說(shuō)，下一代客戶服務(wù)聊天機(jī)器人在機(jī)器人/AI與可配置性和透明度之間提供了極其智能化的組合，最終造福最終用戶。

展望未來(lái)，隨著機(jī)器學(xué)習(xí)/AI逐漸普及起來(lái)，并支持性能越來(lái)越高的數(shù)據(jù)堆棧，我們是否看到了完全自動(dòng)化企業(yè)的曙光？

自IT出現(xiàn)以來(lái)，企業(yè)一直備受孤島現(xiàn)象的困擾，各個(gè)系統(tǒng)和數(shù)據(jù)散布于各部門，無(wú)法彼此聯(lián)系（這催生了龐大的系統(tǒng)集成服務(wù)行業(yè)），人類充當(dāng)之間的“粘合劑”。在數(shù)據(jù)和系統(tǒng)日益整合的世界，機(jī)器學(xué)習(xí)/AI能夠逐漸讓人類從某些業(yè)務(wù)職能解放出來(lái)，現(xiàn)在比以往更有可能讓企業(yè)以越來(lái)越自動(dòng)化、系統(tǒng)化的方式運(yùn)作。

比如設(shè)想一家自動(dòng)化企業(yè)：需求的增加（通過(guò)機(jī)器學(xué)習(xí)來(lái)預(yù)測(cè)）自動(dòng)觸發(fā)供應(yīng)商增加供貨，這將自動(dòng)記錄在財(cái)務(wù)系統(tǒng)中（財(cái)務(wù)系統(tǒng)可自動(dòng)計(jì)算和支付補(bǔ)償獎(jiǎng)金等）；或預(yù)期的需求減少可能自動(dòng)觸發(fā)績(jī)效營(yíng)銷支出相應(yīng)增加。

在將來(lái)，企業(yè)不僅成為完全自動(dòng)化的組織，最終還會(huì)是自愈合、自主的。然而，我們離那個(gè)階段還遠(yuǎn)著呢，今天基本上專注于RPA。這個(gè)類別炙手可熱，如上所述，UI Path和Automation Anywhere等領(lǐng)導(dǎo)公司的發(fā)展非常快，完成了巨額融資。

RPA的全稱是機(jī)器人流程自動(dòng)化（不過(guò)它不利用任何實(shí)際的機(jī)器人），是指拿來(lái)通常很簡(jiǎn)單的工作流程——通常是手動(dòng)（人類執(zhí)行）且重復(fù)的流程，用軟件取而代之。許多RPA出現(xiàn)在后臺(tái)職能部門（比如發(fā)票處理）。

RPA得益于如火如荼的數(shù)字化轉(zhuǎn)型（這個(gè)領(lǐng)域的幾個(gè)領(lǐng)導(dǎo)品牌已存在多年，但是數(shù)字化轉(zhuǎn)型成為熱門話題時(shí)，突然迎來(lái)井噴式發(fā)展）。它還提供了豐厚的投資回報(bào)率，因?yàn)槠鋵?shí)施可以直接與人類執(zhí)行相同任務(wù)的成本進(jìn)行比較。RPA對(duì)技術(shù)服務(wù)巨頭們也很有吸引力，因?yàn)樗婕按罅康膶?shí)施服務(wù)（因?yàn)樾枰獮闊o(wú)數(shù)不同的工作流程配置軟件）；因此，RPA初創(chuàng)公司得益于與那些大型服務(wù)公司的密切合作關(guān)系。

有理由對(duì)RPA持懷疑態(tài)度。一些人認(rèn)為RPA是基本上非智能的“創(chuàng)可貼”，或者某種權(quán)宜之計(jì)——拿來(lái)人類執(zhí)行的低效工作流程，就讓機(jī)器來(lái)執(zhí)行。從這個(gè)角度來(lái)看，RPA可能只是帶來(lái)了下一級(jí)技術(shù)債務(wù)，不清楚周圍環(huán)境變化時(shí)自動(dòng)化的RPA職能會(huì)發(fā)生什么變化。

上述的原因在于RPA更強(qiáng)調(diào)自動(dòng)化而不是智能，更強(qiáng)制基于規(guī)則的解決方案而不是AI（盡管RPA供應(yīng)商在提供AI時(shí)大搞營(yíng)銷噱頭），至少在這個(gè)階段如此。

應(yīng)將RPA與智能自動(dòng)化區(qū)分開(kāi)來(lái)，后者是以機(jī)器學(xué)習(xí)/AI為中心的更新穎的類別。智能自動(dòng)化還以企業(yè)流程和工作流為目標(biāo)，但它以數(shù)據(jù)為中心而不是以流程為中心，最終能夠?qū)W習(xí)、改進(jìn)和治愈。

智能自動(dòng)化的一個(gè)例子是智能文檔處理（ADP），這個(gè)類別是指：可以利用機(jī)器學(xué)習(xí)/AI來(lái)解讀文檔（表格、發(fā)票和合同等），其理解能力不遜于人類，解讀大規(guī)模文檔除外。

今后幾年這些領(lǐng)域值得觀察，RPA和智能自動(dòng)化可能會(huì)合并，除非后者的發(fā)展非常快，以至于限制了對(duì)前者的需求。

在商業(yè)智能（BI）領(lǐng)域，過(guò)去幾個(gè)月的明顯趨勢(shì)是前面提到的合并不斷，Tableau、Looker、Zoomdata和Clearstory被收購(gòu)，SiSense與Periscope合并。

BI界會(huì)有更多的合并嗎？微軟憑Power BI占有強(qiáng)大地位，但當(dāng)整個(gè)細(xì)分市場(chǎng)合并、每家公司都積極參與其中時(shí)，并購(gòu)市場(chǎng)會(huì)呈現(xiàn)自己的狀況。考慮到QuickSight BI通常被認(rèn)為有點(diǎn)落后，AWS可能需要更強(qiáng)大的產(chǎn)品。

事后分析一下，BI界的合并在某種程度上不可避免，因?yàn)閿?shù)據(jù)可視化和自助分析領(lǐng)域已商品化，有大量的專業(yè)供應(yīng)商。無(wú)論大小，每家供應(yīng)商都面臨著實(shí)現(xiàn)多樣化、增強(qiáng)功能的壓力。對(duì)于云收購(gòu)者而言，這些新產(chǎn)品線無(wú)疑會(huì)增加收入，但更重要的是，它們有增值能力，這是幫助創(chuàng)造核心平臺(tái)收入的另一個(gè)工具。

云頭條注意到近幾年來(lái)，國(guó)內(nèi)企業(yè)對(duì)數(shù)據(jù)的重視也有了指數(shù)級(jí)的提升，不論是從數(shù)據(jù)本身的價(jià)值發(fā)現(xiàn)還是和新技術(shù)的結(jié)合去挖掘更多的價(jià)值。這使得國(guó)內(nèi)的BI市場(chǎng)也越來(lái)越完善，市場(chǎng)內(nèi)的供應(yīng)商則也頂著企業(yè)數(shù)字化需要發(fā)展的壓力再奮力前行。帆軟就是其中一家具有代表性的公司，從2016年銷售額近2億到2018年的4.62億，企業(yè)規(guī)模也從不到300人發(fā)展到現(xiàn)在的近1100人。

IDC發(fā)布的《IDC2018年中國(guó)商業(yè)智能軟件市場(chǎng)追蹤報(bào)告》，顯示：帆軟軟件以14.88%的市場(chǎng)占有率高居第一，延續(xù)了2017年的市場(chǎng)地位，并且領(lǐng)先第二名SAP公司4.6%。

類比于每年國(guó)外專業(yè)的商業(yè)智能領(lǐng)域大會(huì)，小編注意到2018年，帆軟就擔(dān)起了國(guó)產(chǎn)BI軟件的責(zé)任，在南京舉辦了第一屆智數(shù)大會(huì)，共計(jì)700家企業(yè)近1400名信息化高管參與。今年年初，帆軟又發(fā)起了對(duì)第二屆智數(shù)大會(huì)的籌備工作，經(jīng)過(guò)一輪又一輪的話題甄選，第二屆的時(shí)間確認(rèn)在8月15到17日在南京召開(kāi)。本次大會(huì)以“數(shù)據(jù)有引力”為主題，討論國(guó)內(nèi)的商業(yè)智能行業(yè)發(fā)展及數(shù)據(jù)對(duì)企業(yè)的價(jià)值，探討如何讓沉睡的企業(yè)負(fù)資產(chǎn)變現(xiàn)，展現(xiàn)出它本身應(yīng)有的價(jià)值。