1.2.1. 數(shù)據(jù)

不用說(shuō)，沒(méi)有數(shù)據(jù)就無(wú)法進(jìn)行數(shù)據(jù)科學(xué)。我們可能會(huì)浪費(fèi)數(shù)百頁(yè)來(lái)思考數(shù)據(jù)到底是什么，但現(xiàn)在，我們將專(zhuān)注于我們將關(guān)注的數(shù)據(jù)集的關(guān)鍵屬性。通常，我們關(guān)注示例的集合。為了有效地處理數(shù)據(jù)，我們通常需要提出合適的數(shù)字表示。每個(gè)示例（或數(shù)據(jù)點(diǎn)、數(shù)據(jù)實(shí)例、樣本）通常由一組稱(chēng)為特征的屬性（有時(shí)稱(chēng)為協(xié)變量或 輸入)，模型必須基于此做出預(yù)測(cè)。在監(jiān)督學(xué)習(xí)問(wèn)題中，我們的目標(biāo)是預(yù)測(cè)一個(gè)特殊屬性的值，稱(chēng)為標(biāo)簽（或目標(biāo)），它不是模型輸入的一部分。

如果我們處理的是圖像數(shù)據(jù)，則每個(gè)示例都可能包含一張單獨(dú)的照片（特征）和一個(gè)指示照片所屬類(lèi)別的數(shù)字（標(biāo)簽）。照片將以數(shù)字方式表示為三個(gè)數(shù)值網(wǎng)格，代表每個(gè)像素位置的紅光、綠光和藍(lán)光的亮度。例如，一個(gè)\(200\times 200\)彩色照片將包括\(200\times200\times3=120000\)數(shù)值。

或者，我們可以使用電子健康記錄數(shù)據(jù)來(lái)處理預(yù)測(cè)給定患者在接下來(lái) 30 天內(nèi)存活的可能性的任務(wù)。在這里，我們的特征可能包括一組現(xiàn)成的屬性和經(jīng)常記錄的測(cè)量值，包括年齡、生命體征、合并癥、當(dāng)前藥物治療和最近的程序。可用于訓(xùn)練的標(biāo)簽將是一個(gè)二進(jìn)制值，指示歷史數(shù)據(jù)中的每個(gè)患者是否在 30 天窗口內(nèi)存活。

在這種情況下，當(dāng)每個(gè)示例都具有相同數(shù)量的數(shù)字特征時(shí)，我們說(shuō)輸入是固定長(zhǎng)度的向量，我們將向量的（恒定）長(zhǎng)度稱(chēng)為數(shù)據(jù)的維度。正如您想象的那樣，固定長(zhǎng)度的輸入可能很方便，讓我們不必?fù)?dān)心那么復(fù)雜。但是，并非所有數(shù)據(jù)都可以輕松表示為固定長(zhǎng)度向量。雖然我們可能期望顯微鏡圖像來(lái)自標(biāo)準(zhǔn)設(shè)備，但我們不能期望從 Internet 中提取的圖像都以相同的分辨率或形狀顯示。對(duì)于圖像，我們可能會(huì)考慮將它們?nèi)坎眉魹闃?biāo)準(zhǔn)尺寸，但該策略只能讓我們走到這一步。我們冒著丟失裁剪部分信息的風(fēng)險(xiǎn)。此外，文本數(shù)據(jù)更頑固地抵制固定長(zhǎng)度的表示。考慮在亞馬遜、IMDb 和 TripAdvisor 等電子商務(wù)網(wǎng)站上留下的客戶評(píng)論。有些很短：“它很臭！”。其他人漫不經(jīng)心地尋找頁(yè)面。與傳統(tǒng)方法相比，深度學(xué)習(xí)的一大優(yōu)勢(shì)是現(xiàn)代模型可以相對(duì)優(yōu)雅地處理變長(zhǎng)數(shù)據(jù)。

通常，我們擁有的數(shù)據(jù)越多，我們的工作就越容易。當(dāng)我們擁有更多數(shù)據(jù)時(shí)，我們可以訓(xùn)練更強(qiáng)大的模型，減少對(duì)先入為主的假設(shè)的依賴(lài)。從（相對(duì)）小數(shù)據(jù)到大數(shù)據(jù)的機(jī)制變化是現(xiàn)代深度學(xué)習(xí)成功的主要貢獻(xiàn)者。為了說(shuō)明這一點(diǎn)，深度學(xué)習(xí)中許多最令人興奮的模型如果沒(méi)有大型數(shù)據(jù)集就無(wú)法工作。其他一些在小數(shù)據(jù)領(lǐng)域工作，但并不比傳統(tǒng)方法好。

最后，擁有大量數(shù)據(jù)并巧妙地處理數(shù)據(jù)是不夠的。我們需要正確的數(shù)據(jù)。如果數(shù)據(jù)充滿錯(cuò)誤，或者如果所選特征不能預(yù)測(cè)感興趣的目標(biāo)數(shù)量，學(xué)習(xí)就會(huì)失敗。陳詞濫調(diào)很好地描述了這種情況：垃圾進(jìn)，垃圾出. 此外，糟糕的預(yù)測(cè)性能并不是唯一的潛在后果。在機(jī)器學(xué)習(xí)的敏感應(yīng)用中，例如預(yù)測(cè)性監(jiān)管、簡(jiǎn)歷篩選和用于貸款的風(fēng)險(xiǎn)模型，我們必須特別警惕垃圾數(shù)據(jù)的后果。一種常見(jiàn)的故障模式發(fā)生在訓(xùn)練數(shù)據(jù)中沒(méi)有代表某些人群的數(shù)據(jù)集中。想象一下，在以前從未見(jiàn)過(guò)黑色皮膚的野外應(yīng)用皮膚癌識(shí)別系統(tǒng)。當(dāng)數(shù)據(jù)不僅不能充分代表某些群體而且反映了社會(huì)偏見(jiàn)時(shí)，也可能會(huì)失敗。例如，如果過(guò)去的招聘決定被用來(lái)訓(xùn)練一個(gè)用于篩選簡(jiǎn)歷的預(yù)測(cè)模型，那么機(jī)器學(xué)習(xí)模型可能會(huì)無(wú)意中捕捉到歷史上的不公正現(xiàn)象并將其自動(dòng)化。

1.2.2. 楷模

大多數(shù)機(jī)器學(xué)習(xí)都涉及在某種意義上轉(zhuǎn)換數(shù)據(jù)。我們可能想要構(gòu)建一個(gè)系統(tǒng)來(lái)攝取照片并預(yù)測(cè)笑臉。或者，我們可能想要獲取一組傳感器讀數(shù)并預(yù)測(cè)讀數(shù)的正常與異常程度。按 型號(hào)，我們表示用于攝取一種類(lèi)型的數(shù)據(jù)并吐出可能不同類(lèi)型的預(yù)測(cè)的計(jì)算機(jī)器。特別是，我們對(duì)可以從數(shù)據(jù)中估計(jì)的統(tǒng)計(jì)模型感興趣。雖然簡(jiǎn)單的模型完全能夠解決適當(dāng)?shù)暮?jiǎn)單問(wèn)題，但我們?cè)诒緯?shū)中關(guān)注的問(wèn)題超出了經(jīng)典方法的局限性。深度學(xué)習(xí)與經(jīng)典方法的區(qū)別主要在于它關(guān)注的一組強(qiáng)大模型。這些模型由許多連續(xù)的數(shù)據(jù)轉(zhuǎn)換組成，這些數(shù)據(jù)從上到下鏈接在一起，因此得名深度學(xué)習(xí)。在討論深度模型的過(guò)程中，我們還將討論一些更傳統(tǒng)的方法。

1.2.3. 目標(biāo)函數(shù)

早些時(shí)候，我們將機(jī)器學(xué)習(xí)介紹為從經(jīng)驗(yàn)中學(xué)習(xí)。通過(guò) 在這里學(xué)習(xí)，我們的意思是隨著時(shí)間的推移在某些任務(wù)上有所改進(jìn)。但是誰(shuí)能說(shuō)什么是改進(jìn)呢？您可能會(huì)想象我們可以提議更新我們的模型，而有些人可能不同意提議的更新是改進(jìn)還是下降。

為了開(kāi)發(fā)一個(gè)正式的學(xué)習(xí)機(jī)器數(shù)學(xué)系統(tǒng)，我們需要對(duì)我們的模型有多好（或多壞）有正式的衡量標(biāo)準(zhǔn)。在機(jī)器學(xué)習(xí)和更一般的優(yōu)化中，我們稱(chēng)這些 為目標(biāo)函數(shù)。按照慣例，我們通常將目標(biāo)函數(shù)定義為越低越好。這只是一個(gè)慣例。您可以采用任何越高越好的函數(shù)，并通過(guò)翻轉(zhuǎn)符號(hào)將其轉(zhuǎn)換為質(zhì)量相同但越低越好的新函數(shù)。因?yàn)樵降驮胶茫@些函數(shù)有時(shí)被稱(chēng)為損失函數(shù)。

當(dāng)嘗試預(yù)測(cè)數(shù)值時(shí)，最常見(jiàn)的損失函數(shù)是平方誤差，即預(yù)測(cè)值與真實(shí)目標(biāo)之間的差值的平方。對(duì)于分類(lèi)，最常見(jiàn)的目標(biāo)是最小化錯(cuò)誤率，即我們的預(yù)測(cè)與基本事實(shí)不一致的示例部分。一些目標(biāo)（例如，平方誤差）易于優(yōu)化，而其他目標(biāo)（例如，錯(cuò)誤率）由于不可微性或其他復(fù)雜性而難以直接優(yōu)化。在這些情況下，通常會(huì)優(yōu)化替代目標(biāo)。

在優(yōu)化過(guò)程中，我們將損失視為模型參數(shù)的函數(shù)，并將訓(xùn)練數(shù)據(jù)集視為常數(shù)。我們通過(guò)最小化由為訓(xùn)練收集的一些示例組成的集合所產(chǎn)生的損失來(lái)學(xué)習(xí)模型參數(shù)的最佳值。然而，在訓(xùn)練數(shù)據(jù)上做得很好并不能保證我們?cè)诳床灰?jiàn)的數(shù)據(jù)上也會(huì)做得很好。因此，我們通常希望將可用數(shù)據(jù)分成兩個(gè)部分：訓(xùn)練數(shù)據(jù)集（或訓(xùn)練集），用于學(xué)習(xí)模型參數(shù)；和測(cè)試數(shù)據(jù)集（或測(cè)試集), 用于評(píng)估。在一天結(jié)束時(shí)，我們通常會(huì)報(bào)告我們的模型在兩個(gè)分區(qū)上的表現(xiàn)。您可以將培訓(xùn)績(jī)效視為類(lèi)似于學(xué)生在用于準(zhǔn)備某些實(shí)際期末考試的練習(xí)考試中取得的分?jǐn)?shù)。即使結(jié)果令人鼓舞，也不能保證在期末考試中取得成功。在學(xué)習(xí)過(guò)程中，學(xué)生可能會(huì)開(kāi)始背誦練習(xí)題，看似掌握了主題，但在面對(duì)實(shí)際期末考試中以前沒(méi)見(jiàn)過(guò)的問(wèn)題時(shí)卻步履蹣跚。當(dāng)一個(gè)模型在訓(xùn)練集上表現(xiàn)良好但無(wú)法泛化到看不見(jiàn)的數(shù)據(jù)時(shí)，我們說(shuō)它對(duì)訓(xùn)練數(shù)據(jù)過(guò)度擬合。

1.2.4. 優(yōu)化算法

一旦我們獲得了一些數(shù)據(jù)源和表示、模型和定義明確的目標(biāo)函數(shù)，我們就需要一種能夠搜索最佳參數(shù)以最小化損失函數(shù)的算法。流行的深度學(xué)習(xí)優(yōu)化算法基于一種稱(chēng)為梯度下降的方法。簡(jiǎn)而言之，在每個(gè)步驟中，此方法都會(huì)檢查每個(gè)參數(shù)，以查看如果您對(duì)該參數(shù)進(jìn)行少量擾動(dòng)，訓(xùn)練集損失將以何種方式移動(dòng)。然后它在降低損失的方向上更新參數(shù)。

1.3.1. 監(jiān)督學(xué)習(xí)

監(jiān)督學(xué)習(xí)描述的任務(wù)是給定一個(gè)包含特征和標(biāo)簽的數(shù)據(jù)集，并負(fù)責(zé)生成一個(gè)模型來(lái)預(yù)測(cè)給定輸入特征的標(biāo)簽。每個(gè)特征-標(biāo)簽對(duì)稱(chēng)為一個(gè)示例。有時(shí)，當(dāng)上下文清楚時(shí)，我們可以使用術(shù)語(yǔ)示例引用一組輸入，即使相應(yīng)的標(biāo)簽未知。監(jiān)督發(fā)揮作用是因?yàn)闉榱诉x擇參數(shù)，我們（監(jiān)督者）為模型提供了一個(gè)由標(biāo)記示例組成的數(shù)據(jù)集。在概率方面，我們通常對(duì)估計(jì)給定輸入特征的標(biāo)簽的條件概率感興趣。雖然它只是機(jī)器學(xué)習(xí)中的幾種范式之一，但監(jiān)督學(xué)習(xí)占機(jī)器學(xué)習(xí)在工業(yè)中的大部分成功應(yīng)用。部分原因是，許多重要任務(wù)可以清晰地描述為在給定一組特定的可用數(shù)據(jù)的情況下估計(jì)未知事物的概率：

• 根據(jù)計(jì)算機(jī)斷層掃描圖像預(yù)測(cè)癌癥與非癌癥。

• 給出英語(yǔ)句子，預(yù)測(cè)正確的法語(yǔ)翻譯。

• 根據(jù)本月的財(cái)務(wù)報(bào)告數(shù)據(jù)預(yù)測(cè)下個(gè)月的股票價(jià)格。

雖然所有監(jiān)督學(xué)習(xí)問(wèn)題都被簡(jiǎn)單描述“預(yù)測(cè)給定輸入特征的標(biāo)簽”所捕獲，但監(jiān)督學(xué)習(xí)可以采取多種形式并需要大量建模決策，具體取決于（除其他考慮因素外）輸入的類(lèi)型、大小和數(shù)量和輸出。例如，我們使用不同的模型來(lái)處理任意長(zhǎng)度的序列和處理固定長(zhǎng)度的向量表示。我們將在本書(shū)中深入探討其中的許多問(wèn)題。

非正式地，學(xué)習(xí)過(guò)程如下所示。首先，獲取大量特征已知的示例，并從中隨機(jī)選擇一個(gè)子集，為每個(gè)示例獲取真實(shí)標(biāo)簽。有時(shí)這些標(biāo)簽可能是已經(jīng)收集到的可用數(shù)據(jù)（例如，患者是否在下一年內(nèi)死亡？），而其他時(shí)候我們可能需要使用人工注釋器來(lái)標(biāo)記數(shù)據(jù)（例如，將圖像分配給類(lèi)別）。這些輸入和相應(yīng)的標(biāo)簽一起構(gòu)成了訓(xùn)練集。我們將訓(xùn)練數(shù)據(jù)集輸入監(jiān)督學(xué)習(xí)算法，該算法將數(shù)據(jù)集作為輸入并輸出另一個(gè)函數(shù)：學(xué)習(xí)模型。最后，我們可以將以前看不見(jiàn)的輸入提供給學(xué)習(xí)模型，使用其輸出作為相應(yīng)標(biāo)簽的預(yù)測(cè)。圖 1.3.1。

圖 1.3.1監(jiān)督學(xué)習(xí)。