電影、劇集等視頻的創(chuàng)作、生產(chǎn)、分銷等環(huán)節(jié)已經(jīng)可以通過算法優(yōu)化提升效率。Netflix的AVA平臺(tái)可以自動(dòng)的甄選最有代表性的劇照，從而針對(duì)不同人群推送最能打動(dòng)觀眾的劇照。

在Netflix公司，無論是內(nèi)容平臺(tái)工程師團(tuán)隊(duì)，還是全球產(chǎn)品創(chuàng)意團(tuán)隊(duì)都知道，觀眾在尋找新的節(jié)目和電影觀看時(shí)，封面插圖扮演著非常重要的角色。我們可以透過封面插圖，揭示故事的獨(dú)特元素，而這些元素將我們的觀眾與不同的角色和故事線索聯(lián)系起來。我們?yōu)榇烁械胶茏院馈ｋS著我們的原創(chuàng)內(nèi)容不斷增多，我們的技術(shù)專家的任務(wù)是尋找新的方式來處理不多擴(kuò)展的資源，并使我們的創(chuàng)意可以擺脫不斷增長的令人厭煩的數(shù)字宣傳需求。其中的一個(gè)方法是直接從我們的源視頻中采集靜態(tài)圖像幀，以提供更加靈活的原始插圖來源。

商業(yè)案例

宣傳劇照是直接從源視頻內(nèi)容中獲取的靜態(tài)視頻幀，用于擴(kuò)大Netflix服務(wù)的標(biāo)題范圍。在一個(gè)一小時(shí)的新劇集中，有近86,000個(gè)靜態(tài)視頻幀。

通常來說，這些宣傳劇照是由影片的策劃人或編輯人工選擇的，他們需要對(duì)打算呈現(xiàn)的源內(nèi)容有深入的了解。通過A / B測試我們了解到，通過盡可能多地變換各種不同的標(biāo)題，我們可以有效地推動(dòng)預(yù)期和意外受眾群體進(jìn)行更多地觀看。說到標(biāo)題藝術(shù)，我們喜歡測試一個(gè)標(biāo)題的許多藝術(shù)表現(xiàn)形式，以便為正確的觀眾找到“正確的”作品插圖。雖然這為創(chuàng)新和測試提供了一個(gè)令人興奮的機(jī)會(huì)，但它同時(shí)也提出了一個(gè)非常嚴(yán)峻的挑戰(zhàn)，即在我們不斷增長的全球內(nèi)容目錄中的每個(gè)標(biāo)題上實(shí)踐這種體驗(yàn)。

AVA

AVA是一個(gè)工具和算法的集合，旨在從我們服務(wù)的視頻中提取高質(zhì)量的圖像。平均一個(gè)電視節(jié)目（約10集）包含近900萬個(gè)總幀數(shù)。要求創(chuàng)意編輯們從許多視頻幀中有效篩選出來一個(gè)能夠吸引觀眾注意力的視頻幀是乏味并且缺乏效率的。我們著手構(gòu)建了一個(gè)工具，能夠快速有效地識(shí)別Netflix服務(wù)上哪些幀能夠最佳地表達(dá)主題和標(biāo)題。

為了實(shí)現(xiàn)這個(gè)目標(biāo)，我們首先提出了客觀信號(hào)，它可以促使我們使用幀注解來衡量視頻的每一幀。因此，我們可以收集視頻的每個(gè)幀的有效表示。隨后，我們創(chuàng)建了排序算法，使我們能夠?qū)Ψ蠈徝馈?chuàng)意和多樣性目標(biāo)的視頻幀子集進(jìn)行排序，以準(zhǔn)確地為我們產(chǎn)品的各種畫面呈現(xiàn)內(nèi)容。

由AVA提供的備選圖像

從源視頻到編輯備選圖像的高級(jí)階段

幀注解

作為我們自動(dòng)化流水線的一部分，我們?cè)谝曨l的每個(gè)幀中都處理和注釋不同的變量，以便最好地得出幀的內(nèi)容，并理解該幀對(duì)于故事是否重要。為了進(jìn)行橫向擴(kuò)展，并為不斷增長的內(nèi)容目錄提供可預(yù)測的SLA，我們利用Archer框架更有效地處理視頻。Archer允許我們把視頻分成更小的可以并行處理的視頻塊。這使我們能夠通過提高視頻處理流水線的效率來擴(kuò)展規(guī)模，并允許我們將越來越多的內(nèi)容智能算法集成到我們的工具集中。

通過一系列計(jì)算機(jī)視覺算法處理一段內(nèi)容中的每一幀視頻，以收集客觀幀元數(shù)據(jù)、幀的潛在表示，以及這些幀所包含的一些上下文元數(shù)據(jù)。我們處理和應(yīng)用到視頻幀的注解屬性大致可以分為三大類：

視覺元數(shù)據(jù)

通常這些屬性是客觀的、可測量的，并且主要包含在像素級(jí)。視覺屬性包括亮度、顏色、對(duì)比度和運(yùn)動(dòng)模糊等等。

我們?cè)趲?jí)捕獲到的一些視覺屬性的例子。

上下文元數(shù)據(jù)

上下文元數(shù)據(jù)由多個(gè)元素的組合組成，這些元素被聚合以從幀的角色、對(duì)象和攝影機(jī)的動(dòng)作或移動(dòng)中獲得含義。下面是一些例子：

人臉識(shí)別。使用面部特征跟蹤、姿態(tài)估計(jì)和情感分析技術(shù) —— 這使我們能夠估計(jì)該幀中主體的姿勢(shì)和情緒。

運(yùn)動(dòng)估計(jì)—— 這使我們能夠估計(jì)特定鏡頭中包含的運(yùn)動(dòng)量（包括攝影機(jī)運(yùn)動(dòng)和主體運(yùn)動(dòng)）。這使我們能夠控制諸如運(yùn)動(dòng)模糊之類的元素，以及識(shí)別產(chǎn)生高質(zhì)量靜止圖像的攝影機(jī)移動(dòng)。

攝影機(jī)拍攝識(shí)別—— （例如，近距離拍攝與移動(dòng)攝影車拍攝）這提供了對(duì)電影攝影師意圖的洞察，使我們能夠快速識(shí)別并顯現(xiàn)出攝影師選擇的體裁風(fēng)格，以提供對(duì)主題表達(dá)的情緒、基調(diào)和流派的更深入洞察。

對(duì)象檢測—— 道具和動(dòng)畫對(duì)象的分割檢測使我們能夠找到該幀中重要的非人類主體。

面部特征和姿勢(shì)估計(jì)的例子; 我們用一些因子來檢測幀特征，發(fā)現(xiàn)有令人信服的面部表情出現(xiàn)。

用于預(yù)測攝影機(jī)運(yùn)動(dòng)的光流分析示例，以估計(jì)Black Mirror的拍攝手法（縮小和平移鏡頭）。

構(gòu)圖元數(shù)據(jù)

構(gòu)圖元數(shù)據(jù)是指我們根據(jù)攝影、電影拍攝和視覺美學(xué)設(shè)計(jì)中的一些核心原理確定和定義的一組特殊的啟發(fā)式特征。有一些構(gòu)圖的基本原則：三分法原則、景深原則和對(duì)稱原則。

對(duì)象檢測和語義分割的例子，以識(shí)別三分法美學(xué)的前景對(duì)象。

圖像排名

在給定視頻中的每一幀都經(jīng)過處理和注解后，下一步就是通過一個(gè)自動(dòng)藝術(shù)品流水線從這些幀中選出最佳的候選圖像。這樣，當(dāng)我們的創(chuàng)意團(tuán)隊(duì)準(zhǔn)備好開始一段內(nèi)容的工作時(shí)，他們會(huì)自動(dòng)提供一個(gè)高質(zhì)量的圖像集供您選擇。下面，我們概述一些我們用來為給定標(biāo)題提供最佳圖像的關(guān)鍵考慮元素。

演員

演員在藝術(shù)品中起著非常重要的作用。我們確定給定情節(jié)的關(guān)鍵角色的一種方法是利用臉部聚類和角色識(shí)別的組合來對(duì)主要角色，而不是次要角色或額外角色進(jìn)行優(yōu)先順序。為了達(dá)到這個(gè)目的，我們訓(xùn)練了一個(gè)深度學(xué)習(xí)模型，從所有符合幀注解的候選幀中追蹤面部相似性，以找到并排序該標(biāo)題的主要演員，而不知道該劇演員的任何情況。

除了演員重要性之外，我們還會(huì)考慮演員的姿勢(shì)，面部標(biāo)志以及角色的整體位置。

Wynona Ryder出演Joyce Byers時(shí)的幀排名和最佳選擇范例。

由于次優(yōu)的面部表情、姿勢(shì)和動(dòng)作模糊而排名較低的圖像的示例

幀分類

創(chuàng)意和視覺分類是一個(gè)非常主觀的學(xué)科，因?yàn)橛泻芏嗖煌姆绞絹砀兄投x圖像的多樣性。在該解決方案中，圖像分類更具體地指的是算法捕捉在單個(gè)電影或情節(jié)中自然發(fā)生的具有啟發(fā)式變化的能力。在此過程中，我們希望為設(shè)計(jì)師和創(chuàng)意人員提供一個(gè)可擴(kuò)展的機(jī)制，以便快速了解哪些視覺元素最能代表主題，以及哪些元素?zé)o法準(zhǔn)確代表主題。我們?cè)贏VA中引入的一些視覺啟發(fā)式變量為一個(gè)標(biāo)題提供了不同的圖像集，包括攝影機(jī)鏡頭類型（遠(yuǎn)景vs中景）、視覺相似性（三分法則，亮度，對(duì)比度）、顏色（最突出的顏色）和顯著圖（識(shí)別負(fù)面空間和復(fù)雜度）。通過結(jié)合這些啟發(fā)式變量，我們可以基于定制矢量對(duì)圖像幀進(jìn)行有效聚類后再分類。此外，通過合并多個(gè)向量，我們能夠構(gòu)建一個(gè)多樣性指數(shù)，針對(duì)某個(gè)特定情節(jié)或電影的所有候選圖像進(jìn)行評(píng)分。

AVA的鏡頭檢測分集的例子; （左）中景，（中心）特寫，（右）極端特寫。

成人圖像過濾器

考慮到內(nèi)容敏感度和受眾成熟度等原因，我們還需要確保排除了包含有害或令人反感元素的幀。編輯排除的標(biāo)準(zhǔn)示例，比如： 性/裸露、文字、標(biāo)志/未經(jīng)授權(quán)的品牌，以及暴力/血腥。為了降低含有這些元素的幀的優(yōu)先級(jí)，我們將這些變量中的每一個(gè)的概率作為向量，使我們能夠量化并最終為這些幀賦予較低的分?jǐn)?shù)。

我們還添加了標(biāo)題流派，內(nèi)容格式，成人度評(píng)分等元素作為次要元素或次要特征，并作為反饋，提供給排名預(yù)測模型。