為了滿足關(guān)鍵的業(yè)務(wù)需求，可能需要對AI進行一些調(diào)整，但是我們?nèi)绾沃繟I建議是否僅出于業(yè)務(wù)需要而不是出于其他原因而被調(diào)整呢？

一家公司收到1000個新職位申請，但應(yīng)該雇用誰？如果將罪犯提早從監(jiān)獄中釋放出來，罪犯有多大可能成為重犯？隨著人工智能（AI）越來越多地進入我們的生活，它可以幫助回答這些問題。但是我們?nèi)绾喂芾鞟I使用的數(shù)據(jù)集中的偏差呢？

“人工智能的決策是針對我們周圍可用的數(shù)據(jù)量身定制的，并且在種族，性別，國籍和其他受保護的屬性方面，數(shù)據(jù)總是存在偏差。當人工智能做出決策時，它會固有地獲得或加強這些偏差，卡內(nèi)基梅隆大學電氣與計算機工程（ECE）博士生Sanghamitra Dutta說。

杜塔說：“例如，發(fā)現(xiàn)郵政編碼會傳播種族偏見。同樣，如果女性簡歷中包含“女性橄欖球隊”這樣的詞組，那么一種自動化的招聘工具可能會學會降級女性的簡歷。為解決這一問題，已有大量研究在過去十年中開發(fā)的軟件專注于機器學習的公平性并消除AI模型的偏見。

ECE教授Pulkit Grover說：“但是，為了滿足關(guān)鍵的業(yè)務(wù)需求，可能需要排除AI的某些偏見。”他與Dutta合作，了解如何將AI應(yīng)用于公平篩選求職者以及其他應(yīng)用程序中。

“起初，說一些偏見是可以的，甚至在政治上是不正確的，但是在某些情況下，常識表明允許某些偏見是可以接受的。例如，消防員需要抬起受害者并將他們帶出燃燒建筑物。舉重是一項關(guān)鍵的工作要求。”格羅弗說。

在這個例子中，舉起重物的能力可能偏向男性。格羅弗說：“這是一個您可能會有偏見的例子，但可以用對安全性至關(guān)重要的業(yè)務(wù)需求來解釋。”

“然后，問題就變成了您如何檢查AI工具是否給出的建議純粹是由于業(yè)務(wù)需要而不是其他原因而導致的。” 或者，您如何生成僅因業(yè)務(wù)需要而偏向其推薦的新AI算法？這些是與美國關(guān)于就業(yè)歧視的法律有關(guān)的重要問題。如果雇主可以證明某項功能（例如需要舉起身體）是真正的職業(yè)資格，則該偏見將被法律豁免。（這被稱為“標題VII的業(yè)務(wù)必要防御”。）

AI算法已經(jīng)非常擅長識別數(shù)據(jù)中的模式。如果不加以限制，由于刻板印象，這種能力可能導致不公平。因此，人工智能工具必須能夠解釋和捍衛(wèi)他們提出的建議。團隊使用其新穎的方法來訓練AI模型，以通過有偏見的數(shù)據(jù)進行除草，并消除對執(zhí)行工作而言并非至關(guān)重要的偏見，同時將那些偏見視為業(yè)務(wù)必需。

根據(jù)Dutta的說法，在使用其度量和模型時會遇到一些技術(shù)挑戰(zhàn)，但是正如團隊所證明的那樣，這些挑戰(zhàn)可以克服。但是，還有一些重要的社會問題需要解決。一個關(guān)鍵點是，他們的模型無法自動確定哪些功能對業(yè)務(wù)至關(guān)重要。Dutta解釋說：“ 為特定應(yīng)用程序定義關(guān)鍵功能不僅僅是一個數(shù)學問題，這就是為什么計算機科學家和社會科學家需要合作以擴大AI在道德雇傭?qū)嵺`中的作用的原因。”

除Dutta和Grover外，研究小組還由歐洲經(jīng)委會教授Anupam Datta組成。ECE系統(tǒng)科學家Piotr Mardziel;和博士學位 候選人Praveen Venkatesh。

Dutta在2020年在紐約市舉行的AAAI人工智能大會上，在名為“具有豁免特征的歧視的信息理論量化”的論文中介紹了他們的研究。