來源:MSN
作者:Shara Tibken
翻譯:W3Cschool
去年年底美國開始分發(fā) COVID-19 疫苗時检吆,出現(xiàn)了一個重要問題:誰應(yīng)該優(yōu)先注射疫苗?許多醫(yī)療機構(gòu)和衛(wèi)生官員決定優(yōu)先給與感染者密切接觸的工作人員接種疫苗程储,包括醫(yī)護(hù)蹭沛、安保人員。斯坦福大學(xué)做為該國最頂尖大學(xué)之一章鲤,建立了一種確定順序的算法致板。
讓計算機決定誰先接種疫苗的唯一問題是它的“非常復(fù)雜的算法”(事實證明根本不是很復(fù)雜)是建立在錯誤的假設(shè)和數(shù)據(jù)之上的。也就是說咏窿,該算法優(yōu)先考慮特定年齡的醫(yī)務(wù)人員斟或,而不考慮許多年長的醫(yī)生沒有定期看病人的情況。斯坦福大學(xué)(Stanford Medicine)首批 COVID-19 疫苗的 5,000 劑疫苗中集嵌,只有七劑被分配一線駐地醫(yī)生萝挤。絕大多數(shù)被分配到了在家工作或與感染 COVID-19 的患者接觸很少的高級教師和醫(yī)生御毅。斯坦福大學(xué)迅速取消了該算法,并為一線員工接種了疫苗怜珍。
斯坦福大學(xué)門診護(hù)理團隊主任蒂姆·莫里森(Tim Morrison)12月中旬在發(fā)布的 Twitter 視頻中說:“我們的算法端蛆,倫理學(xué)家和傳染病專家工作了幾個星期,使用年齡酥泛、高風(fēng)險的工作環(huán)境以及該環(huán)境中的陽性率... ... 等條件中今豆,顯然沒有正確的工作”
斯坦福大學(xué)的疫苗崩潰只是算法有偏見的許多方式中的一個例子,隨著計算機程序取代人類決策者柔袁,這個問題變得越來越明顯呆躲。算法有望在沒有情感影響的情況下根據(jù)數(shù)據(jù)做出決策:可以更快、更公平捶索、更準(zhǔn)確地做出決策插掂。然而,算法并不總是基于理想的數(shù)據(jù)腥例,這一缺點在進(jìn)行生死攸關(guān)的決定(例如重要疫苗的分配)時會被放大辅甥。
根據(jù)加利福尼亞州奧克蘭市一家致力于種族和經(jīng)濟正義的非營利性機構(gòu) Greenlining Institute 周二發(fā)布的一份報告顯示:其影響甚至更為廣泛,因為計算機可以確定某人是否獲得房屋貸款燎竖,誰被雇用以及囚犯被關(guān)押的時間璃弄。Greenlining 首席執(zhí)行官黛布拉·戈爾·曼(Debra Gore-Mann)表示,算法通常會保留與人類決策者相同的種族构回,性別和收入水平偏差夏块。
戈爾·曼在接受采訪時說:“您正在看到這些工具被用于刑事司法評估、住房評估捐凭、金融信貸拨扶、教育凳鬓、求職茁肠。它變得如此普遍,以至于我們大多數(shù)人甚至都不知道正在進(jìn)行某種自動化和數(shù)據(jù)評估缩举】寻穑”
Greenlining 報告研究了設(shè)計不當(dāng)?shù)乃惴ㄈ绾瓮{到加劇系統(tǒng)性種族主義、性別歧視和對低收入人群的偏見仅孩。由于這項技術(shù)是由人們創(chuàng)造和培訓(xùn)的托猩,因此這些算法(無論是否有意)都可以重現(xiàn)歧視和偏見的模式,而人們通常不會意識到這種情況的發(fā)生辽慕。面部識別是被證明存在種族偏見的技術(shù)領(lǐng)域之一京腥。健身帶一直在努力準(zhǔn)確地測量有色人種的心率。
Greenlining 技術(shù)股權(quán)法律顧問 Vinhcent Le 說:“用于超目標(biāo)全球廣告的相同技術(shù)也正用于向人們收取不同價格的產(chǎn)品溅蛉,這些產(chǎn)品對于經(jīng)濟健康至關(guān)重要公浪,例如抵押產(chǎn)品保險他宛,以及不太重要的產(chǎn)品(例如鞋),” 欠气。
在另一個示例中厅各,Greenlining 標(biāo)記了由 Optum Health 創(chuàng)建的算法,該算法可用于確定患者的醫(yī)療照顧優(yōu)先級预柒。其中一個因素是病人在醫(yī)療費用上的花費队塘,假設(shè)病情最嚴(yán)重的人在醫(yī)療保健上花費最多。僅僅使用這個參數(shù)不會考慮到那些沒有那么多錢的人有時不得不在支付房租和支付醫(yī)療賬單之間做出選擇宜鸯,這會不成比例地傷害到黑人患者憔古。
Optum Health 表示,健康服務(wù)提供者以這種方式測試了算法的使用顾翼,但最終沒有使用它來確定醫(yī)療服務(wù)投放。
Optum 在一份聲明中說:“這個算法沒有種族偏見。這個工具的設(shè)計目的是根據(jù)個別病人過去的醫(yī)療經(jīng)驗來預(yù)測未來可能產(chǎn)生的費用适贸,并且在用于此目的時不會導(dǎo)致種族偏見——研究作者同意這一事實灸芳。”
沒有簡單的解決方法
Greenlining 為政府和公司提供了三種方法來確保技術(shù)更好拜姿。Greenlining 建議組織實行算法透明度和問責(zé)制烙样;在有意義的情況下開發(fā)種族意識算法,并特別尋求將弱勢群體納入算法假設(shè)蕊肥。
確保這種情況發(fā)生的責(zé)任谒获,將落在立法者身上。
勒(Le)說:“(這份報告)的重要意義是樹立起開始監(jiān)管人工智能的政治意愿壁却∨”
在加利福尼亞州,州議會正在考慮第 13 號議會法案展东,也被稱為 2021 年自動決策系統(tǒng)問責(zé)法案赔硫。它于 12 月 7 日推出,由 Greenlining 贊助盐肃,它將要求使用“自動決策系統(tǒng)“的企業(yè)測試其偏見及其對邊緣群體的影響爪膊。如果有影響,組織必須解釋砸王,為什么歧視待遇不違法推盛。勒說:“你可以區(qū)別對待別人,但如果是基于受保護(hù)的特征谦铃,比如種族耘成、性別和年齡,那就是違法的”窬”
2019 年 4 月件豌,民主黨人新澤西州參議員科里 · 布克(Cory Booker)和俄勒岡州參議員羅恩 · 懷登(Ron Wyden),以及紐約州眾議員伊維特·D·克拉克(Yvette D. Clarke)控嗜。提出了算法問責(zé)法案茧彤,該法案要求公司研究和修正有缺陷的計算機算法,這些算法導(dǎo)致了不準(zhǔn)確疆栏、不公平曾掂、偏見或歧視性的決定。一個月后壁顶,新澤西州引入了類似的算法責(zé)任法案珠洗。兩個法案都沒通過委員會。
勒說若专,如果加利福尼亞州的 AB13 通過许蓖,那將是美國第一個這樣的法律,但是它可能會失敗调衰,因為它的范圍太廣了膊爪,因為它目前是書面的。相反嚎莉,Greenlining 希望將法案的職責(zé)范圍縮小到首先關(guān)注政府創(chuàng)建的算法米酬。希望該法案將為國家努力樹立榜樣。
勒說:“算法的大多數(shù)問題并不是因為人們對目標(biāo)有偏見趋箩。他們只是在開發(fā)這些程序時走捷徑赃额。就斯坦福疫苗計劃而言,算法開發(fā)人員沒有考慮到后果叫确。 ”
Le補充說:“沒有人真的非常確定需要改變的所有事情跳芳。但是(我們)確實知道,當(dāng)前的系統(tǒng)不能很好地處理AI竹勉》膳瑁”