吳恩達(dá)老師的小短文翻譯韩容。
建立AI系統(tǒng)很難绰筛。盡管外界有各種理想化的宣傳双饥，AI工程師實(shí)際每天都在和困難的問題斗爭。接下來我將探索在AI系統(tǒng)建立中的重要挑戰(zhàn)岳守。今天的主題是：建立在實(shí)際應(yīng)用中穩(wěn)定的AI系統(tǒng)有哪些挑戰(zhàn)婆廊。
由于深度學(xué)習(xí)的崛起帜讲，監(jiān)督性學(xué)習(xí)模型的準(zhǔn)確率在突飛猛進(jìn)。但是在jupyter notebook上建立一個(gè)模型和交付一個(gè)有價(jià)值的產(chǎn)品之間還是有巨大的鴻溝癞己。
多個(gè)研究小組膀斋，包括我自己的和一些其他的，發(fā)表文章報(bào)告了深度學(xué)習(xí)根據(jù)X光和其他醫(yī)療影像做出的診斷有著和放射科醫(yī)生差不多甚至更高的準(zhǔn)確率痹雅。為什么這些系統(tǒng)不能廣泛部署呢仰担？
我認(rèn)為穩(wěn)定性是一個(gè)主要障礙。例如练慕，如果我們從有訓(xùn)練良好的X光技師和高質(zhì)量X光機(jī)器的頂級(jí)醫(yī)院搜集數(shù)據(jù)惰匙，我們在這些醫(yī)院數(shù)據(jù)的基礎(chǔ)上訓(xùn)練和驗(yàn)證一個(gè)先進(jìn)的模型，然后我們展示出和放射科醫(yī)生差不多甚至更好的診斷能力铃将。
但是如果我們把這個(gè)算法給一個(gè)舊醫(yī)院项鬼，那里技師的訓(xùn)練欠缺或者機(jī)器老舊，拍攝的影像看起來不一樣劲阎，納悶神經(jīng)網(wǎng)絡(luò)很可能錯(cuò)過它本來可以發(fā)現(xiàn)的問題绘盟，誤診一些實(shí)際并沒有的問題。然而任何一個(gè)人類放射科醫(yī)生可以走進(jìn)這個(gè)舊醫(yī)院依然做出準(zhǔn)確的診斷。
我在不同的應(yīng)用中看到這種挑戰(zhàn)：
1. 一個(gè)用成年人聲音訓(xùn)練的語音識(shí)別系統(tǒng)龄毡。在它交付之后吠卷，用戶群體趨向于年輕。大量年輕人用戶導(dǎo)致模型表現(xiàn)降級(jí)
2. 一個(gè)制造業(yè)影響檢測系統(tǒng)用一個(gè)多月來在現(xiàn)場收集的圖像來訓(xùn)練沦零。后來工廠的燈光改變了祭隔，于是模型表現(xiàn)下降。
3. 當(dāng)工程師交付一個(gè)網(wǎng)頁評(píng)級(jí)系統(tǒng)路操，語言模式不斷發(fā)展疾渴，新的名人聲名鵲起。搜索詞變化屯仗，導(dǎo)致表現(xiàn)下降搞坝。
我們團(tuán)隊(duì)在更好的解決穩(wěn)定性問題。方法包括技術(shù)性的比如數(shù)據(jù)增強(qiáng)和上線后監(jiān)控系統(tǒng)魁袜，保證我們及時(shí)發(fā)現(xiàn)問題并修復(fù)桩撮。有一些新嘗試來指定一個(gè)算法可以安全使用的操作條件，還有更多在正式驗(yàn)證階段使用的新方法峰弹。對(duì)抗性攻擊的穩(wěn)健性是另外一個(gè)重要的考慮店量，但是大多數(shù)穩(wěn)定性問題涉及的是在數(shù)據(jù)分布中的非對(duì)抗性變化。
穩(wěn)定性問題中一個(gè)重要的挑戰(zhàn)是難以進(jìn)行系統(tǒng)性學(xué)習(xí)垮卓。我們怎么評(píng)估一個(gè)算法在一種分布的數(shù)據(jù)上訓(xùn)練出來垫桂，但是在另外一種分布的數(shù)據(jù)上的表現(xiàn)。在全新數(shù)據(jù)上的表現(xiàn)似乎運(yùn)氣的成分更大粟按。這也是為什么穩(wěn)定性方面的學(xué)術(shù)工作成功數(shù)量小于實(shí)際的重要性。更好的評(píng)估測試會(huì)幫助驅(qū)動(dòng)學(xué)術(shù)研究霹粥。
很多團(tuán)隊(duì)仍然在通過直覺和經(jīng)驗(yàn)解決穩(wěn)定性問題灭将。我們，作為一個(gè)團(tuán)體后控，必須發(fā)展更多的系統(tǒng)性解決方案庙曙。
