近日，百度大數(shù)據(jù)實(shí)驗(yàn)室在 arXiv 上發(fā)布了兩篇論文膀跌，一篇給出了任何深度學(xué)習(xí)網(wǎng)絡(luò)在小學(xué)習(xí)率情況下的收斂性證明，包括用 AutoDL 搜出來(lái)的網(wǎng)絡(luò)，另一篇?jiǎng)t提供了一個(gè)正則化的方法娃殖，讓 AutoDL 搜索到的網(wǎng)絡(luò)的訓(xùn)練結(jié)果超過(guò)了之前所有公開(kāi)報(bào)道的結(jié)果∫楣龋基于 PaddlePaddle 框架實(shí)現(xiàn)的代碼已經(jīng)開(kāi)源：

Github地址：

https://github.com/PaddlePaddle/models/blob/develop/fluid/AutoDL/LRC/README_cn.md

機(jī)器之心就 AutoDL 各方向的設(shè)計(jì)思路和論文內(nèi)容采訪了百度大數(shù)據(jù)實(shí)驗(yàn)室主任浣軍教授珊随，以下為采訪實(shí)錄。

機(jī)器之心：百度開(kāi)發(fā) AutoDL 的初衷是什么柿隙？想要實(shí)現(xiàn)什么目標(biāo)叶洞？

AutoDL 的理念，用一句話來(lái)概括禀崖，就是「開(kāi)放普惠 AI」衩辟，讓廣大中小企業(yè)、初創(chuàng)企業(yè)和個(gè)人能夠更方便地應(yīng)用大數(shù)據(jù)和深度學(xué)習(xí)波附。

現(xiàn)在艺晴，這些能力主要掌握在大公司研發(fā)中心或者高校中間，并未向中小企業(yè)和初創(chuàng)企業(yè)輻射掸屡，原因在于大數(shù)據(jù)分析和深度學(xué)習(xí)對(duì)硬件封寞、軟件以及工程技術(shù)人員的能力要求都比較高。

AutoDL 所做的事情仅财，就是用深度學(xué)習(xí)來(lái)設(shè)計(jì)深度學(xué)習(xí)狈究，從而實(shí)現(xiàn)讓大家都能夠快速用到這項(xiàng)能力。我們的愿景是把如今的「深度學(xué)習(xí)模型藝術(shù)品」變成「深度學(xué)習(xí)模型工業(yè)產(chǎn)品」盏求，讓深度學(xué)習(xí)的模型能夠像工廠的產(chǎn)品一樣被大規(guī)模地生產(chǎn)出來(lái)抖锥。

機(jī)器之心：這一目標(biāo)具體由哪些需求組成？如何滿足這些需求碎罚？

我們從三個(gè)維度思考這件事磅废。硬件、應(yīng)用場(chǎng)景和模態(tài)的多樣化決讓 AI 算法的維度空間極為龐大荆烈。想要盡可能探索這一空間拯勉，就必然要從手工設(shè)計(jì)模型，轉(zhuǎn)向自動(dòng)化生產(chǎn)模型憔购，快速高效地產(chǎn)生能夠適配不同硬件宫峦、支持不同場(chǎng)景、適應(yīng)不同模態(tài)的深度學(xué)習(xí)模型倦始。

為了實(shí)現(xiàn)這些需求斗遏，我們將 AutoDL 分成三個(gè)部分，分別是 AutoDL Design鞋邑，AutoDL Transfer 和 AutoDL Edge诵次。

AutoDL Design 根據(jù)用戶提供的數(shù)據(jù)集從頭設(shè)計(jì)全新深度學(xué)習(xí)模型账蓉。

AutoDL Transfer 支持小數(shù)據(jù)建模，利用百度擁有的大量數(shù)據(jù)預(yù)訓(xùn)練好的模型遷移到用戶具體的應(yīng)用場(chǎng)景上逾一。

AutoDL Edge 將深度學(xué)習(xí)模型部署到擁有不同算力铸本、內(nèi)存資源的硬件上，滿足不同的能源消耗遵堵、響應(yīng)時(shí)間需求箱玷。是 AI 和 IoT 的結(jié)合，是深度學(xué)習(xí)和邊緣計(jì)算的完美結(jié)合陌宿。

AutoDL Design：更大的模型結(jié)構(gòu)搜索空間帶來(lái)更佳的效果

機(jī)器之心：從用戶給出標(biāo)注數(shù)據(jù)集到拿到自動(dòng)設(shè)計(jì)好的模型結(jié)構(gòu)锡足，是一個(gè)什么樣的過(guò)程？

現(xiàn)在 AutoDL Design 有多條技術(shù)路線壳坪，但總的來(lái)說(shuō)仍然是一個(gè)端到端的訓(xùn)練過(guò)程舶得。百度在模型結(jié)構(gòu)優(yōu)化方面選擇了兩條主要技術(shù)路線。

第一條技術(shù)路線利用深度增強(qiáng)學(xué)習(xí)完成設(shè)計(jì)爽蝴。系統(tǒng)由兩部分組成沐批，第一部分是網(wǎng)絡(luò)結(jié)構(gòu)的編碼器，第二部分是網(wǎng)絡(luò)結(jié)構(gòu)的評(píng)測(cè)器蝎亚。

編碼器通常以 RNN 的方式把網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行編碼九孩，然后評(píng)測(cè)器把編碼的結(jié)果拿去進(jìn)行訓(xùn)練和評(píng)測(cè)，拿到包括準(zhǔn)確率发框、模型大小在內(nèi)的一些指標(biāo)躺彬，反饋給編碼器，編碼器進(jìn)行修改缤底，再次編碼顾患，如此迭代。經(jīng)過(guò)若干次迭代以后个唧，最終得到一個(gè)設(shè)計(jì)好的模型。

為了性能考慮设预，迭代中用到的訓(xùn)練數(shù)據(jù)通常是幾萬(wàn)張規(guī)模的數(shù)據(jù)集（比如 CIFAR-10）徙歼，模型設(shè)計(jì)結(jié)束后，會(huì)用大規(guī)模數(shù)據(jù)（比如 ImageNet）重新訓(xùn)練一次鳖枕，進(jìn)一步優(yōu)化參數(shù)魄梯。

圖：AutoDL 增強(qiáng)學(xué)習(xí)流程

第二條技術(shù)路線是將結(jié)構(gòu)圖構(gòu)建為可微的結(jié)構(gòu)。即宾符，連接節(jié)點(diǎn)的邊不再是非 0 即 1 的狀態(tài)酿秸，而是變成一個(gè)可求微分的概率。

除此之外魏烫，我們還進(jìn)行了超參數(shù)優(yōu)化辣苏，正則化訓(xùn)練等其他一系列優(yōu)化肝箱，最終，我們?cè)?CIFAR-10 上取得了正確率 98% 以上稀蟋，這個(gè)結(jié)果優(yōu)于所有有公開(kāi)報(bào)道的設(shè)計(jì)網(wǎng)絡(luò)效果煌张，包括人類專家設(shè)計(jì)的和機(jī)器自動(dòng)設(shè)計(jì)的。

機(jī)器之心：能否更詳細(xì)地解釋基于深度增強(qiáng)學(xué)習(xí)的技術(shù)路徑里編碼器與評(píng)測(cè)器的工作退客？迭代過(guò)程中計(jì)算資源消耗情況骏融？

編碼器的可以從一個(gè)隨機(jī)的模型開(kāi)始，也可以從一種已知的模型出發(fā)萌狂。從性能角度考慮档玻，通常我們會(huì)選擇從一個(gè)較優(yōu)的模型結(jié)構(gòu)出發(fā)。

模型優(yōu)化分為三個(gè)層級(jí)茫藏，分別是單元格優(yōu)化窃肠，單元格連接方式優(yōu)化以及超參數(shù)優(yōu)化。單元格（cell）是模型的基本結(jié)構(gòu)刷允，每個(gè)單元格由幾個(gè)到十幾個(gè)節(jié)點(diǎn)（node）組成冤留。每個(gè)節(jié)點(diǎn)都是一種常見(jiàn)的操作，例如一次卷積運(yùn)算就是一個(gè)節(jié)點(diǎn)树灶，常見(jiàn)的節(jié)點(diǎn)中的操作有十個(gè)左右纤怒。

圖：AutoDL Design 設(shè)計(jì)的單元格，左邊為普通單元格（Normal Cell）天通，右邊為縮減單元格（Reduction Cell）

獎(jiǎng)勵(lì)函數(shù)是一個(gè)正確率的函數(shù)泊窘。這里的正確率并不是說(shuō)每進(jìn)行一次迭代就要在全部訓(xùn)練數(shù)據(jù)上訓(xùn)練到完全收斂。而是采用了「提前終止」（early stopping）的方法像寒，用訓(xùn)練到一定程度的結(jié)果來(lái)預(yù)測(cè)最終結(jié)果烘豹。

在 CIFAR-10 級(jí)別的數(shù)據(jù)集上（數(shù)萬(wàn)張圖片），每次迭代平均需要不到 1 GPU hour诺祸，從開(kāi)始搜索到找到理想的模型結(jié)構(gòu)携悯，平均需要進(jìn)行 50～200 次迭代。

機(jī)器之心：AutoDL Design 設(shè)計(jì)出的模型結(jié)構(gòu)與人工設(shè)計(jì)的模型結(jié)構(gòu)有什么區(qū)別筷笨？

如果把圖像識(shí)別的常見(jiàn)模型用有向無(wú)環(huán)圖表示出來(lái)憔鬼，我們會(huì)發(fā)現(xiàn)：VGG模型的結(jié)構(gòu)是線性的；ResNet 在線性結(jié)構(gòu)的基礎(chǔ)上添加了「跳層連接」胃夏；Inception 模型的結(jié)構(gòu)更偏向樹(shù)狀轴或。而 AutoDL Design 的不受任何現(xiàn)成網(wǎng)絡(luò)結(jié)構(gòu)的約束，能夠在所有可能的有向無(wú)環(huán)圖空間內(nèi)進(jìn)行探索仰禀。

圖：AutoDL Design 設(shè)計(jì)的模型結(jié)構(gòu)

另外照雁，AutoDL Design 的一個(gè)特點(diǎn)是可以實(shí)現(xiàn)多目標(biāo)優(yōu)化：如果目標(biāo)除了效果好之外，還對(duì)模型大小答恶、運(yùn)行時(shí)間有要求饺蚊，系統(tǒng)也可以根據(jù)要求完成設(shè)計(jì)萍诱。

AutoDL Transfer：「小數(shù)據(jù)」也可以建「大模型」

機(jī)器之心：能否介紹一下 AutoDL Transfer 的優(yōu)化方式？

AutoDL Transfer 是在 ResNet卸勺、DenseNet砂沛、VGG、Inception 等經(jīng)典網(wǎng)絡(luò)的基礎(chǔ)上曙求，進(jìn)行了一些基于人工經(jīng)驗(yàn)的組件改良碍庵，以及采用了超參優(yōu)化技術(shù)進(jìn)行搜索。例如悟狱，我們?cè)黾恿穗p線性（bilinear）組件静浴，把經(jīng)過(guò)層層卷積的向量再進(jìn)行兩兩組合，讓特征更為豐富挤渐。

AutoDL Transfer 現(xiàn)在提供兩種服務(wù)苹享，分別是靜態(tài)模型（Static Model）和動(dòng)態(tài)模型（Dynamic Model）。

靜態(tài)模型是在大量已有數(shù)據(jù)集上進(jìn)行測(cè)試后浴麻，選出能夠在大部分?jǐn)?shù)據(jù)集上取得優(yōu)異性能的模型結(jié)構(gòu)得问，然后利用用戶數(shù)據(jù)精調(diào)模型參數(shù)。

動(dòng)態(tài)模型則會(huì)根據(jù)用戶數(shù)據(jù)在不同組件以及超參的組合中重新進(jìn)行一次搜索软免。和靜態(tài)模型相比宫纬，動(dòng)態(tài)模型能夠針對(duì)用戶數(shù)據(jù)進(jìn)行更加精細(xì)的優(yōu)化，但也需要用戶提供更多數(shù)據(jù)膏萧。

need-to-insert-img

圖：AutoDL Transfer 示意圖

機(jī)器之心：什么樣的用戶場(chǎng)景適合選擇 AutoDL Transfer漓骚？AutoDL Transfer 對(duì)用戶數(shù)據(jù)規(guī)模有什么要求？

首先榛泛，數(shù)據(jù)量比較小的情景下蝌蹂，很難從頭訓(xùn)練大模型，此時(shí) AutoDL Transfer 仍然能保證一個(gè)很好的模型效果曹锨。

同時(shí)孤个，即使用戶數(shù)據(jù)量比較大，遷移學(xué)習(xí)仍然能把初始階段從大規(guī)模數(shù)據(jù)集中習(xí)得的物體特征的知識(shí)以參數(shù)的形式帶入到接下來(lái)有針對(duì)性的優(yōu)化過(guò)程中艘希，效果往往比從頭訓(xùn)練要好硼身。

AutoDL Transfer 還使用了一些百度自己研發(fā)的技術(shù)，包括自動(dòng)數(shù)據(jù)增強(qiáng)覆享、遷移過(guò)程中正則化項(xiàng)的優(yōu)化等。這些技術(shù)都有助于在小數(shù)據(jù)條件下提升模型泛化能力营袜，因此 AutoDL Transfer 對(duì)用戶數(shù)據(jù)規(guī)模幾乎沒(méi)有限制撒顿，分類任務(wù)中，每個(gè)類別的數(shù)據(jù)可以只有 100 張甚至幾十張荚板。用戶可以在上傳數(shù)據(jù)后幾分鐘就拿到訓(xùn)練好的模型結(jié)果凤壁。關(guān)于 AutoDL Transfer 的最新進(jìn)展吩屹，可以見(jiàn)我們?cè)?ICLR 2019 上發(fā)表的文章。

need-to-insert-img

圖：AutoDL Transfer 靜態(tài)模型與動(dòng)態(tài)模型在不同任務(wù)中的效果示意圖

AutoDL Edge：事半功倍的終端計(jì)算

機(jī)器之心：AutoDL Edge 采用了哪些優(yōu)化方法拧抖？

AutoDL Edge 主要旨在對(duì)模型進(jìn)行壓縮煤搜，使得同等邊緣算力支持更多 AI 能力，從而拓寬應(yīng)用場(chǎng)景唧席。

因?yàn)槭忻嫔嫌蟹浅６嗖煌挠布渲貌炼埽虼宋覀兊膱F(tuán)隊(duì)先研究了一些設(shè)備無(wú)關(guān)的通用的模型壓縮算法，這類算法能夠同時(shí)減小網(wǎng)絡(luò)規(guī)模淌哟、提升推理速度且不改變模型的性能迹卢。

濾波器剪枝（Filter Pruning）就是其中一種典型的技術(shù)。我們會(huì)估算每一個(gè)卷積核的重要程度徒仓，在每一個(gè)卷積層中腐碱，去掉那些不那么重要的卷積核。此外掉弛，我們也會(huì)對(duì)計(jì)算資源消耗最大的全連接層做矩陣低秩分解症见，加速矩陣乘法。

need-to-insert-img

圖：濾波器剪枝示意圖

觀察到深度卷積網(wǎng)絡(luò)的參數(shù)主要集中在卷積核上殃饿，我們最新采用的模型壓縮算法通過(guò)參數(shù)共享來(lái)壓縮卷積核的參數(shù)空間谋作。我們提出了一種新的卷積核的表示方式，使得卷積核可以在訓(xùn)練過(guò)程中自動(dòng)進(jìn)行參數(shù)共享壁晒。我們提出的參數(shù)共享模型可以從頭開(kāi)始訓(xùn)練瓷们，而不是需要先訓(xùn)練出一個(gè)大模型然后使用參數(shù)共享或者其他的壓縮方法。配合參數(shù)量化（quantization）方法秒咐，我們的方法在 CIFAR-10 上在準(zhǔn)確率僅降低 0.27% 的條件下將 ResNet-18 壓縮了 50 多倍谬晕。在目標(biāo)檢測(cè)任務(wù)上，我們的方法將 Single Shot MultiBox Detector（SSD）網(wǎng)絡(luò)進(jìn)行了有效壓縮携取，在參數(shù)數(shù)量（0.45M）明顯小于 Tiny SSD（1.13M）下攒钳，在 VOC 2007 的測(cè)試集上的平均準(zhǔn)確率（mAP）反而有大幅提升。

此外雷滋，還有一些針對(duì)性特定芯片的優(yōu)化不撑，設(shè)備提出了算力、能耗晤斩、響應(yīng)時(shí)間等約束焕檬。而算法設(shè)法在這些約束之下降低運(yùn)算量，壓縮模型大小澳泵。一旦將模型壓縮到緩存可以容納的大小实愚，就可以極大加速 I/O。

值得一提的是，模型壓縮的過(guò)程也是自動(dòng)化的腊敲。

同時(shí)击喂，我們也在探索用 AutoDL Design 的思路，不需要針對(duì)一個(gè)大模型進(jìn)行壓縮碰辅，而是從頭尋找一個(gè)小模型懂昂。

機(jī)器之心：關(guān)于此次公開(kāi)的兩篇新論文，神經(jīng)網(wǎng)絡(luò)的收斂性證明有什么意義没宾？

深度神經(jīng)網(wǎng)絡(luò)廣泛使用隨機(jī)梯度下降凌彬，其優(yōu)化的特性，例如是否會(huì)離開(kāi)局部最優(yōu)榕吼，收斂到全局最優(yōu)一直是大家關(guān)心的問(wèn)題饿序，最近這方面也有一些有意思的進(jìn)展。我們的探索主要集中在構(gòu)造一族損失函數(shù)羹蚣。通過(guò)這樣的構(gòu)造原探，我們可以在即使學(xué)習(xí)率非常低的情況下，對(duì)于每一個(gè)局部最優(yōu)顽素，證明 SGD 都一定的概率逃逸出局部最優(yōu)咽弦。逃逸概率不但與極值點(diǎn)的值有關(guān)而且我們也證明了與極值點(diǎn)附近的幾何性質(zhì)有關(guān)。如果我們跑 SGD 足夠長(zhǎng)時(shí)間胁出，SGD 會(huì)以馬氏鏈的方式遍歷局部最優(yōu)型型，可以大概率收斂到全局最優(yōu)∪基于這幾點(diǎn)闹蒜，我們期望未來(lái)對(duì)極值點(diǎn)附近的幾何性質(zhì)的研究會(huì)對(duì)深度學(xué)習(xí)有強(qiáng)有力的促進(jìn)作用。

機(jī)器之心：第二篇論文提出抑淫，利用局部拉德馬赫復(fù)雜度做正則化绷落，從而提高網(wǎng)絡(luò)泛化特性，能否詳細(xì)介紹一下其做法始苇？

深度學(xué)習(xí)的核心問(wèn)題之一在于如何保證在有限樣本上學(xué)到的分類器或者預(yù)測(cè)函數(shù)能在將來(lái)未觀察到的數(shù)據(jù)砌烁，例如測(cè)試數(shù)據(jù)上，仍然有預(yù)測(cè)錯(cuò)誤率的保證催式。因?yàn)樵跀?shù)據(jù)點(diǎn)上的 0-1 的離散錯(cuò)誤很難精確優(yōu)化函喉，在通常的實(shí)踐中，預(yù)測(cè)函數(shù)都是通過(guò)在訓(xùn)練數(shù)據(jù)上最小化一個(gè)損失函數(shù)得到荣月，這個(gè)經(jīng)驗(yàn)函數(shù)一般是預(yù)測(cè)錯(cuò)誤率的一個(gè)上界管呵。在統(tǒng)計(jì)中分類器在訓(xùn)練集和測(cè)試集之間的差，可以用預(yù)測(cè)函數(shù)族的一個(gè)被稱之拉德馬赫復(fù)雜度的標(biāo)準(zhǔn)來(lái)衡量哺窄。預(yù)測(cè)函數(shù)族越小撇寞，拉氏復(fù)雜度也越小顿天，經(jīng)驗(yàn)損失和泛化損失的差距也越小堂氯。拉氏復(fù)雜度在經(jīng)典支持向量機(jī)有這廣泛的應(yīng)用蔑担。

目前深度神經(jīng)網(wǎng)絡(luò)成為廣泛應(yīng)用的預(yù)測(cè)函數(shù)。因?yàn)樯窠?jīng)網(wǎng)絡(luò)的多層結(jié)構(gòu)咽白，其所屬的函數(shù)族可以逼近任意的連續(xù)函數(shù)啤握，這使得許多經(jīng)典的用函數(shù)族的拉德馬赫復(fù)雜度作為正則化項(xiàng)的統(tǒng)計(jì)學(xué)習(xí)方法無(wú)法進(jìn)行。但統(tǒng)計(jì)學(xué)習(xí)領(lǐng)域中的局部拉德馬赫復(fù)雜度晶框，即只考慮全函數(shù)族的一個(gè)子族上的拉德馬赫復(fù)雜度排抬，卻可以避開(kāi)全局拉德馬赫復(fù)雜度的問(wèn)題。

我們提出的局部拉德馬赫復(fù)雜度方法借鑒了已有的局部拉德馬赫復(fù)雜度方法授段，僅考慮在經(jīng)驗(yàn)損失函數(shù)的極小值點(diǎn)附近的一個(gè)球內(nèi)的拉德馬赫復(fù)雜度蹲蒲。采用最近的拉德馬赫復(fù)雜度的估計(jì)方法，我們對(duì)折頁(yè)損失函數(shù) (Hinge Loss) 和交叉熵（cross entropy）推得了這個(gè)固定值的表達(dá)式侵贵，并且將其稱之為局部拉德馬赫正則化項(xiàng)届搁，并加在經(jīng)驗(yàn)損失函數(shù)上。我們對(duì)提出的局部拉德馬赫正則化方法在標(biāo)準(zhǔn)的網(wǎng)絡(luò)結(jié)構(gòu)（即 ResNet-18）和 CIFAR-10 上進(jìn)行了實(shí)驗(yàn)窍育，發(fā)現(xiàn)其可以有效降低損失函數(shù)在測(cè)試數(shù)據(jù)上的值并且提高預(yù)測(cè)準(zhǔn)確率卡睦，體現(xiàn)了增強(qiáng)的泛化性能。我們進(jìn)一步將該方法應(yīng)用到被搜索出來(lái)的網(wǎng)絡(luò)結(jié)構(gòu)上漱抓，發(fā)現(xiàn)局部拉德馬赫正則化方法和其他的提高泛化性能的方法表锻，包括混合（mix-up）和模型集成（model ensemble），可以兼容乞娄。將我們的正則化方法作用在混合和模型集成之后瞬逊，我們得到了 CIFAR-10 上目前最好的準(zhǔn)確率。在我們的文章中也提供了基于PaddlePaddle框架實(shí)現(xiàn)的開(kāi)源代碼仪或。

進(jìn)化中的 AutoDL：劍指「一步到位」的深度學(xué)習(xí)模型

機(jī)器之心：從 AutoDL 1.0 到 AutoDL 2.0确镊，系統(tǒng)發(fā)生了哪些變化？

主要有三方面變化溶其。

第一骚腥，在自動(dòng)設(shè)計(jì)效果上，現(xiàn)在的 AutoDL 設(shè)計(jì)出的神經(jīng)網(wǎng)絡(luò)已經(jīng)全面超過(guò)人類專家設(shè)計(jì)的網(wǎng)絡(luò)效果瓶逃。圖像識(shí)別公開(kāi)數(shù)據(jù)集 CIFAR-10 上束铭，達(dá)到了超過(guò) 98% 的正確率。這個(gè)效果優(yōu)于所有有公開(kāi)報(bào)道的人類專家設(shè)計(jì)的網(wǎng)絡(luò)的效果厢绝。

第二契沫，在模態(tài)方面，除了視覺(jué)之外昔汉，我們也增加了對(duì)語(yǔ)音任務(wù)的支持懈万，包括語(yǔ)音模型壓縮、語(yǔ)音模型自動(dòng)建模等。

第三会通，在模型適配上口予，我們?cè)黾恿艘恍┚唧w的應(yīng)用案例，包括對(duì)一些可以用于新零售的視覺(jué)硬件的支持涕侈。

機(jī)器之心：AutoDL 團(tuán)隊(duì)現(xiàn)在在進(jìn)行哪些新方向的探索沪停？

我們特別關(guān)心 AutoDL 三個(gè)方向的結(jié)合，換言之裳涛，能不能同時(shí)完成模型的設(shè)計(jì)木张、遷移和適配。

這也是我們?cè)趶?qiáng)化學(xué)習(xí)技術(shù)路徑之外端三，也同時(shí)關(guān)注可微分結(jié)構(gòu)路徑的原因：可微分結(jié)構(gòu)既可以用于自動(dòng)模型搜索舷礼，也可以用于遷移學(xué)習(xí)。模型的安全性也是我們重點(diǎn)關(guān)注的方向郊闯。我們希望設(shè)計(jì)的網(wǎng)絡(luò)能夠抗攻擊并且具有一定的可解釋性妻献。