image

大數(shù)據(jù)文摘出品

編譯：毅航久又、王念巫延、云舟

眾所周知，黑腹果蠅（Drosophila melanogaster）生活在神秘的社交性的觸覺和氣味世界中地消，但他們能夠在多大程度上感知和整合靜態(tài)視覺信息是一個備受爭議的熱門話題炉峰。一些研究人員指出黑腹果蠅光學(xué)系統(tǒng)的分辨率是有限的，但是其他研究人員則注意到在黑腹果蠅看似相同的外表下脉执，有證據(jù)表明他們實際上擁有驚人的個體識別和視覺學(xué)習(xí)能力疼阔。

在本篇文章中，我們將利用機器學(xué)習(xí)從理論上證明每個黑腹果蠅在視覺上是不同的半夷。我們還將使用果蠅的視覺系統(tǒng)與當(dāng)前卷積神經(jīng)網(wǎng)絡(luò)的驚人相似性來研究黑腹果蠅的視覺理解能力婆廊。我們發(fā)現(xiàn)，盡管它們的光學(xué)分辨率有限巫橄，但是黑腹果蠅的神經(jīng)元結(jié)構(gòu)能夠提取和編碼豐富的特征集淘邻，允許蠅類以驚人的準(zhǔn)確度重新識別同種個體。這些實驗證明了黑腹果蠅生活在遠(yuǎn)超人們預(yù)期的更加復(fù)雜的視覺世界中嗦随。

介紹

有越來越多的證據(jù)表明黑腹果蠅生活在一個令人驚訝的豐富和復(fù)雜的世界中列荔，這個世界包括群體行為，社區(qū)學(xué)習(xí)以及攻擊行為認(rèn)知枚尼。這些社會行為通常被認(rèn)為是與視覺識別無關(guān)的贴浙，因為黑腹果蠅的復(fù)眼被認(rèn)為視力不足，以至于不能在這些行為中發(fā)揮作用署恍。果蠅的復(fù)眼有大約有850個鏡頭單元（小眼）崎溃，每個都能在空間中捕獲一個點，所以這樣眼睛的分辨率肯定很低盯质。此外袁串，傳統(tǒng)上認(rèn)為由小眼肌間角度決定的細(xì)節(jié)水平使得除了運動或規(guī)則模式之外的任何東西都無法被黑腹果蠅辨別（圖 1B）概而。

image

圖1. 黑腹果蠅的理論視力。

代表了各種理論壓縮后的果蠅圖片囱修。A：雌性黑腹果蠅的圖片通過32×32壓縮重新調(diào)整大小赎瑰。 B：相同的圖片，但是使用AcuityView調(diào)整了3個體長的觀察距離破镰，使用4.8°的肌間角餐曼。C：相同的圖片和距離，但使用由Juusola等人確定的有效視力的保守估計約1.5°鲜漩。

然而源譬，最近的生理實驗表明，只要它們以特定的速度呈現(xiàn)（對于一個被拴住的蠅類）孕似，黑腹果蠅對細(xì)節(jié)的反應(yīng)可以達(dá)到1.16°踩娘。 這些速度恰好與黑腹果蠅的自然掃視步態(tài)一致，這強烈表明自然行為下的黑腹果蠅具有比4.8°的肌間角更精細(xì)的分辨率喉祭。這種超敏銳度是在感光器水平下發(fā)現(xiàn)的（由于橫紋肌運動改變了光接收的角度）养渴，這意味著它將允許大部分視覺網(wǎng)絡(luò)用于信息處理。在這種超敏銳度和果蠅社交所需的視覺距離下泛烙，小眼的數(shù)量而非小眼肌間角度成為了限制因素（圖1）厚脉。這種敏銳度可能會使它們與意蜂（Apis mellifera）處于相同的視覺等級（盡管分辨率較低），并賦予他們結(jié)合其它的視覺特征來識別出人類的面孔的能力胶惰。

這種時空編碼和增加的視敏度可能解釋了最近的研究，這些研究表明黑腹果蠅不僅可以理解其它蠅類霞溪，還可以使用視覺解碼社會意義（例如雌性果蠅選擇雄性果蠅表型和果蠅主動暴露于寄生蜂）孵滞。綜合起來，這些結(jié)論大大提升了果蠅在物體識別中更大程度地利用視覺的可能性鸯匹，甚至可能使用它來區(qū)分物種或性別（用于補充其它已知的傳達(dá)此類信息的嗅覺線索）坊饶。

即使使用黑腹果蠅的超敏銳度光感受器，所接收的圖像也僅為約29×29單位（或像素殴蓬，圖1）匿级。我們想知道這個低分辨率圖像中是否包含足夠的絕對信息來識別彼此之間的個體。一種方法是對深層卷積網(wǎng)絡(luò)（DCN）進行工程化以區(qū)分單個黑腹果蠅染厅，因為DCN被設(shè)計為學(xué)習(xí)痘绎、提取和使用圖像中發(fā)現(xiàn)的任何有用特征，如果高度工程化后的DCN有足夠的個體水平差別肖粮，我們就會想要研究黑腹果蠅是否也能利用這種低分辨率圖像并從中提取有意義的信息孤页。如果每個個體果蠅看起來都是獨特的，并且黑腹果蠅的視覺網(wǎng)絡(luò)具有足夠的能力涩馆，視覺可能還在識別物種或性別以外的過程中發(fā)揮作用行施，這或許有助于確定社交場合中熟悉或不熟悉的同種生物允坚。

果蠅視覺系統(tǒng)的高度結(jié)構(gòu)化和分層組織（圖2C）表明了蠅類的視覺系統(tǒng)是如何從低分辨率圖像中提取信息的。在輸入處蛾号，小眼被逐個包裝稠项，但是它們單獨調(diào)節(jié)的光感受器在空間上被布置成穿過感受區(qū)域的六單元卷繞的濾波器。反過來鲜结，這個光感受濾波器的輸出是連接到幾個“列”光感受器輸出的下游髓質(zhì)神經(jīng)元的輸入展运。這種濾波器卷積與使用來自一個濾波器的輸出作為另一層的“特征映射”相結(jié)合，是當(dāng)今主導(dǎo)計算機視覺的DCN的工程化架構(gòu)的標(biāo)志（圖2A中展示出了一個這樣的DCN）轻腺。正如DCN可以采用低級圖像表示并將它們編碼為語義表示一樣乐疆，黑腹果蠅的視覺系統(tǒng)似乎非常適合揭示圖像中的語義。

image

圖2. 我們的蠅眼融合了工程和生物架構(gòu)贬养。

“標(biāo)準(zhǔn)”卷積網(wǎng)絡(luò)的示意圖挤土，我們的蠅眼模型和果蠅的簡化視覺連接組。A：Zeiler和Fergus的體系結(jié)構(gòu)误算，接收個體黑腹果蠅的原始181×181像素圖像仰美。 B：我們的蠅眼模型，接收個體果蠅的29×29縮小圖像儿礼，并顯示特征圖之間的連接咖杂。最初的三個特征圖是定制的6像素卷積濾波器（'R1-R6'，黑色路徑）和兩個1×1卷積濾波器（'R7'和'R8'蚊夫，紅色路徑）诉字。所有其他卷積都是本地連接的濾波器。有關(guān)完整的連接圖知纷，請參見S1 Table壤圃。C：飛行視覺回路的簡化圖，其接收另一個黑腹果蠅的相同比例縮小的圖像琅轧。我們模型中實現(xiàn)的神經(jīng)元之間的連接被展示出來伍绳，其表明層之內(nèi)和層之間的連接和聯(lián)系。

在這項工作中乍桂，我們考察了黑腹果蠅是否可以在理論上分類和識別其復(fù)雜的視覺環(huán)境冲杀。為了確定在黑腹果蠅的社會行為中可以獲得多少絕對潛在的視覺差異，我們研究了人類和人類啟發(fā)的深度卷積模型在多天內(nèi)重新識別單個黑腹果蠅的能力睹酌。

為了研究黑腹果蠅是否能夠在蠅類之間使用這種個體水平的視覺差異权谁，我們在一個同種重新識別范式中研究了果蠅視覺系統(tǒng)的模型。本研究建立在超敏銳視力的同種信息和生理證據(jù)的行為結(jié)果的基礎(chǔ)上憋沿，并提供了一個原則證據(jù)闯传，以消除一個經(jīng)常被吹捧的論點，即黑腹果蠅的視覺能力僅限于低級物體和模式檢測。在這里甥绿，我們將提出證據(jù)表明黑腹果蠅可能會看到并生活在比過去人們所意識到的更豐富的社會環(huán)境中字币。

材料和方法

簡化的黑腹果蠅眼睛模型

我們使用標(biāo)準(zhǔn)深度學(xué)習(xí)庫（Keras）實現(xiàn)了虛擬飛行視覺系統(tǒng)。我們的項目使用大約25,000個人工神經(jīng)元共缕，而果蠅在每個視覺半球中有大約60,000個神經(jīng)元洗出。我們故意沒有模擬在結(jié)構(gòu)上暗示出對運動反應(yīng)的神經(jīng)元，因此我們能夠聚焦在整個髓質(zhì)的“模塊化”神經(jīng)元（具有1個神經(jīng)元/柱）上图谷。神經(jīng)元類型之間的聯(lián)系是從已發(fā)表的連接組中提取的翩活。我們在模型上強加了人為的層次結(jié)構(gòu)，消除了神經(jīng)元“子類型”之間的自我連接（即L1和L1之間沒有連接便贵，或L1和L2）菠镇，雖然我們允許初始層進入多個下游層，但我們消除了“上游”連接承璃。最后的小葉狀人工神經(jīng)元模仿Wu等人的研究成果利耍，小葉狀人工神經(jīng)元的層次根據(jù)其軸突穿透深入系統(tǒng)進行排序。我們對果蠅視覺系統(tǒng)進行建模的能力進一步局限于連接性盔粹，忽略了信號（興奮性或抑制性）以及神經(jīng)元的內(nèi)在膜特性隘梨。一旦這些特性被發(fā)現(xiàn)并將其集成到連接組中，連接組就能創(chuàng)建更豐富的生物模擬舷嗡。除了從生物學(xué)獲得靈感轴猎，該模型在圖2B中展示了其它靈感來源（圖2C）。S1 Table描述了完整的連接圖和層次結(jié)構(gòu)进萄，S2表展示了該模型在傳統(tǒng)圖像分類數(shù)據(jù)集上的比較性能捻脖。S1 Methond中提供了其他詳細(xì)信息。

蠅類數(shù)據(jù)獲取

黑腹果蠅在25-12℃的12h-12h亮-暗循環(huán)中飼養(yǎng)中鼠。羽化后1-4小時收集10只雄性和10只雌性并分別飼養(yǎng)郎仆。在第三天，將羽化后的蠅單獨地吸入到圓形丙烯酸培養(yǎng)皿（直徑60mm兜蠕，高2mm）中。用標(biāo)準(zhǔn)頂置LED燈照明這些蠅抛寝，用GRAS-20S4M以灰度拍攝15分鐘熊杨，每秒16幀。連續(xù)三天重復(fù)這一過程盗舰，每只蠅產(chǎn)生14,400×3張圖片晶府。每次拍攝都在ZT 8的2小時內(nèi)完成。收集了20只蠅的三個獨立數(shù)據(jù)集钻趋。

果蠅數(shù)據(jù)處理

數(shù)據(jù)集中的每個視頻都使用CTRAX進行跟蹤川陆，跟蹤結(jié)果中的位置和朝向信息都會用來對圖片進行校正。所以每個圖片中的果蠅都處于中心位置蛮位，并且頭朝上较沪。所以這些圖片包含了果蠅在采集場景中的各種角度的信息鳞绕，背部的、腹面的和側(cè)面的都有尸曼。訓(xùn)練集合中包括了第一天和第二天等量的數(shù)據(jù)们何，包括每只果蠅前75%的數(shù)據(jù)（12240幀）。驗證集合是最后的15%的數(shù)據(jù)（2160幀）控轿。測試數(shù)據(jù)集是第三天采集的所有數(shù)據(jù)冤竹。所有的數(shù)據(jù)需要進行標(biāo)準(zhǔn)化操作，也就是用原始數(shù)據(jù)減去所有數(shù)據(jù)的均值再除以標(biāo)準(zhǔn)差茬射。對于ResNet18鹦蠕、Zeiler和Fergus模型，輸入的181181的數(shù)據(jù)需要做適配在抛，適配方法包括：（1）降低成3333钟病，中心剪裁成2928，然后整體擴大成224224大兴ā档悠；（2）擴大成256256，中心剪裁為224224（有效利用中心的158*158的像素）望浩。

人類的表現(xiàn)

為了驗證人類的表現(xiàn)辖所，這里用Matlab設(shè)計了一個GUI圖形程序，程序中展示了人類觀察者對于果蠅的三個角度的影像磨德，分別是背部缘回、腹部和側(cè)方向。然后要求觀察者從第3天獲得的20幅圖像（20只果蠅）中選擇其中一幅屬于實例果蠅（S3和S4圖）典挑。注意這個過程其實是一個比較/匹配的設(shè)定（compare/match setup）而不是一個學(xué)習(xí)和泛化的過程酥宴。這些圖片會隨機的被變成29×29。

結(jié)果

在本文的工作中您觉，我們想知道各種結(jié)構(gòu)（無論是否植根于生物學(xué)）是否能夠檢測果蠅在若干天之間的差異（這顯然是一個非人工任務(wù)）拙寡。我們獲得了三輪的數(shù)據(jù)，每輪中都有10只公的和10只母的果蠅琳水，觀察了連續(xù)3天的時間肆糕。我們知道年齡和經(jīng)驗會對果蠅的識別產(chǎn)生細(xì)微的影響，所以我們在第一天和第二天的時候?qū)W(wǎng)絡(luò)模型進行訓(xùn)練在孝，然后在第三天的時候?qū)λ麄冞M行識別诚啃。我們使用ResNet18來驗證系統(tǒng)的有效性，它達(dá)到了人類識別的水平（Zeiler 和 Fergus）私沮。這些結(jié)果展示在表格1中（Table 1）始赎。

image

表格1. 黑腹果蠅模型識別性能

作為基準(zhǔn)，我們使用了ResNet18的結(jié)構(gòu)（請見S1 Fig）。這是實驗中能夠獲得最高性能的網(wǎng)絡(luò)結(jié)構(gòu)造垛，它能夠得到0.94的F1-score（使用三個數(shù)據(jù)集）魔招。雖然平均性能良好，但我們注意到實驗中存在個別比較特殊的果蠅筋搏，這些果蠅在幾天內(nèi)會變得很難識別（例如仆百，在樣本集2中，果蠅10在第3天的準(zhǔn)確率為37％奔脐，而其他兩個果蠅S4表之間的混淆程度相等）俄周。迫使圖像通過瓶頸（bottleneck，這種操作保證所處理的信息內(nèi)容和fly-eye模型使用的降分辨率的信息類似）操作會讓ResNet18的F1-score降低0.11髓迎。但是Zeiler和Fergus結(jié)構(gòu)對于bottleneck操作魯棒性很高峦朗，在這種結(jié)構(gòu)下F1-score只降低了0.08，但是達(dá)不到ResNet18的高精度排龄。

Fly-eye模型獲得了一個相對來說較高的F1-score=0.75波势，這個結(jié)果沒有比復(fù)雜的ResNet18（在低分辨率情況下）精度低很多。為了消除Fly-eye模型測量絕對大小和形狀以及強制提取相對特征的能力橄维，我們隨機地將圖像（訓(xùn)練和測試）大小重新調(diào)整了多達(dá)25%尺铣，而不保留比例（參見S2 Fig示例）。我們的fly-eye系統(tǒng)能夠達(dá)到超過人類的性能争舞，即便是在沒有進行絕對大小測量的情況下也是如此凛忿。在圖片的識別工作中，它能得到0.55 F1-score的性能竞川。我們還發(fā)現(xiàn)店溢，fly-eye模型幾乎不會錯誤的將公的果蠅識別成母的（在S5-S7表格中，當(dāng)重新識別ID在性別上崩潰時委乌，F(xiàn)1-score超過了0.99）床牧。

為了得到人類識別的性能基線，我們找了一些志愿者來識別果蠅（S3和S4）遭贸。這是一個別具挑戰(zhàn)的任務(wù)戈咳，因為果蠅生活在一個固定的空間中，而人能夠通過各個角度的信息進行判斷壕吹。因為這項任務(wù)不是一般的物體識別著蛙，我們找的志愿者都是一些很有經(jīng)驗的fly-pushing科學(xué)家。人類識別的效果并不好算利，但是波動不大，平均的F1-score=0.11（當(dāng)像素縮小到29×29的時候F1-score=0.08泳姐，如果將原圖給出的話效拭，F(xiàn)1-score=0.08）。

討論

我們的結(jié)果表明果蠅有從視覺環(huán)境中提取語義信息的先天能力。雖然我們目前還在研究它們究竟是怎么對這個世界編碼并認(rèn)識世界的缎患，但我們也不應(yīng)該忽視它的視覺理解能力慕的。

從低分辨率的圖像中理解其意義并不是什么新鮮的想法，例如在32×32的CIFAR10數(shù)據(jù)集上CNNs能成功進行識別挤渔，也能在其他的數(shù)據(jù)集上成功應(yīng)用肮街。我們還注意到，我們的fly-eye模型在一個這樣的分類任務(wù)（CIFAR10上的F1得分是0.54判导，見S2表）上的表現(xiàn)比較差嫉父，這個任務(wù)包含對象的大范圍比例和位置變化。

對無法應(yīng)對規(guī)模和大小的可變性的一個解釋是眼刃，與其他結(jié)構(gòu)不同绕辖，黑腹大蠊的視覺系統(tǒng)能夠維持輸入的維度（柱狀髓質(zhì)神經(jīng)元）。DCN通過匯聚層和跨步卷積之類的小技巧來降低維度擂红。這就給低級特征檢測器帶來了更大的位置不變性仪际。如果沒有它們，我們的果蠅眼模型只有當(dāng)物體的距離固定時才能表現(xiàn)的不錯昵骤。因此树碱，人類傾向于假定，每個人都有先天的依賴經(jīng)驗的距離变秦，在這個距離的前提下成榜，視覺信息能夠被優(yōu)先理解。并且這可能是社交距離和交互距離的決定性因素之一伴栓。

從該模型自身和它強大的編碼能力（不止是對于簡單的“l(fā)ooming”和“movement“的編碼）中伦连，我們可以預(yù)測出，最高等級的特征圖（feature maps）可以對應(yīng)于視覺系統(tǒng)中的豐富的語義含義钳垮。然后這些小葉神經(jīng)元會將復(fù)雜事物的識別進行編碼惑淳，然后會刺激他們產(chǎn)生不止是簡單的避免對象（object-avoidance）行為。

雖然一些小葉柱狀神經(jīng)元（如LC11）似乎專門用于高敏感度的小物體運動檢測饺窿，但是其他神經(jīng)元似乎在編碼更復(fù)雜的信息歧焦。這些其他LC神經(jīng)元（如LC17）在受到刺激時似乎會引發(fā)社會背景依賴行為。

我們也了解了其他使用DCNs對昆蟲種類分類的研究肚医。但是其中最相關(guān)的研究（關(guān)于生物體識別）僅在1分種內(nèi)就完成了（IDTracker2.0）绢馍。在此研究之前，DCN僅對時間上非常接近的圖像有效肠套。我們觀察到特定果蠅的反常精度損失舰涌，一些果蠅的準(zhǔn)確度低于40%（S4表）。

這種在幾天內(nèi)重新識別果蠅的能力開啟了實驗的可能性你稚，特別是考慮到這種性能是通過靜態(tài)圖像來評估的（16fps產(chǎn)生大約1000個ID/min的估值）瓷耙。這與人類重新識別果蠅的能力形成鮮明的對比朱躺，后者在低分辨率下幾乎沒有成功的概率。

很顯然搁痛，所有的模型都可以在一定程度上學(xué)會識別果蠅长搀，并強調(diào)果蠅的個體水平差異。對于DCN而言鸡典，重新識別果蠅實際上比CIFAR10更容易（至少對于在相同距離處獲得的果蠅的居中圖像的情況下）源请。即使是在某種意義上和人類的表現(xiàn)能媲美的模型也比人類的表現(xiàn)好上10倍。人類無法將果蠅分辨開的原因還是個迷彻况。

無論區(qū)分個體果蠅是否具有進化上的好處谁尸，人類確實具有令人難以置信的模式識別能力。這可能只是因為缺乏經(jīng)驗（雖然我們嘗試通過僅適用經(jīng)驗豐富的果蠅研究人員作為志愿者來標(biāo)記解決這個問題）或者是因為更加神秘的模式識別盲點造成的疗垛。在任何一種情況下症汹，這些研究結(jié)果都會促進新的實驗，以進一步了解人類視覺和經(jīng)驗的機制以及它們?yōu)楹螘谶@種情況下失敗贷腕。

機器學(xué)習(xí)的從業(yè)者不斷地推動深度網(wǎng)絡(luò)背镇，現(xiàn)在他們也更多地使用一些由生物學(xué)啟發(fā)的設(shè)計和訓(xùn)練算法。隨著他們變得更具有生物學(xué)的現(xiàn)實性泽裳，神經(jīng)生物學(xué)家可以使用這些模型來生成視覺系統(tǒng)中信息處理方式的假設(shè)瞒斩。

我們認(rèn)為本文的研究非常適合將兩個領(lǐng)域的研究聯(lián)合起來，以繼續(xù)解開進化論對于視覺處理的解決方案涮总。這個新領(lǐng)域提供了一個簡單的胸囱，基因和實驗易處理的機制。通過它我們可以觀察到視覺系統(tǒng)的運作瀑梗，這無疑將揭示果蠅以及我們所有人觀察這個世界的秘密烹笔。

結(jié)論

這些結(jié)果有助于解釋最近傳統(tǒng)意義上比較有爭議的發(fā)現(xiàn)，即果蠅可以解決相對詳細(xì)的視覺意義（雌性選擇雄性和寄生蜂的暴露）抛丽。我們在文中展示了每個果蠅具有視覺上可區(qū)分的特征谤职，這些特征會持續(xù)數(shù)天。這一事實亿鲜，加上他們的超敏銳度和他們的視覺網(wǎng)絡(luò)的理論能力允蜈，是反對果蠅只能看到模糊的運動的傳統(tǒng)觀念的堅實論據(jù)。事實上蒿柳，在某些情況下饶套，果蠅可能有能力看到和區(qū)分一個更為多樣性的視覺世界，甚至可能比我們看到的還要精彩垒探。

相關(guān)報道：

https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0205043

作者：大數(shù)據(jù)文摘

鏈接：http://www.reibang.com/p/eb031f100a8b

來源：簡書

簡書著作權(quán)歸作者所有妓蛮，任何形式的轉(zhuǎn)載都請聯(lián)系作者獲得授權(quán)并注明出處。