當?shù)貢r間12月10日，為期一周的全球AI頂級會議NeurlPS在美國路易斯安那州新奧爾良市舉辦乌叶。NeurlPS官方數(shù)據(jù)顯示盆偿，本屆會議共有12343篇有效論文投稿，接收率為26.1%准浴。螞蟻集團20篇論文被收錄事扭。

據(jù)了解，螞蟻此次入選的論文乐横，覆蓋計算機視覺求橄、自然語言處理、圖神經(jīng)網(wǎng)絡葡公、圖像處理等多個人工智能和機器學習領域的前沿主題罐农。其中七成以上論文聚焦生成式AI在高速發(fā)展中遇到的一些挑戰(zhàn)和難題。

以下為其中三篇的論文解讀催什。

01 Prompt-augmented Temporal Point Process for Streaming Event Sequence PromptTPP: Prompt Pool 與時序點過程模型的持續(xù)學習

·本文由螞蟻集團研究并撰寫

·文章作者：

薛思喬涵亏、王 言、褚志軒

師曉明蒲凶、蔣才高气筋、郝鴻延

蔣剛瑋、馮曉云旋圆、James Y. Zhang宠默、

周 俊

·論文鏈接：

https://openreview.net/forum?id=LswqtKU9op

在金融市場分析與預測、交通流量和運輸?shù)壬虡I(yè)和社會運轉(zhuǎn)場景中灵巧，時間序列（事件序列, event sequence）通常是以流式 (stream) 的形式存在并且不斷更新的搀矫。

對這樣的數(shù)據(jù)建模，我們通常有以下幾個方法：

1孩等、預訓練一個點過程模型艾君，然后不再更新：但是序列數(shù)據(jù)通常會有分布漂移的現(xiàn)象，該方法顯然無法處理這個問題肄方。

2冰垄、每隔一段時間，針對固定窗口的數(shù)據(jù)重新訓練一次點過程模型：這個方法會遇到災難性遺忘的問題。

3虹茶、在線學習：模型的維護并不容易逝薪，而且也會遇到災難性遺忘的問題。

在這樣的背景下蝴罪，我們?nèi)绾文芨行识谩⒏行Ч倪M行時序模型的持續(xù)學習？基于此目標要门，我們完成了首個把NLP 領域 Prompt Pool 機制首次引入時間序列領域的工作：PromptTPP持續(xù)學習模型虏肾，用一系列可學習的prompt pool 來編碼任務的信息，當新的任務來的時候欢搜，有一個抽取和匹配的機制封豪。匹配的意義在于根據(jù)新的任務，找到編碼相關信息的prompt炒瘟，來指導新的任務的學習吹埠。

我們在三個開源數(shù)據(jù)集上完成了非常豐富的驗證：隨著任務的累積，PromptTPP 整體性能依然維持高位疮装，而其他多個基準模型的預測性能均出現(xiàn)了不同程度的下降缘琅。prompt pool 的引入，只帶來了較小比例參數(shù)量的提升廓推，并且實現(xiàn)了task agnostic刷袍。

02 BasisFormer：Attention-based Time Series Forecasting with Learnable and Interpretable Basis 基于可學習和可解釋基底的時間序列預測

·本文由螞蟻集團和上海交通大學共同研究撰寫

·文章作者：

倪澤林、余 航

劉士湛受啥、李建國做个、林巍堯

·論文鏈接：

https://openreview.net/forum?id=xx3qRKvG0T

本文為此前入選另一個AI頂會ICLR 2022演說論文Pyraformer團隊的后續(xù)工作， Pyraformer提出了基于金字塔注意力的Transformer滚局，能夠在獲取長期依賴和低時間空間復雜度間獲取平衡居暖。而本文（Basisformer)另辟蹊徑，從基底的角度藤肢，對于時間序列預測任務進行了分析太闺。

在時序預測中，基底指的是從時間序列數(shù)據(jù)集中嘁圈，抽取出數(shù)量較少的省骂、整個數(shù)據(jù)集時間序列都遵循的一些子序列，數(shù)據(jù)集中每個時間序列最住，都可以通過這些基底的加權還原出來钞澳。然而，現(xiàn)有的基于基底的方法不能同時以下兩點要求：對于數(shù)據(jù)集的自適應性以及對于數(shù)據(jù)集中不同時間序列的自適應選擇性涨缚。

為了解決這個問題轧粟，本文將時間序列的歷史部分和未來部分視為兩個不同的視圖，并通過自監(jiān)督對比學習獲得適應于數(shù)據(jù)集的基底。接下來兰吟，本文設計了一個相關系數(shù)計算模塊通惫，它通過雙向交叉注意力計算歷史視圖中時間序列和基底之間的相似系數(shù)。

最后混蔼，本文提出了一個預測模塊履腋，它根據(jù)相似系數(shù)選擇并整合未來視圖中的基底，從而得出準確的未來預測結果惭嚣。通過對六個數(shù)據(jù)集進行廣泛實驗遵湖，本文證明了 BasisFormer 在單變量和多變量預測任務中分別比之前最先進的方法提高了 11.04％和 15.78％的預測性能。

簡而言之料按，這篇論文利用交叉注意力機制將時間序列分解到了一組可學習的基底上奄侠，并進一步利用歷史的基底權重和基底未來的部分來預測未來，提高了提高了金融载矿、云計算監(jiān)控、交通烹卒、電力等場景的預測性能闷盔。

03 Benchmarking and Analyzing 3D-aware Image Synthesis with a Modularized Codebase 基于模塊化代碼庫的3D感知圖像生成的基準測試和分析

·本文由螞蟻集團研究并撰寫

·文章作者：

王秋雨、史子凡旅急、鄭可成

徐英豪逢勾、彭思達、沈宇軍

·論文鏈接：

https://openreview.net/forum?id=MZopld6S22

盡管3D感知的圖像生成技術迅速發(fā)展藐吮，但現(xiàn)有工作通衬绻埃混合使用各式各樣的技巧和方案，導致我們不知道究竟是算法的哪一個模塊對最終效果起到關鍵作用谣辞∑人ぃ基于這樣的觀察，我們遵循這個領域最流行且最有效的范式泥从，即將神經(jīng)輻射場（NeRF）整合到生成對抗網(wǎng)絡（GAN）的生成器中句占，并以模塊化生成過程為核心構建一個高度結構化的代碼庫，名為Carver躯嫉。

這種設計允許研究人員獨立開發(fā)和替換每個模塊纱烘，因此為公平比較各種方法并從模塊角度識別它們的貢獻提供巨大便捷。在此基礎上祈餐，我們復現(xiàn)一系列3D生成算法擂啥，驗證此模塊化代碼庫的可用性。同時我們還進行各種深入的分析帆阳，如不同類型的點特征比較哺壶，生成器尾部的上采樣器的必要性，對相機姿態(tài)先驗的依賴性等，這些都有利于對現(xiàn)有方法的理解变骡，并指出3D生成領域進一步的研究可能和研究方向离赫。

本論文提供的模塊化代碼庫開源在：

https://github.com/qiuyu96/Carver

圖中為論文第一作者

螞蟻技術研究院研究員王秋雨

其余17篇論文信息

1

AGD: an Auto-switchable Optimizer using Stepwise Gradient Difference for Preconditioning Matrix

AGD：一種使用步間梯度差作為預條件矩陣、自動切換的優(yōu)化器

本文由螞蟻集團研究并撰寫

文章作者：

岳 赟塌碌、葉至靈

蔣佳弟渊胸、劉永超、張科

論文鏈接：

https://openreview.net/forum?id=A954O4tDmU

2

DiffUTE: Universal Text Editing Diffusion Model

通用文字編輯擴散模型

本文由螞蟻集團與南京大學聯(lián)合研究撰寫

文章作者：

陳昊星台妆、許卓爾翎猛、顧章軒

蘭 鈞、鄭 行接剩、李耀輝

孟昌華切厘、祝慧佳懊缺、王維強

論文鏈接：

https://openreview.net/forum?id=XKeSauhUdJ

3

Language Models Can Improve Event Prediction by Few-Shot Abductive Reasoning

大語言模型可以通過溯因推理來提升事件預測性能

本文由螞蟻集團疫稿、芝加哥大學和芝加哥豐田工業(yè)大學合作完成

文章作者：

師曉明、薛思喬鹃两、王康瑞

周 凡遗座、James Y. Zhang

周 俊、譚宸浩俊扳、梅洪源

論文鏈接：

https://openreview.net/forum?id=aW9BqtRQkh

4

FAST: a Fused and Accurate Shrinkage Tree for Heterogeneous Treatment Effects Estimation

FAST：一種基于收縮估計的數(shù)據(jù)融合因果樹

本文由螞蟻集團與北京大學共同研究撰寫

文章作者：

顧嘉途蒋、唐才智、閆晗

崔卿馋记、李龍飛号坡、周俊

論文鏈接：

https://openreview.net/forum?id=wzg0BsV8rQ

5

Neural Frailty Machine: Beyond proportional hazard assumption in neural survival regressions

NFM：系統(tǒng)性拓展比例危險率模型的深度生存分析

本文由螞蟻集團與復旦大學、酷澎合作完成

文章作者：

吳若凡梯醒、喬嘉瑋宽堆、吳明哲、郁 文

鄭 明冤馏、劉騰飛日麸、張?zhí)煲怼⑼蹙S強

論文鏈接：

https://openreview.net/forum?id=3Fc9gnR0fa

6

Neural Lad: A Neural Latent Dynamics Framework for Times Series Modeling

Neural Lad: 一種隱動態(tài)時序預測建拇猓框架

本文由螞蟻集團與北京大學合作完成

文章作者：

李婷代箭、李建國、朱占星

論文鏈接：

https://openreview.net/forum?id=bISkJSa5Td

7

Unleashing the Power of Graph Data Augmentation on Covariate Distribution Shift

發(fā)揮圖數(shù)據(jù)增強應對協(xié)變量分布偏移的能力

本文由螞蟻集團涕刚、中國科學技術大學與上海交通大學合作完成

文章作者：

隋勇鐸嗡综、吳齊天、吳劍燦杜漠、崔 卿

李龍飛极景、周 俊察净、王 翔、何向南

論文鏈接：

https://openreview.net/forum?id=hIGZujtOQv

8

Label-efficient Segmentation via Affinity Propagation

基于像素對關系傳播的弱監(jiān)督圖像分割方法

本文由浙江大學與螞蟻集團盼樟、香港理工大學共同合作完成

文章作者：

李文通氢卡、袁瑜謙、王 松晨缴、劉文瑜

唐董琦译秦、劉 健、朱建科击碗、張 磊

論文鏈接：

https://openreview.net/forum?id=8BPzLxF9p5

9

Benchmarking Large Language Models on CMExam - A comprehensive Chinese Medical Exam Dataset

在CMExam上對大型語言模型進行基準測試 - 一項全面的中國醫(yī)學考試數(shù)據(jù)集

本文由阿里巴巴筑悴，與香港科技大學（廣州）、哈佛大學稍途、波士頓兒童醫(yī)院阁吝、北京大學、浙江大學醫(yī)學院附屬第二醫(yī)院械拍、約翰斯·霍普金斯大學突勇、耶魯大學、螞蟻集團殊者、天翼交通科技有限公司合作完成

文章作者：

William Liu与境、周培林、華一寧

種大丁猖吴、田鐘毓、劉峰林

王赫麟挥转、尤晨羽海蔽、郭振華

朱 磊、Michael Lingzhi Li

論文鏈接：

https://openreview.net/forum?id=HhcQ0zeqZp

10

Towards Efficient Pre-Trained Language Model via Feature Correlation Distillation

特征相關性蒸餾：面向高效的語言預訓練模型

本文由螞蟻集團研究并撰寫

文章作者：

黃堃绑谣、郭昕党窜、王萌

論文鏈接：

https://openreview.net/forum?id=kVfHQV668B

11

Cones 2: Customizable Image Synthesis with Multiple Subjects

本文由阿里巴巴集團與螞蟻集團合作完成

文章作者：

劉志恒、張軼飛借宵、沈宇軍幌衣、

鄭可成、朱 凱壤玫、馮睿蠡豁护、

劉 宇、趙德麗欲间、周靖人楚里、曹洋

論文鏈接：

https://openreview.net/forum?id=h3QNH3qeC3

12

FaceComposer: A Unified Model for Versatile Facial Content Creation

本文由阿里巴巴集團與螞蟻集團合作完成

文章作者：

王家喻、趙 康猎贴、馬一豐班缎、張士偉

張迎亞蝴光、沈宇軍、趙德麗达址、周靖人

論文鏈接：

https://openreview.net/forum?id=xrK3QA9mLo

13

Learning Modulated Transformation in GANs

本文作者分別來自香港中文大學蔑祟、香港科技大學、螞蟻集團沉唠、上海人工智能實驗室

文章作者：

楊策元疆虚、章啟航、徐英豪

祝加鵬右冻、沈宇軍装蓬、戴 勃

論文鏈接：

https://openreview.net/forum?id=h8vJVABiBP

14

Res-Tuning: A Flexible and Efficient Tuning Paradigm via Unbinding Tuner from Backbone

本文由阿里巴巴集團與螞蟻集團合作完成

文章作者：

江澤胤子、毛超杰纱扭、黃子淵牍帚、Ma Ao

呂奕良、沈宇軍乳蛾、趙德麗暗赶、周靖人

論文鏈接：

https://openreview.net/forum?id=XmpthbaJql

15

VideoComposer: Compositional Video Synthesis with Motion Controllability

本文由阿里巴巴集團與螞蟻集團合作完成

文章作者：

王 翔、袁航杰肃叶、張士偉

陳大友蹂随、王九牛、張迎亞

沈宇軍因惭、趙德麗岳锁、周靖人

論文鏈接：

https://openreview.net/forum?id=h4r00NGkjR

16

Compact Neural Volumetric Video Representations with Dynamic Codebooks

本文作者分別來自浙江大學和螞蟻集團

文章作者：

郭浩宇、彭思達蹦魔、嚴赟之

牟林湛激率、沈宇軍、鮑虎軍勿决、周曉巍

論文鏈接：

https://openreview.net/forum?id=xTgM7XLN9P

17

Revisiting the Evaluation of Image Synthesis with GANs

本文作者分別來自華東理工大學乒躺、香港中文大學、上海交通大學低缩、香港科技大學嘉冒、螞蟻集團與上海人工智能實驗室

文章作者：

楊孟平、楊策元咆繁、Zhang Yichi

柏清巖讳推、沈宇軍、戴勃

論文鏈接：

https://openreview.net/forum?id=C0zw2ERKiQ