原文來源:BAIR(伯克利人工智能研究院)慢显,作者:Anusha Nagabandi, Gregory Kahn,有刪節(jié)欠啤。
【嵌牛導讀】:本文盤點了NIPS 2017概括和亮點荚藻,重點匯總了DeepMind和Facebook在NIPS 2017的參與,包括邀請演講洁段、接收論文等应狱。本文將介紹谷歌和英偉達在NIPS 2017的表現,包括接收論文眉撵、邀請演講侦香、海報、研討會纽疟、比賽和教程等罐韩。
【嵌牛鼻子】:NIPS 2017?Workshop 谷歌
【嵌牛提問】:NIPS 最新動態(tài)
【嵌牛正文】:
本周,NIPS 2017 在加利福尼亞州長灘市舉行污朽,這是一個機器學習和計算神經科學的大會散吵,包含有關最新的機器學習研究的邀請報告、展示和演講蟆肆。谷歌有450多名員工參與NIPS 2017矾睦,通過技術講座、海報炎功、研討會枚冗、比賽和教程等方式向更廣泛的學術研究社區(qū)貢獻和學習。
谷歌處于機器學習研究的前沿蛇损,一直積極探索從經典算法到深度學習等領域的幾乎所有方面赁温。他們同時關注理論和應用,在語言理解淤齐,對話股囊,翻譯,視覺處理和預測方面的大部分工作都基于最先進的技術更啄,這些技術突破了可能的界限稚疹。
本文將介紹谷歌和英偉達在NIPS 2017的表現,它們分別是今年NIPS的鉑金贊助商和鉆石贊助商祭务。
NVIDIA at NIPS 2017
Semi-Supervised Learning for Optical Flow with Generative Adversarial Networks
《基于生成對抗網絡的光流半監(jiān)督學習》
作者:Wei-Sheng Lai, Jia-Bin Huang, and Ming-Hsuan Yang
摘要:
卷積神經網絡(CNN)近來被應用于光流估計(optical flow estimation)問題内狗。由于訓練CNN需要足夠多的地面實況訓練數據,而現有的方法采用合成的义锥,不真實的數據集其屏。另一方面,無監(jiān)督的方法能夠利用現實世界的視頻進行訓練缨该,其中地面真實流場不可用偎行。然而,這些方法依賴亮度恒定性的基本假設和不保持在運動邊界附近的空間平滑先驗贰拿。我們在本文中提出一種用GAN處理光流數據的方法蛤袒,以半監(jiān)督學習的方式處理沒有標簽的視頻。我們的主要見解是對抗性損失可以捕捉流動扭曲錯誤的結構模式膨更,而不需要做出明確的假設妙真。基準數據集的大量實驗表明荚守,本研究所提出的半監(jiān)督算法相對純粹的監(jiān)督和半監(jiān)督學習方案有更好的效果珍德。
Universal Style Transfer via Feature Transforms
《通過特征轉換的通用風格遷移》
作者:Yijun Li, Chen Fang, Jimei Yang, Zhaowen Wang, Xin Lu, and Ming-Hsuan Yang
摘要:
通用風格遷移(style transfer)的目的是將任意視覺風格轉移給圖像×钒悖現有的基于前饋的方法在具有高推理效率的同時,主要受限于無法推廣到沒見過的風格或影響視覺質量锈候。在本文中薄料,我們提出了一個簡單而有效的方法泵琳,可以解決這些限制,而無需對任何預定義的風格進行訓練巩梢。我們的方法的關鍵要素是一個特征變換對,即刷白和著色(whitening and coloring),它們被嵌入到圖像重建網絡。刷白和著色的變換反映了內容圖像的特征協方差與給定風格圖像的直接匹配此熬,與神經風格轉移中基于格拉姆矩陣的成本優(yōu)化想法相似。我們證明了所提出的算法的有效性搀庶,與最近的一些方法比較顯示,我們的方法生成了高質量的風格圖像府阀。我們還通過可視化刷白特征和通過簡單特征著色來合成紋理來分析我們的方法田巴。
Learning Affinity via Spatial Propagation Networks
《通過空間傳播網絡學習Affinity》
作者:Sifei Liu, Shalini De Mello, Jinwei Gu, Guangyu Zhong, Ming-Hsuan Yang, Jan Kautz
摘要:
這篇文章提出了一個學習affinity矩陣的空間傳播網絡芭析。這一研究表明,通過構造一個行/列線性傳播模型攀甚,空間上的變換矩陣構成了一個affinity矩陣箩朴,它可以對圖像上密集、全局的相似性進行建模秋度。HELEN人臉解析和PASCAL VOC-2012語義分割任務的實驗表明炸庞,空間傳播網絡為產生高質量的分割結果提供了通用而且高效的解決方案。
Unsupervised Image-To-Image Translation Networks
《無監(jiān)督圖到圖像翻譯網絡》
作者:Ming-Yu Liu, Thomas Breuel, Jan Kautz
摘要:
無監(jiān)督的圖像到圖像的翻譯旨在通過使用來自單個領域的邊緣分布圖像來學習不同領域中的圖像的聯合分布荚斯。我們將所提出的框架與現有方法進行比較埠居,在各種具有挑戰(zhàn)性的無監(jiān)督圖像翻譯任務(包括街景圖像翻譯,動物圖像翻譯和人臉圖像翻譯)得到高質量的圖像翻譯結果事期,并在基準數據集上實現了state-of-the-art的性能拐格。
Google at NIPS 2017
(谷歌員工用黑色字體凸顯)
組織委員會
程序主席:Samy Bengio
高級領域主席: Corinna Cortes, Dale Schuurmans, Hugo Larochelle
領域主席:Afshin Rostamizadeh, Amir Globerson, Been Kim, D. Sculley, Dumitru Erhan, Gal Chechik, Hartmut Neven, Honglak Lee, Ian Goodfellow, Jasper Snoek, John Wright, Jon Shlens, Kun Zhang, Lihong Li, Maya Gupta, Moritz Hardt, Navdeep Jaitly, Ryan Adams, Sally Goldman, Sanjiv Kumar, Surya Ganguli, Tara Sainath, Umar Syed, Viren Jain, Vitaly Kuznetsov
Invited Talk
Powering the next 100 years
《助力未來100年》
演講者:John Platt
接收論文
A Meta-Learning Perspective on Cold-Start Recommendations for Items
《關于項目冷啟動推薦的元學習視角》
作者:Manasi Vartak, Hugo Larochelle,Arvind Thiagarajan
AdaGAN: Boosting Generative Models
《AdaGAN:提升生成模型》
作者:Ilya Tolstikhin, Sylvain Gelly,Olivier Bousquet, Carl-Johann Simon-Gabriel, Bernhard Sch?lkopf
Deep Lattice Networks and Partial Monotonic Functions
《深度Lattice網絡和部分單調函數》
作者:Seungil You, David Ding, Kevin Canini, Jan Pfeifer, Maya Gupta
From which world is your graph
《你的圖表來自哪個世界》
作者:Cheng Li, Varun Kanade, Felix MF Wong,Zhenming Liu
Hiding Images in Plain Sight: Deep Steganography
《在眼皮底下隱藏圖像:深度隱寫術》
作者:Shumeet Baluja
Improved Graph Laplacian via Geometric Self-Consistency
《通過幾何自一致性改進圖拉普拉斯算子》
作者:Dominique Joncas,Marina Meila, James McQueen
Model-Powered Conditional Independence Test
《模型驅動的條件獨立性測試》
作者:Rajat Sen, Ananda Theertha Suresh,Karthikeyan Shanmugam, Alexandros Dimakis, Sanjay Shakkottai
Nonlinear random matrix theory for deep learning
《深度學習的非線性隨機矩陣理論》
作者:Jeffrey Pennington, Pratik Worah
Resurrecting the sigmoid in deep learning through dynamical isometry: theory and practice
《通過動態(tài)等距復活深度學習中的sigmoid:理論與實踐》
作者:Jeffrey Pennington, Samuel Schoenholz,Surya Ganguli
SGD Learns the Conjugate Kernel Class of the Network
《SGD學習網絡的共軛內核類》
作者:Amit Daniely
SVCCA: Singular Vector Canonical Correlation Analysis for Deep Learning Dynamics and Interpretability
《SVCCA:深度學習動力學的奇異向量典型相關分析與可解釋性》
作者:Maithra Raghu, Justin Gilmer,Jason Yosinski, Jascha Sohl-Dickstein
Learning Hierarchical Information Flow with Recurrent Neural Modules
《用遞歸神經模塊學習分層信息流》
作者:Danijar Hafner, Alexander Irpan, James Davidson,Nicolas Heess
Online Learning with Transductive Regret
《在線學習與Transductive Regret》
作者:Scott Yang, Mehryar Mohri
Acceleration and Averaging in Stochastic Descent Dynamics
《隨機下降動力學中的加速和平均》
作者:Walid Krichene,Peter Bartlett
Parameter-Free Online Learning via Model Selection
《通過模型選擇的無參數在線學習》
作者:Dylan J Foster, Satyen Kale, Mehryar Mohri, Karthik Sridharan
Dynamic Routing Between Capsules
《膠囊之間的動態(tài)路由》
作者:Sara Sabour, Nicholas Frosst, Geoffrey E Hinton
Modulating early visual processing by language
《通過語言調整早期視覺處理》
作者:Harm de Vries, Florian Strub, Jeremie Mary, Hugo Larochelle,Olivier Pietquin, Aaron C Courville
MarrNet: 3D Shape Reconstruction via 2.5D Sketches
《MarrNet:通過2.5D草圖的3D形狀重建》
作者:Jiajun Wu, Yifan Wang, Tianfan Xue, Xingyuan Sun,Bill Freeman,Josh Tenenbaum
Affinity Clustering: Hierarchical Clustering at Scale
《Affinity Clustering:按比例分級聚類》
作者:Mahsa Derakhshan, Soheil Behnezhad,Mohammadhossein Bateni, Vahab Mirrokni,MohammadTaghi Hajiaghayi,Silvio Lattanzi, Raimondas Kiveris
Asynchronous Parallel Coordinate Minimization for MAP Inference
《MAP推理的異步并行坐標最小化》
作者:Ofer Meshi,Alexander Schwing
Cold-Start Reinforcement Learning with Softmax Policy Gradient
《用Softmax策略梯度進行冷啟動強化學習》
作者:Nan Ding, Radu Soricut
Filtering Variational Objectives
《過濾變分目標》
作者:Chris J Maddison,Dieterich Lawson, George Tucker, Mohammad Norouzi,Nicolas Heess, Andriy Mnih, Yee Whye Teh, Arnaud Doucet
Multi-Armed Bandits with Metric Movement Costs
作者:Tomer Koren,Roi Livni, Yishay Mansour
Multiscale Quantization for Fast Similarity Search
《多尺度量化快速相似搜索》
作者:Xiang Wu, Ruiqi Guo, Ananda Theertha Suresh, Sanjiv Kumar, Daniel Holtmann-Rice, David Simcha, Felix Yu
Reducing Reparameterization Gradient Variance
《減少重新參數化梯度變化》
作者:Andrew Miller, Nicholas Foti, Alexander D'Amour,Ryan Adams
Statistical Cost Sharing
《統計成本分攤》
作者:Eric Balkanski,Umar Syed, Sergei Vassilvitskii
The Unreasonable Effectiveness of Structured Random Orthogonal Embeddings
《結構隨機正交嵌入的不合理有效性》
作者:Krzysztof Choromanski,Mark Rowland, Adrian Weller
Value Prediction Network
《價值預測網絡》
作者:Junhyuk Oh, Satinder Singh, Honglak Lee
REBAR: Low-variance, unbiased gradient estimates for discrete latent variable models
《REBAR:離散潛變量模型的低方差、無偏差梯度估計》
作者:George Tucker,Andriy Mnih, Chris J Maddison, Dieterich Lawson, Jascha Sohl-Dickstein
Approximation and Convergence Properties of Generative Adversarial Learning
《生成對抗學習的近似與收斂性》
作者:Shuang Liu, Olivier Bousquet,Kamalika Chaudhuri
《你只需要注意力機制》
作者:Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones,Aidan N Gomez, ?ukasz Kaiser, Illia Polosukhin
PASS-GLM: polynomial approximate sufficient statistics for scalable Bayesian GLM inference
作者:Jonathan Huggins,Ryan Adams,Tamara Broderick
Repeated Inverse Reinforcement Learning
《重復逆強化學習》
作者:Kareem Amin,Nan Jiang, Satinder Singh
Fair Clustering Through Fairlets
作者:Flavio Chierichetti,Ravi Kumar, Silvio Lattanzi, Sergei Vassilvitskii
Affine-Invariant Online Optimization and the Low-rank Experts Problem
《仿射不變在線優(yōu)化和低階專家問題》
作者:Tomer Koren,Roi Livni
Batch Renormalization: Towards Reducing Minibatch Dependence in Batch-Normalized Models
《批重整化:在批歸一化模型中降低小批量相關性》
作者:Sergey Ioffe
Bridging the Gap Between Value and Policy Based Reinforcement Learning
《彌合價值與政策強化學習的差距》
作者:Ofir Nachum,Mohammad Norouzi, Kelvin Xu, Dale Schuurmans
Discriminative State Space Models
《判別式狀態(tài)空間模型》
作者:Vitaly Kuznetsov, Mehryar Mohri
Dynamic Revenue Sharing
《動態(tài)收入分享》
作者:Santiago Balseiro, Max Lin, Vahab Mirrokni, Renato Leme,Song Zuo
Multi-view Matrix Factorization for Linear Dynamical System Estimation
《線性動態(tài)系統估計的多視圖矩陣分解》
作者:Mahdi Karami, Martha White, Dale Schuurmans,Csaba Szepesvari
On Blackbox Backpropagation and Jacobian Sensing
《黑箱反向傳播和Jacobian感應》
作者:Krzysztof Choromanski, Vikas Sindhwani
On the Consistency of Quick Shift
《論快速轉換的一致性》
作者:Heinrich Jiang
Revenue Optimization with Approximate Bid Predictions
《用近似出價預測進行收益優(yōu)化》
作者:Andres Munoz, Sergei Vassilvitskii
Shape and Material from Sound
《聲音的形狀和材質》
作者:Zhoutong Zhang, Qiujia Li, Zhengjia Huang, Jiajun Wu, Josh Tenenbaum, Bill Freeman
Learning to See Physics via Visual De-animation
《學習通過視覺去動畫看物理》
作者:Jiajun Wu, Erika Lu, Pushmeet Kohli, Bill Freeman,Josh Tenenbaum
大會展示(Conference Demos)
Electronic Screen Protector with Efficient and Robust Mobile Vision
《具有高效強大的移動視覺效果的電子屏幕保護器》
作者:Hee Jung Ryu, Florian Schroff
Magenta and deeplearn.js: Real-time Control of DeepGenerative Music Models in the Browser
《Magenta和deeplearn.js:在瀏覽器中實時控制的深度音樂模型》
作者:Curtis Hawthorne, Ian Simon, Adam Roberts, Jesse Engel, Daniel Smilkov, Nikhil Thorat, Douglas Eck
Workshops
6th Workshop on Automated Knowledge Base Construction (AKBC) 2017
《2017年第六屆AKBC研討會》
程序委員: Arvind Neelakanta
作者: Jiazhong Nie, Ni Lao
Acting and Interacting in the Real World: Challenges in Robot Learning
《現實世界中的行為與互動:機器人學習的挑戰(zhàn)》
邀請演講: Pierre Sermanet
Advances in Approximate Bayesian Inference
《近似貝葉斯推理的進展》
Panel主持: Matthew D. Hoffman
Conversational AI - Today's Practice and Tomorrow's Potential
《會話AI:當前的實踐和未來的潛力》
邀請演講:Matthew Henderson, Dilek Hakkani-Tur
組織者: Larry Heck
Extreme Classification: Multi-class and Multi-label Learning in Extremely Large Label Spaces
《極端分類:極大標簽空間中的多類和多標簽學習》
邀請演講: Ed Chi, Mehryar Mohri
Learning in the Presence of Strategic Behavior
邀請演講:Mehryar Mohri
Presenters:Andres Munoz Medina, Sebastien Lahaie, Sergei Vassilvitskii, Balasubramanian Sivan
Learning on Distributions, Functions, Graphs and Groups
《學習分布刑赶,函數捏浊,圖形和組》
邀請演講:Corinna Cortes
Machine Deception
《機器欺騙》
組織者:Ian Goodfellow
邀請演講:Jacob Buckman, Aurko Roy, Colin Raffel, Ian Goodfellow
Machine Learning and Computer Security
《機器學習和計算機安全》
邀請演講:Ian Goodfellow
組織者:Nicolas Papernot
作者包括:Jacob Buckman, Aurko Roy, Colin Raffel, Ian Goodfellow
Machine Learning for Creativity and Design
《機器學習的創(chuàng)意和設計》
Keynote 演講:Ian Goodfellow
組織者:Doug Eck, David Ha
Machine Learning for Audio Signal Processing (ML4Audio)
《音頻信號處理中的機器學習(ML4Audio)》
作者包括: Aren Jansen, Manoj Plakal, Dan Ellis, Shawn Hershey, Channing Moore, Rif A. Saurous, Yuxuan Wang, RJ Skerry-Ryan, Ying Xiao, Daisy Stanton, Joel Shor, Eric Batternberg, Rob Clark
Machine Learning for Health (ML4H)
《醫(yī)療領域機器學習(ML4H)》
組織者:Jasper Snoek, Alex Wiltschko
Keynote演講:Fei-Fei Li
NIPS Time Series Workshop 2017
《NIPS時間系列研討會》
組織者:Vitaly Kuznetsov
作者包括:Brendan Jou
OPT 2017: Optimization for Machine Learning
《OPT 2017:機器學習優(yōu)化》
組織者:Sashank Reddi
ML Systems Workshop
《ML系統研討會》
邀請演講:Rajat Monga, Alexander Mordvintsev, Chris Olah, Jeff Dean
作者包括:Alex Beutel, Tim Kraska, Ed H. Chi, D. Scully, Michael Terry
Aligned Artificial Intelligence
邀請演講:Ian Goodfellow
Bayesian Deep Learning
《貝葉斯深度學習》
組織者:Kevin Murphy
邀請演講:Nal Kalchbrenner, Matthew D. Hoffman
BigNeuro 2017
邀請演講:Viren Jain
Cognitively Informed Artificial Intelligence: Insights From Natural Intelligence
《認知知情人工智能:來自自然智能的見解》
作者包括:Jiazhong Nie, Ni Lao
Deep Learning At Supercomputer Scale
《超級計算機的深度學習》
組織者:Erich Elsen, Zak Stone, Brennan Saeta, Danijar Haffner
Deep Learning: Bridging Theory and Practice
《深度學習:橋接理論與實踐》
邀請演講:Ian Goodfellow
Interpreting, Explaining and Visualizing Deep Learning
《深度學習的譯碼,解釋和可視化》
邀請演講:Been Kim, Honglak Lee
作者包括:Pieter Kinderman, Sara Hooker, Dumitru Erhan, Been Kim
Learning Disentangled Features: from Perception to Control
《學習解構特征:從感知到控制》
組織者:Honglak Lee
作者包括:Jasmine Hsu, Arkanath Pathak, Abhinav Gupta, James Davidson, Honglak Lee
Learning with Limited Labeled Data: Weak Supervision and Beyond
《學習有限的標記數據:弱監(jiān)督及其他》
邀請演講:Ian Goodfellow
Machine Learning on the Phone and other Consumer Devices
《手機及其他消費者設備上的機器學習》
邀請演講:Rajat Monga
組織者:Hrishikesh Aradhye
作者包括:Suyog Gupta, Sujith Ravi
Optimal Transport and Machine Learning
《最優(yōu)傳輸和深度學習》
組織者:Olivier Bousquet
The future of gradient-based machine learning software & techniques
《基于梯度的機器學習軟件和技術的未來》
組織者:Alex Wiltschko, Bart van Merri?nboer
Workshop on Meta-Learning
《元學習研討會》
組織者:Hugo Larochelle
Panel成員:Samy Bengio
作者包括:Aliaksei Severyn, Sascha Rothe
論壇:
Deep Reinforcement Learning Symposium
《深度強化學習研討會》
作者包括:Benjamin Eysenbach, Shane Gu, Julian Ibarz, Sergey Levine
Interpretable Machine Learning
《可解釋的機器學習》
作者包括:Minmin Chen
Metalearning
《元學習》
組織者:Quoc V Le
競賽:
Adversarial Attacks and Defences
《對抗攻擊和防御》
組織者:Alexey Kurakin, Ian Goodfellow, Samy Bengio
Competition IV: Classifying Clinically Actionable Genetic Mutations
《競爭IV:臨床可操作的基因突變分類》
組織者:Wendy Kan
Tutorial:
Fairness in Machine Learning
《機器學習的公平性》
作者:Solon Barocas, Moritz Hardt