論文名：Deep one class classification
作者：Lukas Ruff * 1? Robert A. Vandermeulen * 2 Nico Gornitz ¨ 3
發(fā)表刊物：ICML
發(fā)表時間：2018
相關概念：
OCSVM
SVDD
提出方法：
Deep SVDD
Abstract
Those approaches which do exist involve networks trained to perform a task other than anomaly detection, namely generative models or compression, which are in turn adapted for use in anomaly detection; they are not trained on an anomaly detection based objective.
確實存在一些方法怕磨，使用訓練的網(wǎng)絡來執(zhí)行異常檢測之外的任務昆咽，被稱為生成模型或壓縮赃承，反過來也可以被用在異常檢測中崎页，他們沒有在基于異常檢測的目標上進行訓練。
Introduction
需要能在很大的數(shù)據(jù)集尚卫、很高維的數(shù)據(jù)中檢測異常
傳統(tǒng)的異常檢測方法：
One-Class SVM單分類SVM (OCSVM)：最優(yōu)超平面痪署，坐標原點被假定為唯一的異常樣本
SVDD:原始數(shù)據(jù)--高維表示--Min超球體積--求得c和R。
Kernel Density Estimation 核密度估計(KDE)
缺點：
1谁榜、淺層特征工程幅聘。由于糟糕的計算可擴展性和維度詛咒，導致在高維數(shù)據(jù)場景中經(jīng)常失敗窃植。為了有效帝蒿，這種淺層方法通常需要大量的特征工程。
2巷怜、由于和矩陣的構造和操作導致a poor computational scaling葛超，除非使用近似技術，否則規(guī)模至少為樣本數(shù)的平方延塑。
3绣张、核方法需要存儲支持向量，需要大量內(nèi)存关带。
深度學習的方法：
用深度學習做異常檢測的難點在于找到合適的無監(jiān)督學習深度對象是很困難的
現(xiàn)在的一些方法結(jié)果不錯侥涵，但是他們都沒有通過優(yōu)化基于異常檢測目標函數(shù)的優(yōu)化來進行訓練，并且大多是有依賴于基于重建誤差的啟發(fā)式算法
mix:
fully deep:
---------------------
本文提出了一種新的深度異常檢測的方法，靈感來源于基于核的單分類問題以及最小體積估計芜飘。
1务豺、我們的方法Deep SVDD，訓練一個神經(jīng)網(wǎng)絡嗦明，然后最小化包含網(wǎng)絡中數(shù)據(jù)特征的超球體積,提取數(shù)據(jù)分布變化的共同因素笼沥。fully deep //unsupervised
other deep AD:依賴重建誤差，無論是在用于學習表示的混合方法中娶牌，還是直接用于學習和檢測中奔浅。
2、Deep autoencoder：會有低維的中間表示裙戏，最小化重建誤差乘凸。網(wǎng)絡可以從正常的樣本中提取出共同因子并進行重建，二異常樣本這些共同的因素所以不能被準確的重建累榜。可以在Mix和fully deep中使用灵嫌。mix：將學習到的 嵌入向量運用到傳統(tǒng)的AD 中壹罚。fully deep:直接用重建誤差作為異常分數(shù)。
denoising autoencoder寿羞、variational autoencoder猖凛、sparse autoencoder、deep convolutional autoencoder(DCAEs)（應用于圖像視頻數(shù)據(jù)的AD應用中）自動編碼器不直接以AD為目標绪穆，應用與此的主要困難是壓縮的度辨泳，也就是降維的度。
3玖院、AnoGAN：test data--生成樣本--潛在空間表示菠红。重建誤差、異常分數(shù)难菌。與自動編碼器類似试溯，困難在于如何正則化（規(guī)范化）生成器以實現(xiàn)緊湊性。
method
Soft-bound Deep SVDD郊酒，一種深度一分類的方法
聯(lián)合學習參數(shù)Ｗ和最小化在輸出空間包含數(shù)據(jù)的超球的體積
目標函數(shù)：
第一項最小化超球體積遇绞。
第二項是對那些位于超球外的懲罰項，超參v控制超球體積和超過邊界的一個權衡燎窘。如果v大摹闽，就允許一定的超出，如果v很小褐健，超出一點就施以很大的懲罰付鹿。
第三項是網(wǎng)絡參數(shù)Ｗ上的權重衰減正則化。
One-Class Deep SVDD
目標函數(shù)：
第一項，使用二次損失來懲罰每個網(wǎng)絡表示到超球中心的距離倘屹。
第二項银亲，網(wǎng)絡權重衰減正則項，λ是超參纽匙。
One-Class Deep SVDD也可以視為找到最小體積的超球务蝠。 但與軟邊界deep SVDD不同，deep SVDD通過直接懲罰半徑和落在球體外的數(shù)據(jù)表示而收縮球體烛缔，One-Class Deep SVDD通過最小化所有數(shù)據(jù)表示到中心的平均距離來收縮球體馏段。 同樣，為了將數(shù)據(jù)（平均）盡可能映射到接近中心c践瓷，神經(jīng)網(wǎng)絡必須提取變異的共同因子院喜。 對所有數(shù)據(jù)點上的平均距離進行懲罰而不是允許某些點落在超球外，這與大多數(shù)訓練數(shù)據(jù)來自一個類的假設是一致的晕翠。
異常分數(shù)可以用上式來計算喷舀，異常樣本結(jié)果為正，正常樣本結(jié)果為負淋肾。
優(yōu)化 Deep SVDD
命題１ 權重是全０的話硫麻，網(wǎng)絡產(chǎn)生一個常數(shù)函數(shù)映射到超球中心，導致超球崩潰樊卓，因為超球半徑為０拿愧。
命題２ 網(wǎng)絡中的隱藏層有偏移項bias term，也是學習到一個常數(shù)函數(shù)映射碌尔，導致超球崩潰浇辜。
命題３ 具有有界激活函數(shù)的網(wǎng)絡單元，會在后續(xù)層中模擬偏移項唾戚，這又導致超球崩潰柳洋。 因此，在Deep SVDD中應首選無界激活函數(shù)（或僅被0 bound的函數(shù)）颈走，例如ReLU膳灶，以避免由于“學習”偏移項導致的超球崩潰。
results
MNIST
CIFAR-10
GTSRB
