Weakly-supervised and Unsupervised Learning Workshop at the SIAM International Conference on Data Mining (SDM2020).
Related Researcher
VALSE2019總結(jié)(1)-弱監(jiān)督學(xué)習(xí)
- 弱監(jiān)督學(xué)習(xí)和強(qiáng)監(jiān)督學(xué)習(xí)相比实柠，從學(xué)術(shù)研究的角度說(shuō)丙曙，其根本難點(diǎn)和技術(shù)瓶頸在什么地方？
弱監(jiān)督的情況較多：標(biāo)簽噪聲翅萤，標(biāo)簽不確定
主動(dòng)學(xué)習(xí)：是隨著策略變化導(dǎo)致訓(xùn)練數(shù)據(jù)的分布發(fā)生變化恐疲。
- 雖然弱監(jiān)督學(xué)習(xí)這個(gè)概念已經(jīng)被提出很久了，但工業(yè)界仍很少使用，為了提升性能培己，工業(yè)界往往更傾向于直接增加更多的訓(xùn)練數(shù)據(jù)糜烹。因此，弱監(jiān)督學(xué)習(xí)從研究到落地的鴻溝主要在哪漱凝？
自然場(chǎng)景下，弱監(jiān)督對(duì)大公司有錢(qián)是可以解決的诸迟。
但是針對(duì)醫(yī)療影像的場(chǎng)景茸炒，即使是專(zhuān)家也是有誤差的，弱監(jiān)督問(wèn)題是一定會(huì)存在的阵苇。弱監(jiān)督有適用的領(lǐng)域場(chǎng)景壁公。
- 最近幾年的弱監(jiān)督學(xué)習(xí)算法大多致力于設(shè)計(jì)各種無(wú)偏或有偏的risk estimator∩鹣睿“無(wú)偏”和“有偏”各有什么好處和弊端紊册？除了設(shè)計(jì)risk estimator，還有哪些大方向是值得進(jìn)一步探尋的快耿？
樣本量比較大的時(shí)候能夠得到無(wú)偏
樣本量比較小囊陡，能夠利用一些先驗(yàn)知識(shí)，可以得到有偏的結(jié)果掀亥。
- 深度學(xué)習(xí)是一種data hungry的方法撞反，如果想弱化深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練對(duì)數(shù)據(jù)質(zhì)量的依賴，我們可以從哪些方面努力搪花？
選擇一些小loss的數(shù)據(jù)遏片，加一些先驗(yàn)知識(shí)，可以弱化對(duì)數(shù)據(jù)質(zhì)量的依賴撮竿。
- 對(duì)于弱監(jiān)督學(xué)習(xí)吮便，監(jiān)督信息的強(qiáng)弱與算法性能的好壞在理論上是否存在精確或大致的函數(shù)關(guān)系？
弱監(jiān)督并沒(méi)有統(tǒng)一的理論支持幢踏，半監(jiān)督和主動(dòng)學(xué)習(xí)里面有一些理論支持髓需。
- 各類(lèi)弱監(jiān)督學(xué)習(xí)算法（比如半監(jiān)督學(xué)習(xí)、標(biāo)簽噪聲學(xué)習(xí)惑折、多示例學(xué)習(xí)授账、遷移學(xué)習(xí)、PU學(xué)習(xí)惨驶、偏標(biāo)記學(xué)習(xí)等）白热，它們之間是否存在一定的聯(lián)系？是否有可能在理論上構(gòu)建統(tǒng)一的弱監(jiān)督機(jī)器學(xué)習(xí)框架粗卜？
利用無(wú)監(jiān)督的信息去輔助監(jiān)督的學(xué)習(xí)屋确。
- Weakly-supervised and Unsupervised Learning Workshop at the SIAM International Conference on Data Mining (SDM2020).
不完全監(jiān)督：只有一部分訓(xùn)練數(shù)據(jù)具備標(biāo)簽；
不確切監(jiān)督：訓(xùn)練數(shù)據(jù)只具備粗粒度標(biāo)簽；
不準(zhǔn)確監(jiān)督：給出的標(biāo)簽并不總是真值攻臀；（標(biāo)簽有噪聲?）
弱監(jiān)督的含義：弱監(jiān)督給出的標(biāo)簽會(huì)在某種程度上弱于我們面臨的任務(wù)所要求的輸出焕数。
研究背景：
數(shù)據(jù)集很重要：現(xiàn)階段CV領(lǐng)域的大多數(shù)問(wèn)題還是依賴于特定的數(shù)據(jù)集進(jìn)行訓(xùn)練和測(cè)試評(píng)估的；
標(biāo)注成本很大：高質(zhì)量額圖像標(biāo)注為我們進(jìn)行圖像理解提供了方便刨啸，但獲取精確的標(biāo)注是非常困難和耗時(shí)的堡赔；
研究方法難選：深度神經(jīng)網(wǎng)絡(luò)共性技術(shù)，視覺(jué)基元屬性感知设联。
In this workshop, we discuss both theoretical and applied aspects of WSUL, which includes but not limited to the following topics:
Theories, algorithms, and applications of no supervision, e.g., clustering, generative adversarial nets, variational autoencoders;
Theories, algorithms, and applications of incomplete supervision, e.g., dealing with semi-supervised data or positive-unlabeled data;
Theories, algorithms, and applications of inexact supervision, e.g., dealing with similarity/dissimilarity data and complementary information;
Theories, algorithms, and applications of inaccurate supervision, e.g., crowdsourcing and dealing with noisy labels;
Theories, algorithms, and applications of cross-domain supervision, e.g., domain adaptation and zero-/one-/few-shot learning.
The focus of this workshop is five types of supervision: no supervision, incomplete supervision, inexact supervision, inaccurate supervision, and cross-domain supervision. Specifically, no supervision considers problems in which no data have ground-truth labels. Incomplete supervision considers a subset of training data given with ground-truth labels while the other data remain unlabeled, such as semi-supervised data and positive-unlabeled data. Inexact supervision considers the situation where some supervision information is given but not as exacted as desired, i.e., only coarse-grained labels are available. For example, if we are considering to classify every pixel of an image, rather than the image itself, then ImageNet becomes a benchmark with inexact supervision. Besides, the multi-instance learning setting belongs to inexact supervision, where we do not exactly know which instance in the bag corresponds to the given ground-truth label. Inaccurate supervision considers the situation where the supervision information is not always the ground-truth, such as learning with noisy labels. Cross-domain supervision considers the situation where the supervision information is scarce or even non-existent in the current domain but can be possibly derived from other domains. Examples of cross-domain supervision appear in zero-/one-/few-shot learning, where external knowledge from other domains is usually used to overcome the problem of too few or even no supervision in the original domain.
- Related Researcher
https://mingming-gong.github.io/
https://bhanml.github.io/research.html
https://niug1984.github.io/index.html
http://people.ucas.ac.cn/~qxye
- VALSE2019總結(jié)(1)-弱監(jiān)督學(xué)習(xí)
https://www.cnblogs.com/LS1314/p/10885026.html
https://blog.csdn.net/qq_31049727/article/details/89334903
20200722-19 遷移學(xué)習(xí)：他山之石善已，可以攻玉
https://blog.csdn.net/david8766/article/details/107524948
- 弱監(jiān)督學(xué)習(xí)綜述（Weak Supervision 2019）
近年來(lái)，機(jī)器學(xué)習(xí)（ML）的現(xiàn)實(shí)影響已經(jīng)突飛猛進(jìn)离例。在很大程度上换团，這是由于深度學(xué)習(xí)模型的出現(xiàn)，這使得從業(yè)者可以在benchmark集上獲得優(yōu)異的分?jǐn)?shù)宫蛆，而無(wú)需任何手工設(shè)計(jì)的特征（ hand-engineered features）艘包。鑒于TensorFlow和PyTorch等多種開(kāi)源ML框架的可用性，以及大量可用的最先進(jìn)模型耀盗，可以說(shuō)高質(zhì)量的ML模型現(xiàn)在幾乎是商品化的資源想虎。然而，有一個(gè)隱藏的問(wèn)題：這些模型依賴于大量手工標(biāo)記的訓(xùn)練數(shù)據(jù)（the reliance of these models on massive sets of hand-labeled training data.）袍冷。
這些手工標(biāo)記的培訓(xùn)集創(chuàng)建起來(lái)既昂貴又耗時(shí)——通常需要數(shù)月或數(shù)年才能收集磷醋、清理和調(diào)試——尤其是在需要領(lǐng)域?qū)I(yè)知識(shí)的情況下。除此之外胡诗，任務(wù)通常會(huì)在現(xiàn)實(shí)世界中發(fā)生變化和演變邓线。例如，打標(biāo)簽的規(guī)則（指南）煌恢，標(biāo)注的粒度或下游的用例經(jīng)常發(fā)生變化骇陈，需要重新標(biāo)記（例如，不僅要將評(píng)論分類(lèi)為正類(lèi)或負(fù)類(lèi)瑰抵，還要引入一個(gè)中性類(lèi)別）你雌。由于所有這些原因，從業(yè)者越來(lái)越多地轉(zhuǎn)向較弱的監(jiān)督形式二汛，例如啟發(fā)式地利用外部知識(shí)庫(kù)婿崭，模式/規(guī)則或其他分類(lèi)器生成訓(xùn)練數(shù)據(jù)。從本質(zhì)上講肴颊，這些都是以編程方式生成培訓(xùn)數(shù)據(jù)的所有方式 ——或者更簡(jiǎn)潔地說(shuō)氓栈，是編程培訓(xùn)數(shù)據(jù)。
如何獲得標(biāo)記好的訓(xùn)練數(shù)據(jù)婿着？
ML中的許多傳統(tǒng)研究方法同樣受到標(biāo)記訓(xùn)練數(shù)據(jù)的深度學(xué)習(xí)模型的無(wú)法滿足的興趣的推動(dòng)授瘦。 我們首先將這些其他方法與弱監(jiān)督之間的核心區(qū)別從高層次中劃分出來(lái)：弱監(jiān)督是指利用主題專(zhuān)家（SME）的更高層次和/或更嘈雜的投入（weak supervision is about leveraging higher-level and/or noisier input from subject matter experts (SMEs).）醋界。目前僅有中小企業(yè)直接標(biāo)記大量數(shù)據(jù)的主流方法的關(guān)鍵問(wèn)題是它很昂貴：例如，為醫(yī)學(xué)成像研究獲取大型數(shù)據(jù)集要困難得多——與廉價(jià)勞動(dòng)力研究生不同提完，放射科醫(yī)生（專(zhuān)家）不會(huì)因?yàn)橐稽c(diǎn)小惠小利就答應(yīng)幫你標(biāo)記數(shù)據(jù)集形纺。因此，ML中許多經(jīng)過(guò)充分研究的工作線是由于獲得標(biāo)記的訓(xùn)練數(shù)據(jù)的瓶頸所致徒欣。
弱監(jiān)督通常分為三種類(lèi)型：不完全監(jiān)督逐样、不確切監(jiān)督、不準(zhǔn)確監(jiān)督打肝。
（1）不完全監(jiān)督
不完整監(jiān)督：部分樣本label缺失官研。“部分”有多大闯睹？也許只有小部分樣本有l(wèi)abel。
指的是訓(xùn)練數(shù)據(jù)只有部分是帶有標(biāo)簽的担神，同時(shí)大量數(shù)據(jù)是沒(méi)有被標(biāo)注過(guò)的楼吃。這是最常見(jiàn)的由于標(biāo)注成本過(guò)高而導(dǎo)致無(wú)法獲得完全的強(qiáng)監(jiān)督信號(hào)的情況，例如妄讯，聘請(qǐng)領(lǐng)域?qū)＜抑苯咏o大量數(shù)據(jù)添加標(biāo)簽的成本就相當(dāng)高孩锡。另外，在為醫(yī)學(xué)影像研究構(gòu)建大型數(shù)據(jù)集時(shí)亥贸，放射科醫(yī)生可不會(huì)接受一點(diǎn)小恩小惠就愿意為你標(biāo)記數(shù)據(jù)躬窜。而且根據(jù)筆者的經(jīng)驗(yàn)，由于醫(yī)生對(duì)于數(shù)據(jù)科學(xué)的了解往往不夠深入炕置，有許多數(shù)據(jù)的標(biāo)注結(jié)果（例如為分割任務(wù)框定的病灶輪廓）是無(wú)法使用的荣挨，從而產(chǎn)生了很多實(shí)際上缺少有效標(biāo)記的訓(xùn)練樣本。該問(wèn)題可以被形式化表達(dá)為：
在訓(xùn)練數(shù)據(jù)為 D = {(x_1, y_1), …, (x_l, y_l), x_{l+1}, …, x_m}朴摊，其中 l 個(gè)數(shù)據(jù)有標(biāo)簽默垄、u=m-l 個(gè)數(shù)據(jù)無(wú)標(biāo)簽的情況下，訓(xùn)練得到 f：x->y甚纲。
通常有兩種辦法來(lái)解決這類(lèi)問(wèn)題：
主動(dòng)學(xué)習(xí)(active learning)
半監(jiān)督學(xué)習(xí)(semi-supervised learning)
在諸多針對(duì)不完全監(jiān)督環(huán)境開(kāi)發(fā)的機(jī)器學(xué)習(xí)范式中口锭，主動(dòng)學(xué)習(xí)、半監(jiān)督學(xué)習(xí)介杆、遷移學(xué)習(xí)是三種最流行的學(xué)習(xí)范式鹃操。
主動(dòng)學(xué)習(xí)（active learning）：它假設(shè)未標(biāo)注數(shù)據(jù)的真值標(biāo)簽可以向人類(lèi)專(zhuān)家查詢，讓專(zhuān)家為估計(jì)模型最有價(jià)值的數(shù)據(jù)點(diǎn)打上標(biāo)簽春哨。在主動(dòng)學(xué)習(xí)中荆隘，目標(biāo)是通過(guò)標(biāo)記數(shù)據(jù)點(diǎn)來(lái)更有效地利用SMEs，這些數(shù)據(jù)點(diǎn)被估計(jì)為對(duì)模型最有價(jià)值（參見(jiàn)（Settles 2012））悲靴。 在標(biāo)準(zhǔn)監(jiān)督學(xué)習(xí)設(shè)置中臭胜，這意味著選擇要標(biāo)記的新數(shù)據(jù)點(diǎn)莫其。而在衡量查詢樣本的價(jià)值時(shí)，有兩個(gè)被最廣泛使用的標(biāo)準(zhǔn)：信息量和代表性耸三。信息量衡量的是一個(gè)未標(biāo)注數(shù)據(jù)能夠在多大程度上降低統(tǒng)計(jì)模型的不確定性乱陡，而代表性則衡量一個(gè)樣本在多大程度上能代表模型的輸入分布。這兩種方法都有其明顯的缺點(diǎn)仪壮『┑撸基于信息量的衡量方法包括不確定性抽樣和投票查詢，其主要的缺點(diǎn)是在建立選擇查詢樣本所需的初始模型時(shí)积锅，嚴(yán)重依賴于對(duì)數(shù)據(jù)的標(biāo)注爽彤，而當(dāng)表述樣本量較小時(shí)，學(xué)習(xí)性能通常不穩(wěn)定缚陷。給予代表性的方法适篙，主要缺點(diǎn)在于其性能?chē)?yán)重依賴于未標(biāo)注數(shù)據(jù)控制的聚類(lèi)結(jié)果。例如箫爷，我們可能選擇接近當(dāng)前模型決策邊界的乳房X線照片嚷节，并要求放射科醫(yī)師僅標(biāo)記這些。 但是虎锚，我們也可以要求對(duì)這些數(shù)據(jù)點(diǎn)進(jìn)行較為嚴(yán)格的監(jiān)督硫痰，在這種情況下，主動(dòng)學(xué)習(xí)與弱監(jiān)督完全互補(bǔ); 作為這方面的一個(gè)例子窜护，見(jiàn) (Druck, Settles, and McCallum 2009).
半監(jiān)督學(xué)習(xí)（semi-supervised learning）：與主動(dòng)學(xué)習(xí)不同效斑，半監(jiān)督學(xué)習(xí)是一種在沒(méi)有人類(lèi)專(zhuān)家參與的情況下對(duì)未標(biāo)注數(shù)據(jù)加以分析、利用的學(xué)習(xí)范式柱徙。通常缓屠，盡管未標(biāo)注的樣本沒(méi)有明確的標(biāo)簽信息，但是其數(shù)據(jù)的分布特征與已標(biāo)注樣本的分布往往是相關(guān)的护侮，這樣的統(tǒng)計(jì)特性對(duì)于預(yù)測(cè)模型是十分有用的藏研。
一個(gè)好的survey見(jiàn) (Chapelle, Scholkopf, and Zien 2009)。 從廣義上講概行，半監(jiān)督學(xué)習(xí)的想法是利用領(lǐng)域和任務(wù)不可知的假設(shè)來(lái)利用通炒赖玻可以大量廉價(jià)獲得的未標(biāo)記數(shù)據(jù)。 最近的方法使用生成對(duì)抗網(wǎng)絡(luò) (Salimans et al. 2016)凳忙，啟發(fā)式轉(zhuǎn)換模型 (Laine and Aila 2016)以及其他生成方法來(lái)有效地幫助規(guī)范決策邊界业踏。
實(shí)際上，半監(jiān)督學(xué)習(xí)對(duì)于數(shù)據(jù)的分布有兩種假設(shè)：聚類(lèi)假設(shè)和流形假設(shè)涧卵。
前者假設(shè)數(shù)據(jù)具有內(nèi)在的聚類(lèi)結(jié)構(gòu)勤家，因此，落入同一個(gè)聚類(lèi)的樣本類(lèi)別相同柳恐。后者假設(shè)數(shù)據(jù)分布在一個(gè)流形上伐脖，在流形上相近的樣本具有相似的預(yù)測(cè)結(jié)果热幔。可見(jiàn)讼庇，兩個(gè)假設(shè)的本質(zhì)都是相似的數(shù)據(jù)輸入應(yīng)該有相似的輸出绎巨。因此，如何更好地衡量樣本點(diǎn)之間的相似性蠕啄，如何利用這種相似性幫助模型進(jìn)行預(yù)測(cè)场勤，是半監(jiān)督學(xué)習(xí)的關(guān)鍵。半監(jiān)督學(xué)習(xí)的方法主要包括：生成式方法歼跟、基于圖的方法和媳、低密度分割法、基于分歧的方法哈街。詳情可參閱周志華老師的綜述文章《A brief introduction to weakly supervised learning》留瞳。
遷移學(xué)習(xí)（transfer learning）：遷移學(xué)習(xí)是近年來(lái)被廣泛研究，風(fēng)頭正勁的學(xué)習(xí)范式骚秦，感覺(jué)已經(jīng)成為一個(gè)獨(dú)立的研究領(lǐng)域撼港。其內(nèi)在思想是借鑒人類(lèi)「舉一反三」的能力，提高對(duì)數(shù)據(jù)的利用率骤竹。通俗地講，遷移學(xué)習(xí)的目標(biāo)是將已經(jīng)在不同數(shù)據(jù)集上訓(xùn)練過(guò)的一個(gè)或多個(gè)模型應(yīng)用到我們的數(shù)據(jù)集和任務(wù)中往毡。參考綜述： (Pan and Yang 2010)蒙揣。具體而言，遷移學(xué)習(xí)的定義為：有源域 Ds和任務(wù) Ts开瞭；目標(biāo)域 Dt 和任務(wù) Tt懒震，遷移學(xué)習(xí)的目標(biāo)是利用源域中的知識(shí)解決目標(biāo)域中的預(yù)測(cè)函數(shù) f，條件是源域和目標(biāo)域不相同或者源域中的任務(wù)和目標(biāo)域中的任務(wù)不相同嗤详。
例如个扰，我們可能在身體的另一部分有一個(gè)大型腫瘤訓(xùn)練集，并且在這組訓(xùn)練的分類(lèi)器葱色，并希望將這些應(yīng)用于我們的乳房攝影任務(wù)递宅。 當(dāng)今深度學(xué)習(xí)社區(qū)中的常見(jiàn)轉(zhuǎn)移學(xué)習(xí)方法是在一個(gè)大型數(shù)據(jù)集上“預(yù)訓(xùn)練”模型，然后在感興趣的任務(wù)上“微調(diào)”它苍狰。 另一個(gè)相關(guān)的工作是多任務(wù)學(xué)習(xí)办龄，其中共同學(xué)習(xí)了幾項(xiàng)任務(wù) (Caruna 1993; Augenstein, Vlachos, and Maynard 2015)。
在遷移學(xué)習(xí)研究的早期淋昭，遷移學(xué)習(xí)被分類(lèi)為「直推式遷移學(xué)習(xí)」俐填、「歸納遷移學(xué)習(xí)」和「無(wú)監(jiān)督遷移學(xué)習(xí)」。
（2）不確切監(jiān)督
粗粒度監(jiān)督：給出的label你不能說(shuō)它不對(duì)翔忽，但是它不夠準(zhǔn)確英融。比如image-level的label是弱的盏檐，object level的標(biāo)注是強(qiáng)的。（個(gè)人覺(jué)得周的這個(gè)例子不夠完備驶悟，還應(yīng)該包括“蘋(píng)果”和“水果”這樣的弱和強(qiáng)的對(duì)比）胡野。
即訓(xùn)練樣本只有粗粒度的標(biāo)簽。例如撩银，針對(duì)一幅圖片给涕，只擁有對(duì)整張圖片的類(lèi)別標(biāo)注，而對(duì)于圖片中的各個(gè)實(shí)體（instance）則沒(méi)有標(biāo)注的監(jiān)督信息额获。例如：當(dāng)我們對(duì)一張肺部 X 光圖片進(jìn)行分類(lèi)時(shí)够庙，我們只知道某張圖片是肺炎患者的肺部圖片，但是并不知道具體圖片中哪個(gè)部位的響應(yīng)說(shuō)明了該圖片的主人患有肺炎抄邀。該問(wèn)題可以被形式化表示為：
學(xué)習(xí)任務(wù)為 f: X -> Y耘眨，其訓(xùn)練集為 D = {(X_1, y_1), …, (X_m, y_m)}，其中 X_i = {x_{I, 1}, …, x_{I, m_i}}, X_i 屬于X境肾，X_i 稱為一個(gè)包剔难，樣本 x_{i, j}屬于X_i（j屬于{1, …, m_i}）。m_i 是 X_i 中的樣本個(gè)數(shù)奥喻，y_i 屬于 Y = {Y, N}偶宫。當(dāng)存在 x_{i, p}是正樣本時(shí)，X_i 就是一個(gè)正包环鲤，其中 p 是未知的且 p 屬于 {1, …, m_i}纯趋。模型的目標(biāo)就是預(yù)測(cè)未知包的標(biāo)簽。
可以有一個(gè)形式化的表示冷离。吵冒。。意思是西剥，每個(gè)樣本是一個(gè)包（“bag”）痹栖，只要包中含有正樣本，label就為1瞭空，否則label為-1揪阿。任務(wù)的目的就是，給定沒(méi)有見(jiàn)過(guò)的包咆畏，來(lái)判斷包中是否有正樣本图甜。
所以又叫做“多實(shí)例學(xué)習(xí)”（multi-instance learning）
（個(gè)人覺(jué)得，多實(shí)例學(xué)習(xí)MIL最多算是細(xì)粒度學(xué)習(xí)的一種特例鳖眼『谝悖“蘋(píng)果”標(biāo)注為“水果”這樣的標(biāo)注，不算是MIL钦讳，但我認(rèn)為也是粗粒度監(jiān)督矿瘦，當(dāng)然劃分到不準(zhǔn)確監(jiān)督也可以枕面。）
（3）不準(zhǔn)確監(jiān)督
有誤的監(jiān)督：給的label包含噪聲，甚至是錯(cuò)誤的label缚去，比如把“行人”標(biāo)注為“汽車(chē)”潮秘。當(dāng)然有時(shí)候是因?yàn)闃颖举|(zhì)量問(wèn)題，沒(méi)法標(biāo)清楚易结。
即給定的標(biāo)簽并不總是真值枕荞。出現(xiàn)這種情況的原因有很多，例如：標(biāo)注人員自身水平有限搞动、標(biāo)注過(guò)程粗心躏精、標(biāo)注難度較大。在標(biāo)簽有噪聲的條件下進(jìn)行學(xué)習(xí)就是一個(gè)典型的不準(zhǔn)確學(xué)習(xí)的情況鹦肿。而最近非常流行的利用眾包模式收集訓(xùn)練數(shù)據(jù)的方式也成為了不準(zhǔn)確監(jiān)督學(xué)習(xí)范式的一個(gè)重要的應(yīng)用場(chǎng)所矗烛。
延伸閱讀
弱監(jiān)督學(xué)習(xí)工具：Snorkel
在斯坦福 AI 實(shí)驗(yàn)室最近發(fā)表的關(guān)于 Snorkel 的論文 （https://arxiv.org/abs/1711.10160）中，他們發(fā)現(xiàn)在各種實(shí)際應(yīng)用中箩溃，這種與現(xiàn)代機(jī)器學(xué)習(xí)模型交互的新方法非常有效瞭吃！其中的一些亮點(diǎn)包括：
在 Mobilize Center 主辦的一場(chǎng)為期兩天的關(guān)于 Snorkel 的工作坊的用戶調(diào)研中，他們比較了教領(lǐng)域?qū)＜覀兪褂?Snorkel 的效率涣旨，以及花同樣的時(shí)間僅僅對(duì)數(shù)據(jù)進(jìn)行手動(dòng)標(biāo)注的效率歪架。同時(shí)，他們還發(fā)現(xiàn)霹陡，使用 Snorkel 構(gòu)建模型在速度不僅快了 2.8 倍和蚪，而且平均的預(yù)測(cè)性能也提高了 45.5%。
在與斯坦福大學(xué)穆律、美國(guó)退伍軍人事務(wù)部和美國(guó)食品和藥物管理局的研究人員合作的兩個(gè)實(shí)際的文本關(guān)系提取任務(wù)，以及其他四個(gè)對(duì)比基準(zhǔn)文本和圖像任務(wù)中导俘，他們發(fā)現(xiàn)峦耘，與作為對(duì)比基準(zhǔn)的技術(shù)相比，Snorkel 的性能平均得到了 132% 的提升旅薄。
他們探索了如何對(duì)用戶提供的標(biāo)記函數(shù)建模的新的權(quán)衡空間辅髓，從而得到了一個(gè)能夠加速迭代開(kāi)發(fā)周期的基于規(guī)則的優(yōu)化器。
下一步：大規(guī)模多任務(wù)弱監(jiān)督學(xué)習(xí)
斯坦福 AI 實(shí)驗(yàn)室正在進(jìn)行各種努力少梁，將 Snorkel 設(shè)計(jì)的弱監(jiān)督交互模型擴(kuò)展到其它的模態(tài)中洛口，如格式豐富的數(shù)據(jù)和圖像、使用自然語(yǔ)言的監(jiān)督任務(wù)以及自動(dòng)生成標(biāo)注函數(shù)凯沪！
在技術(shù)方面第焰，他們對(duì)擴(kuò)展 Snorkel 的核心數(shù)據(jù)編程模型，使其更容易指定具有更高級(jí)別接口（如自然語(yǔ)言）的標(biāo)注函數(shù)妨马，以及結(jié)合其他類(lèi)型的弱監(jiān)督學(xué)習(xí)技術(shù) （如數(shù)據(jù)增強(qiáng)）感興趣挺举。
隨著多任務(wù)學(xué)習(xí)的場(chǎng)景越來(lái)越普遍杀赢，也引發(fā)了這些問(wèn)題：當(dāng)帶噪聲的、可能相關(guān)的標(biāo)注源現(xiàn)在要標(biāo)注多個(gè)相關(guān)任務(wù)時(shí)會(huì)怎么樣（不準(zhǔn)確監(jiān)督）湘纵？能否通過(guò)對(duì)這些任務(wù)的監(jiān)督進(jìn)行聯(lián)合建模來(lái)提升性能脂崔？在一個(gè)新的多任務(wù)感知版本的 Snorkel，即 Snorkel MeTaL（https://arxiv.org/abs/1810.02840） 中解決了這些問(wèn)題梧喷，哪個(gè)又能夠支持為一個(gè)或多個(gè)相關(guān)任務(wù)提供帶噪聲標(biāo)簽的多任務(wù)弱監(jiān)督源砌左？
他們考慮的一個(gè)例子，是關(guān)于不同粒度的標(biāo)簽源的設(shè)置（不確切監(jiān)督）铺敌。例如汇歹，假設(shè)他們打算訓(xùn)練一個(gè)細(xì)粒度的命名實(shí)體識(shí)別模型來(lái)標(biāo)記特定類(lèi)型的人和位置，同時(shí)已經(jīng)擁有一些細(xì)粒度的帶噪聲的標(biāo)簽适刀，例如標(biāo)記「律師」與「醫(yī)生」秤朗，或者是「銀行」與「醫(yī)院」；而有些是粗粒度的笔喉，例如標(biāo)記「人」與「位置」取视。通過(guò)將這些源表示為標(biāo)記不同的與層次相關(guān)的任務(wù)，他們可以聯(lián)合建模它們的準(zhǔn)確性常挚，并重新加權(quán)和組合它們的多任務(wù)標(biāo)簽作谭，從而創(chuàng)建數(shù)據(jù)更加干凈、融合了各種智能的多任務(wù)訓(xùn)練數(shù)據(jù)奄毡，從而提高最終多任務(wù)學(xué)習(xí)模型的性能折欠。
多監(jiān)督學(xué)習(xí)的最新進(jìn)展
Rabinovich 等人（https://arxiv.org/pdf/1809.01285.pdf）設(shè)計(jì)了一種弱監(jiān)督方法，用于在完全沒(méi)有標(biāo)記數(shù)據(jù)的情況下吼过，推斷詞語(yǔ)的抽象性锐秦。他們只利用最少的語(yǔ)言線索和文本數(shù)據(jù)中顯示的概念的上下文用法，訓(xùn)練足夠強(qiáng)大的分類(lèi)器盗忱，獲得與人類(lèi)標(biāo)簽的高度相關(guān)性酱床。
Wu 等人（https://arxiv.org/abs/1805.02333）在 ACL 2018 上針對(duì)開(kāi)放環(huán)境下的人機(jī)對(duì)話任務(wù)開(kāi)發(fā)了一種利用未標(biāo)注數(shù)據(jù)學(xué)習(xí)選擇基于檢索的聊天機(jī)器人的響應(yīng)的匹配模型的方法。該方法采用序列-均衡結(jié)構(gòu)(Seq2Seq)模型作為弱標(biāo)注器來(lái)判斷未標(biāo)注對(duì)的匹配程度趟佃，然后對(duì)弱信號(hào)和未標(biāo)注數(shù)據(jù)進(jìn)行學(xué)習(xí)扇谣。
Arachie 等人（https://arxiv.org/abs/1805.08877）在 AAAI 2019 上針對(duì)無(wú)標(biāo)簽分類(lèi)器的訓(xùn)練任務(wù)提出了一種弱監(jiān)督的方法——對(duì)抗性標(biāo)簽學(xué)習(xí)，該方法利用投影的「primal-dual」梯度下降法最小化分類(lèi)器錯(cuò)誤率的上限闲昭。最小化這個(gè)界限可以防止在弱監(jiān)督方法中出現(xiàn)偏差和依賴罐寨。
Vardazaryan 等人（https://arxiv.org/pdf/1806.05573.pdf）針對(duì)手術(shù)工具定位任務(wù)，提出了圖像級(jí)別的標(biāo)注任務(wù)的訓(xùn)練模式序矩，可以用于在沒(méi)有顯式空間標(biāo)注的情況下鸯绿，檢測(cè)出視頻中存在的手術(shù)工具病在視頻中定位。
在 CVPR 2019 上，Zeng 等人（https://arxiv.org/pdf/1904.00566.pdf）針對(duì)像素級(jí)圖像標(biāo)注問(wèn)題楞慈，提出了一種多源弱監(jiān)督視覺(jué)顯著性檢測(cè)模型幔烛，他們?cè)O(shè)計(jì)了一個(gè)分類(lèi)網(wǎng)絡(luò)（CNet）和一個(gè)標(biāo)題生成網(wǎng)絡(luò)（PNet），分別學(xué)習(xí)預(yù)測(cè)對(duì)象以及生成圖像標(biāo)題囊蓝。同時(shí)饿悬，他們還設(shè)計(jì)了一種能夠在網(wǎng)絡(luò)之間傳播監(jiān)督信號(hào)的注意力遷移損失，從而使通過(guò)一個(gè)監(jiān)督源訓(xùn)練的網(wǎng)絡(luò)能夠幫助訓(xùn)練使用另一個(gè)監(jiān)督源訓(xùn)練的網(wǎng)絡(luò)聚霜。
Mithun 等人（https://arxiv.org/pdf/1904.03282.pdf）針對(duì)通過(guò)文本查詢實(shí)現(xiàn)的視頻瞬間檢索問(wèn)題狡恬，設(shè)計(jì)了一種基于文本引導(dǎo)的注意力機(jī)制（TGA）的弱監(jiān)督學(xué)習(xí)框架，解決了對(duì)于每段文本描述相應(yīng)的視頻時(shí)間邊界進(jìn)行標(biāo)注的開(kāi)銷(xiāo)過(guò)高的問(wèn)題蝎宇。
- 弱監(jiān)督學(xué)習(xí)和小目標(biāo)檢測(cè)
https://weiyc.github.io/assets/pdf/VALSE-2019-Tutorial-YCWEI.pdf
http://valser.org/article-212-1.html
