文章題目：眾包質(zhì)量控制算法及評(píng)價(jià)框架研究
作者：唐思
論文類型：浙江大學(xué)碩士學(xué)位論文
專業(yè)：計(jì)算機(jī)應(yīng)用技術(shù)
所在學(xué)院：計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院
文章主要內(nèi)容
1、針對(duì)平臺(tái)的工作者們可能缺乏必要的專業(yè)知識(shí)、存在偏見或者被惡意因素所驅(qū)使而造成低質(zhì)量甚至完全錯(cuò)誤的眾包結(jié)果這一現(xiàn)象暖侨，本文提出一種兩階段基于工作者過濾和期望最大化的質(zhì)量控制算法。
2支竹、由于現(xiàn)今的研究缺乏統(tǒng)一的評(píng)價(jià)標(biāo)準(zhǔn)和評(píng)價(jià)指標(biāo)，本文提出了眾包質(zhì)量控制算法的通用評(píng)價(jià)框架鸠按，并提出了任務(wù)分配礼搁、惡意工作者比例、答案位置分布等多種評(píng)價(jià)因素目尖。
3馒吴、在該評(píng)價(jià)框架下實(shí)現(xiàn)了基于工作者過濾和期望最大化的質(zhì)量控制算法以及幾種現(xiàn)有的對(duì)比算法，并通過大規(guī)模模擬和在線實(shí)驗(yàn)卑雁，驗(yàn)證了本文提出的算法的有效性和魯棒性募书，同時(shí)還通過對(duì)比實(shí)驗(yàn)指出了其他算法存在的問題绪囱。
學(xué)習(xí)點(diǎn)
此次主要學(xué)習(xí)該論文的實(shí)驗(yàn)設(shè)計(jì)和實(shí)驗(yàn)結(jié)果分析部分测蹲。
實(shí)驗(yàn)設(shè)計(jì)
算法和評(píng)價(jià)系統(tǒng)的實(shí)現(xiàn)是在Java環(huán)境下運(yùn)行的，開發(fā)環(huán)境的操作系統(tǒng)為Windows 8鬼吵，64位扣甲。主要使用的軟件工具有:Eclipse, Tomcat, Mysql。開發(fā)的硬件環(huán)境齿椅，CPU為Intel Core i3雙核3.1 QGhz琉挖，內(nèi)存為4GB DDR3。運(yùn)行和比較算法效果的實(shí)驗(yàn)環(huán)境為具有4個(gè)Intel E7420 2.13 Ghz涣脚，16核示辈，64GB內(nèi)存的Debian服務(wù)器上。
實(shí)驗(yàn)中所用的數(shù)據(jù)集均來自于維基百科和IMDB的數(shù)據(jù)遣蚀，并經(jīng)過人工核實(shí)后用于生成題目矾麻。實(shí)際發(fā)布在AMT平臺(tái)上的題目如下圖所示。
實(shí)驗(yàn)結(jié)果分析
隨機(jī)選取了多次不同任務(wù)的在線實(shí)驗(yàn)的數(shù)據(jù)芭梯，并對(duì)其中的應(yīng)答時(shí)間進(jìn)行了統(tǒng)計(jì)分析险耀。
由該表數(shù)據(jù)，我們可以得到結(jié)論玖喘，F(xiàn)ilter和ExpFilter兩種算法都改進(jìn)了傳統(tǒng)EM算法甩牺，同時(shí)其效果在大部分情況下都超過了傳統(tǒng)的EM算法。除此之外累奈，存在隱式反饋的Filter算法的確要ExpFilter算法效果要好贬派，這證明了隱式反饋對(duì)于工作者過濾確實(shí)是有效可行的急但。
下圖展示了在模擬實(shí)驗(yàn)的雙標(biāo)簽任務(wù)中，幾乎所有算法的效果都隨著冗余工作者數(shù)目的增多而變好赠群。
如下圖所示羊始，我們可以發(fā)現(xiàn)隨著冗余的增多，算法對(duì)于工作者的估計(jì)越來越準(zhǔn)確查描，這使得聚合答案的準(zhǔn)確率逐漸升高突委。
綜上所述，我們可以得到結(jié)論冬三，冗余答案越多匀油，算法對(duì)于用戶質(zhì)量估計(jì)以及聚合答案的估計(jì)越準(zhǔn)確。
我們還發(fā)現(xiàn)勾笆，在線實(shí)驗(yàn)中敌蚜，當(dāng)我們?cè)黾尤哂喙ぷ髡邤?shù)目時(shí)（例如在下圖中從7增加到9），算法的準(zhǔn)確率并不一定提升窝爪。這是因?yàn)檎鎸?shí)數(shù)據(jù)中用戶質(zhì)量是變化的弛车，因此更多的冗余答案不一定保證更高的準(zhǔn)確率。
總體來說蒲每，惡意用戶率較高纷跛，幾乎所有算法準(zhǔn)確率都受到了影響。其中ELICE和多數(shù)表決算法下降的比其他算法要快邀杏，而我們提出的Filter受到影響較小贫奠，CDAS和EM算法其次。如下圖所示望蜡。
總結(jié)
主要學(xué)習(xí)本文的實(shí)驗(yàn)設(shè)計(jì)部分唤崭，包括數(shù)據(jù)集的采集、題目的設(shè)計(jì)脖律、任務(wù)的分配以及實(shí)驗(yàn)結(jié)果的分析谢肾，為自己設(shè)計(jì)實(shí)驗(yàn)方案提供一些參考。
