簡(jiǎn)介
- 作者：Noah旭旭，Basecamp數(shù)據(jù)分析師，文章涉及商業(yè)智能玉转、 A/B測(cè)試等領(lǐng)域
- 時(shí)間：2015年3月6日
- 原文：Reproducible research isn't just for academia
- 翻譯：梅晨斐芍耘，校驗(yàn)：曾樑
摘要
我在Basecamp的同事發(fā)現(xiàn)了一個(gè)特別能激怒我的方法。需要做的很簡(jiǎn)單队寇，隨便在Campfire上發(fā)布一條一眼看上去就很難被相信的消息。例如：全美排名前10的酒鬼平均每人每天要喝掉10瓶酒章姓。
擁有漂亮數(shù)據(jù)可視化形態(tài)的信息越來(lái)越受到歡迎佳遣，即使里面具體的數(shù)據(jù)沒有明確的來(lái)源和具體的方法論說(shuō)明。自從我開始進(jìn)行人口統(tǒng)計(jì)數(shù)據(jù)的研究開始凡伊，關(guān)于人口統(tǒng)計(jì)數(shù)據(jù)調(diào)查方面的數(shù)據(jù)來(lái)源就變得非常難以獲取和相信零渐。
這個(gè)領(lǐng)域非常好玩，但是也存在著非常多的實(shí)際問(wèn)題系忙。許多的數(shù)據(jù)诵盼，根本沒有經(jīng)過(guò)嚴(yán)格地推敲，就被寫入了新聞數(shù)據(jù)報(bào)道當(dāng)中。當(dāng)然這個(gè)行業(yè)中也有一些公司在數(shù)據(jù)準(zhǔn)確性方面做的非常好风宁，例如FiveThirtyEight發(fā)布的數(shù)據(jù)就事先經(jīng)過(guò)嚴(yán)格的審核洁墙，而且數(shù)據(jù)公開透明。但是整個(gè)行業(yè)的審核水平非常低戒财。在沒有任何方法論的條件下热监，采用假冒的數(shù)據(jù)生成漂亮的可視化圖表并且發(fā)布出來(lái)，整個(gè)流程變得越來(lái)越容易饮寞。而且似乎沒有人質(zhì)疑這些數(shù)據(jù)是否是準(zhǔn)確的孝扛。
很多年前在學(xué)術(shù)界，關(guān)于數(shù)據(jù)準(zhǔn)確性就已經(jīng)有了非常多的爭(zhēng)論幽崩。**核心點(diǎn)在于：“研究數(shù)據(jù)的可靠性疗琉，需要能夠被重復(fù)體現(xiàn)和驗(yàn)證∏嘎粒“ **自從1665年開始，人們?cè)诎l(fā)布一些數(shù)據(jù)和文章之前凑耻，就開始引入同行評(píng)審的概念太示。但是同行評(píng)審仍然沒有完全解決行業(yè)存在的問(wèn)題。現(xiàn)在香浩，人們?nèi)匀辉谥饾u尋求一些改進(jìn)：訓(xùn)練數(shù)據(jù)类缤，保險(xiǎn)數(shù)據(jù)被逐漸引入。
在一些公開發(fā)表的文章和數(shù)據(jù)中找到錯(cuò)誤邻吭，并不是一件很難的事情餐弱。真正困難的是，即使是身處這個(gè)行業(yè)的我們囱晴，有時(shí)也難免會(huì)同流合污膏蚓。大部分私營(yíng)企業(yè)內(nèi)部的數(shù)據(jù)分析師，是從不進(jìn)行同行評(píng)審的畸写。他們發(fā)布的數(shù)據(jù)也沒有足夠多的用戶驮瞧，去替他們進(jìn)行數(shù)據(jù)和方法論的檢查。
我自己在進(jìn)行數(shù)據(jù)分析的時(shí)候枯芬，也不能夠完全做到數(shù)據(jù)和方法論完全的透明论笔。
我在不斷努力保證數(shù)據(jù)的可信度，特別是針對(duì)在Basecamp內(nèi)部分享的內(nèi)容千所。我在整個(gè)研究準(zhǔn)備和發(fā)布的過(guò)程中狂魔，盡量保證數(shù)據(jù)和方法論的公開和透明。并且在引用一些數(shù)據(jù)的時(shí)候淫痰，盡量保證經(jīng)過(guò)同行評(píng)審最楷。雖然我的同事都非常相信我做出的結(jié)果和數(shù)據(jù)，但是我要做的是保證產(chǎn)出數(shù)據(jù)的準(zhǔn)確性，從而保證準(zhǔn)確的數(shù)據(jù)能夠?qū)ξ覀儺a(chǎn)品的決策產(chǎn)生影響管嬉。做一個(gè)好的數(shù)據(jù)分析師皂林，就是要保持透明和可被重復(fù)驗(yàn)證。
當(dāng)然蚯撩，要做到透明和可被重復(fù)驗(yàn)證是非常辛苦的一條道路础倍。但是我確信這是一條正確的道路，不管是對(duì)數(shù)據(jù)分析師本身胎挎，還是對(duì)消費(fèi)數(shù)據(jù)的用戶而言沟启。
