調(diào)查報告:從數(shù)據(jù)到情報,從意識到方法

美劇《疑犯追蹤》

We are being watched.

我們被監(jiān)視著

The government has a secret system,?

政府有一套秘密系統(tǒng)相嵌,

a machine that spies on you every hour of every day.

一臺每時每刻都在監(jiān)控你的機器怨酝。

I designed the machine to detect acts of terror,

我設(shè)計這臺機器是為了偵測恐怖活動穗熬,

But it sees everything.

但它卻看到了一切祭务。

Violent crimes involving ordinary people,?

牽涉普通人的暴力罪行内狗,

the government considered these people irrelevant.?

政府認(rèn)為這些人無關(guān)緊要。

We don't.

而我們不义锥。

Hunted by authorities, we work in secret.?

受當(dāng)局追捕,我們只能秘密活動岩灭。

You' ll never find us.

你永遠(yuǎn)找不到我們拌倍。

But victim or perpetrator,?

但無論是受害人還是行兇者,

if your numbers up, we'll find you.

只要你的號碼被列出來,我們將找到你柱恤。

2011年9月22日数初,一部名為《疑犯追蹤》的美劇開播。這部劇講述了一位推定死亡的前CIA特工與一位神秘的億萬富翁聯(lián)合起來梗顺,運用一套獨特的辦法制止犯罪的故事泡孩。

而文章開頭被引用的一段牛哄哄的臺詞就是這部劇,除開第一集外寺谤,每集的開場白仑鸥。一文一武的兩位主角不斷地上演著拯救普通人,為自身過往贖罪的故事变屁。

“機器”(the machine)是這部劇的獨特賣點眼俊。它擁有從社會里每一個攝像頭和互聯(lián)網(wǎng)上收集信息的能力,通過分析這些信息的關(guān)聯(lián)粟关,預(yù)測每個可能犯罪或可能受害的人疮胖。“機器”會把這個人的社保號碼發(fā)給主角闷板,然后故事展開澎灸,主角們據(jù)此開始行動。

在劇中“機器”的預(yù)測十分準(zhǔn)確遮晚,非常智能击孩。其實在現(xiàn)實中,這樣的事正發(fā)生著鹏漆。

全球領(lǐng)先的大數(shù)據(jù)公司

Palantir巩梢,一家創(chuàng)建于2004年估值達(dá)200億美金的未上市公司,在全球未上市科技公司中排名第四艺玲,僅次于Uber括蝠、小米、Airbnb饭聚。作為一家大數(shù)據(jù)分析領(lǐng)域的公司忌警,它最大的功績是通過數(shù)據(jù)發(fā)現(xiàn)隱藏的秘密,幫助了奧巴馬政府追捕本·拉登的行動秒梳。反恐機構(gòu)基本上都是Palantir的客戶法绵,例如美國中央情報局(CIA)、國防情報局(DIA)酪碘、聯(lián)邦調(diào)查局朋譬、軍隊、大城市警察兴垦。

會不會感覺很熟悉徙赢。就像上文《疑犯追蹤》開場白描述的那樣字柠,“政府有一套秘密系統(tǒng),一臺每時每刻都在監(jiān)視你的機器狡赐,設(shè)計這臺機器是為了偵測恐怖活動窑业。”

看起來很恐怖枕屉,再一想到“棱鏡門”……這個話題不適合繼續(xù)想下去了常柄。

把這些撇開到一邊,這里想說的是一直都是熱門的技術(shù)——大數(shù)據(jù)搀擂。



大數(shù)據(jù)的奇妙本質(zhì)


大數(shù)據(jù)是個很寬泛的概念西潘,在技術(shù)層面,包括人工智能哥倔,機器學(xué)習(xí)秸架,統(tǒng)計學(xué)習(xí)原理,自然語言處理咆蒿,神經(jīng)網(wǎng)絡(luò)东抹,模式識別,數(shù)據(jù)挖掘沃测,數(shù)據(jù)處理缭黔,數(shù)據(jù)庫,云存儲……拋開讓人發(fā)暈的技術(shù)層面蒂破,僅從思維層面來了解了解大數(shù)據(jù)馏谨。

現(xiàn)代人的成就得益于“機械思維”的形成:

機械思維的形成可以追溯至古希臘。歐洲之所以能夠在科學(xué)上領(lǐng)先于世界其他地方附迷,在很大程度上是依靠從古希臘建立起來的思辨的思想和邏輯推理能力惧互,依靠它們可以從實踐中總結(jié)出最基本的公理,然后通過因果邏輯構(gòu)建起整個科學(xué)大廈喇伯。

機械思維的特點是所有理論都是建立在確定性基礎(chǔ)上——基于一種假設(shè)喊儡,利用邏輯推理,推導(dǎo)出整套理論稻据。

然而到了信息時代艾猜,機械思維的局限也越來越明顯:

1、并非所有規(guī)律都可以用簡單的原理描述

2捻悯、繼續(xù)找因果關(guān)系變得很困難匆赃,因為簡單的因果關(guān)系都已被發(fā)現(xiàn)了

3、隨著人類認(rèn)識的發(fā)展今缚,人們發(fā)現(xiàn)世界本身存在著很大不確定性

“不確定性”來自兩個方面:

1算柳、當(dāng)我們對這個世界的方方面面了解得越來越細(xì)致之后,會發(fā)現(xiàn)影響世界的變量其實非常多荚斯,已經(jīng)無法通過簡單的辦法或者公式算出結(jié)果

2埠居、客觀世界本身的特性就是不確定性查牌。一個原子內(nèi)電子的運轉(zhuǎn)軌跡無法準(zhǔn)確測量事期。原因是我們測料活動本身影響了被測量的結(jié)果滥壕。對股市上的操作也類似,當(dāng)有人按照某個理論買或者賣股票時兽泣,其實給股票帶來了一個相反的推動力绎橘,這導(dǎo)致股市在微觀上的走向和理論預(yù)測的方向相反。

面對難以用公式或者規(guī)則來表示的情況唠倦,概率論被用來描述這些不確定性称鳞。在概率論的基礎(chǔ)上,香農(nóng)博士建立起一套完整的理論稠鼻,將世界的不確定性和信息聯(lián)系了起來冈止,這就是信息論

信息論構(gòu)建了現(xiàn)代信息社會候齿。它第一次量化地度量信息熙暴,并且用數(shù)學(xué)的方法將通信的原理解釋地一清二楚。

今天慌盯,信息論已經(jīng)被廣泛地用于管理周霉,因為它為我們提供了信息時代的方法論。而在信息論的指導(dǎo)下亚皂,大數(shù)據(jù)的本質(zhì)也能夠被看清了:

1俱箱、首先承認(rèn)世界的不確定性,這樣我們就不會采用確定性的思維方式去面對一個不確定性的世界灭必。

2狞谱、巨大數(shù)據(jù)量、多維度禁漓、完備性跟衅,這三點大數(shù)據(jù)的特征達(dá)成后,就可以利用信息消除不確定性璃饱。也就是說与斤,人類雖使用信息由來已久,但到了大數(shù)據(jù)時代荚恶,量變帶來質(zhì)變撩穿,采用信息論的思維方式可以讓過去很多難題迎刃而解了。



信息與情報


大數(shù)據(jù)看起來這么神奇谒撼,達(dá)到了人類思維革新的高度食寡。但轉(zhuǎn)到“人”這個視角,也就是從我們自身來看廓潜,大數(shù)據(jù)也好抵皱,機器思維也罷善榛,根本的目的都是為了能獲得能處理信息的能力。

回到美劇《疑犯追蹤》呻畸,這部電視劇的核心賣點就是“利用大數(shù)據(jù)提供情報”移盆。由于這個因素的存在,使得犯罪題材里“主角所到之處永不安寧”的現(xiàn)象顯得合理了一些……芬奇伤为,主角之一咒循,利用現(xiàn)代信息技術(shù),包括各種黑客手段绞愚,使得他們應(yīng)對各種情況都如魚得水叙甸。

如果說獲得盡可能多的信息、情報是我們的渴望的話位衩,即使在沒有大數(shù)據(jù)的幫助下裆蒸,人類還是能想盡辦法獲得信息,獲得情報糖驴。在經(jīng)濟商業(yè)領(lǐng)域僚祷,競爭情報已經(jīng)成為國家戰(zhàn)略的一部分,最突出的一個特征就是:各國情報部門也越來越多的滲透到經(jīng)濟領(lǐng)域遂赠。

美國中央情報局有87%的活動都投入到了經(jīng)濟領(lǐng)域

俄羅斯克格勃的這一數(shù)字為75%以上

日本和韓國更是達(dá)到了90%以上

日本可以說是商業(yè)情報做得最早的國家久妆,和韓國一樣,他們都是情報立國的國家

95%的情報可以通過公開信息獲得

戰(zhàn)后的日本跷睦,90%的情報活動直接用于振興經(jīng)濟筷弦。其著名的情報公司有三菱商社,三井地產(chǎn)抑诸,伊藤忠商社烂琴,丸紅,住友商社蜕乡,日商巖井奸绷,東棉,兼松江商和日棉地產(chǎn)层玲。他們在世界187個城市設(shè)有800多家分支機構(gòu)号醉。

其中三菱商社在全球有200多個辦公室,員工13000多人辛块,每天搜集商業(yè)和競爭信息30000多條畔派,在中國有21個辦事處,員工430多人润绵。它每年大約花6000萬美元线椰,在全球收集商業(yè)情報,對一張報紙尘盼,一本雜志憨愉,一幅廣告都要研究透烦绳。(注:這些數(shù)據(jù)不是最新數(shù)據(jù))

三菱商社的這些辦事處:

大約5-60秒,即可獲得世界各地金融市場信息

1-3分鐘即可查詢?nèi)毡九c世界各地進(jìn)出口貿(mào)易情況

3-5分鐘配紫,可查出國內(nèi)外一萬多個重點公司的各年度年產(chǎn)情況

5-10分鐘径密,便可查出各國政府的各種法律,法令和國會記錄



商業(yè)世界與個體


從對信息的處理方式笨蚁,再到把信息整理成有用的情報睹晒,這個過程不只是一個組織需要的做的事趟庄,對于我們每個獨立的個體也是必要的括细。在個體的商業(yè)活動中,除了資源競爭和思維模式競爭之外戚啥,很重要的一點就是信息情報競爭了奋单。

信息情報除了可以直接獲得外,還可以通過一些分析研究方法間接獲得猫十。對于個體來說览濒,“大數(shù)據(jù)”這個概念太遙遠(yuǎn)。從現(xiàn)實角度出發(fā)拖云,我們真正需要并且能掌握的是“調(diào)查能力”和“分析能力”贷笛。

1、調(diào)查能力

首先宙项,需要與事實為友乏苦。這是進(jìn)行調(diào)查的一個重要前提,因為收集信息的首要目的是為了反映真實尤筐,而我們很容易犯的一個錯誤卻是用自己的直覺代替事實汇荐。事實可以彌補直覺的缺陷,同時也可以提高調(diào)查的可信度盆繁。

其次掀淘,勤于實地調(diào)查。而實地調(diào)查有兩個主要的方法:觀察和訪談油昂。這里貼一篇關(guān)于訪談的文章:向記者學(xué)方法革娄,做好用戶調(diào)研交流

最后,具備編程能力冕碟。網(wǎng)絡(luò)已經(jīng)成為獲取信息的重要窗口拦惋,而編程的學(xué)習(xí)并不是“難于上青天”。恰恰相反鸣哀,編程是一門技能架忌,就如學(xué)吉他,學(xué)英語一樣我衬,需要的是肯下功夫?qū)W習(xí)叹放。程序的目的是為了提升效率饰恕,解決某些如果用人工來做成本會很高的事情。而在信息收集方面井仰,某些程序語言可以提供比起人工來說高出幾倍的效率埋嵌。關(guān)于這一點有一篇不錯的文章:為什么說編程和英語是每個人都必須掌握的技能?

2俱恶、分析能力

首先雹嗦,進(jìn)行初始假設(shè)。面對一個問題合是,特別是一個復(fù)雜問題的時候了罪,如果一上來就找一大堆資料,消耗了大量時間在研究這些材料上面聪全,可到頭來發(fā)現(xiàn)解決問題的關(guān)鍵因素與已經(jīng)研究的大部分材料都沒有關(guān)系泊藕,顯然這是很差勁,沒有效率的方法难礼。正確的方式應(yīng)該是先對問題的解決方式做出一些假設(shè)娃圆,然后尋找對應(yīng)的資料驗證。這也是科學(xué)領(lǐng)域常用的方法蛾茉,貼一個關(guān)于科學(xué)實驗方法的介紹文章:《弄明白你學(xué)到了什么》短文翻譯2016-8-26 - 簡書

其次讼呢,做到與知識為友。掌握相應(yīng)所需要領(lǐng)域的知識是提高“初始假設(shè)”準(zhǔn)確率的關(guān)鍵谦炬。在商業(yè)方面悦屏,有一本非常非常非常好的教材,名字叫《認(rèn)識商業(yè)》吧寺,封面如下圖:

再次窜管,擁有邏輯思考能力。比如歸納稚机,演繹幕帆。值得注意的是:重點不只是知道這些,而是多練習(xí)邏輯思考赖条,把它變成我們思考問題時的本能失乾。參考文章:金字塔原理簡述及其案例

最后,培養(yǎng)數(shù)據(jù)分析思維纬乍〖钭拢可以先了解基礎(chǔ)卻又強大的三種數(shù)據(jù)分析方法:比較、構(gòu)成和變化仿贬。

關(guān)于這三點的介紹文章:分析是個基本功纽竣,掌握三種就夠了

有了分析方法的同時,也要相應(yīng)地培養(yǎng)數(shù)據(jù)收集意識。并且如果對收據(jù)分析有興趣蜓氨,還應(yīng)該進(jìn)階接觸統(tǒng)計學(xué)聋袋。還是那個原則:沒有什么是不可以學(xué)的。



結(jié)語


其實這么多的方法穴吹,建議幽勒,行動指南的目的都是為了獲得洞察力(Insight),形成所謂的洞見港令,獲得獨立思考的能力啥容。

最后的最后,再貼兩篇關(guān)于洞察力的文章:

洞見是如何產(chǎn)生的顷霹?

【李叫獸】如何識別故作高深的空話

(如果你覺得這篇文章對你有用咪惠,請點一下“喜歡”,一定要點一下F梅怠)

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末硝逢,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子绅喉,更是在濱河造成了極大的恐慌,老刑警劉巖叫乌,帶你破解...
    沈念sama閱讀 216,692評論 6 501
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件柴罐,死亡現(xiàn)場離奇詭異,居然都是意外死亡憨奸,警方通過查閱死者的電腦和手機革屠,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,482評論 3 392
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來排宰,“玉大人似芝,你說我怎么就攤上這事“甯剩” “怎么了党瓮?”我有些...
    開封第一講書人閱讀 162,995評論 0 353
  • 文/不壞的土叔 我叫張陵,是天一觀的道長盐类。 經(jīng)常有香客問我寞奸,道長,這世上最難降的妖魔是什么在跳? 我笑而不...
    開封第一講書人閱讀 58,223評論 1 292
  • 正文 為了忘掉前任枪萄,我火速辦了婚禮,結(jié)果婚禮上猫妙,老公的妹妹穿的比我還像新娘瓷翻。我一直安慰自己,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 67,245評論 6 388
  • 文/花漫 我一把揭開白布齐帚。 她就那樣靜靜地躺著元践,像睡著了一般。 火紅的嫁衣襯著肌膚如雪童谒。 梳的紋絲不亂的頭發(fā)上单旁,一...
    開封第一講書人閱讀 51,208評論 1 299
  • 那天,我揣著相機與錄音饥伊,去河邊找鬼象浑。 笑死,一個胖子當(dāng)著我的面吹牛琅豆,可吹牛的內(nèi)容都是我干的愉豺。 我是一名探鬼主播,決...
    沈念sama閱讀 40,091評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼茫因,長吁一口氣:“原來是場噩夢啊……” “哼蚪拦!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起冻押,我...
    開封第一講書人閱讀 38,929評論 0 274
  • 序言:老撾萬榮一對情侶失蹤驰贷,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后洛巢,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體括袒,經(jīng)...
    沈念sama閱讀 45,346評論 1 311
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,570評論 2 333
  • 正文 我和宋清朗相戀三年稿茉,在試婚紗的時候發(fā)現(xiàn)自己被綠了锹锰。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 39,739評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡漓库,死狀恐怖恃慧,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情渺蒿,我是刑警寧澤痢士,帶...
    沈念sama閱讀 35,437評論 5 344
  • 正文 年R本政府宣布,位于F島的核電站蘸嘶,受9級特大地震影響良瞧,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜训唱,卻給世界環(huán)境...
    茶點故事閱讀 41,037評論 3 326
  • 文/蒙蒙 一褥蚯、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧况增,春花似錦赞庶、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,677評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽澜薄。三九已至,卻和暖如春摊册,著一層夾襖步出監(jiān)牢的瞬間肤京,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,833評論 1 269
  • 我被黑心中介騙來泰國打工茅特, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留忘分,地道東北人。 一個月前我還...
    沈念sama閱讀 47,760評論 2 369
  • 正文 我出身青樓白修,卻偏偏與公主長得像妒峦,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子兵睛,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,647評論 2 354

推薦閱讀更多精彩內(nèi)容