1.數(shù)據(jù)科學(xué)是神馬悠垛？

? ? ? 從事數(shù)據(jù)科學(xué)研究的學(xué)者試圖把數(shù)據(jù)當(dāng)成一-個(gè)“自然體 (data nature) ”來研究，提出所謂“數(shù)據(jù)界 (data universe) ”的概念(復(fù)旦大學(xué))纤壁。但脫離各個(gè)領(lǐng)域的“物理世界”，作為客觀事物間接存在形式的“數(shù)據(jù)界”究竟有什么共性問題還不清楚。

? ? ? 有學(xué)者認(rèn)為數(shù)據(jù)科學(xué)是介于哲學(xué)與自然科學(xué)之間的超自然科學(xué)? (澳門大學(xué)趙偉)。

? ? ? 提煉“數(shù)據(jù)界”的共性科學(xué)問題還需要一段時(shí)間的實(shí)踐積累帽驯。至少未來5- 10年內(nèi)需要多花精力解決大數(shù)據(jù)帶來的技術(shù)挑戰(zhàn)問題。通過分層次的不斷抽象书闸，大數(shù)據(jù)的共性科學(xué)問題才會(huì)逐步清晰明朗尼变。先做白盒研究再做黑盒研究。

? ? ? 數(shù)據(jù)科學(xué)是數(shù)學(xué)(統(tǒng)計(jì)浆劲、代數(shù)嫌术、拓?fù)涞?、計(jì)算機(jī)科學(xué)梳侨、基礎(chǔ)科學(xué)和各種應(yīng)用科學(xué)融合的科學(xué)蛉威，類似錢學(xué)森先生提出的“大成智慧學(xué)”∽卟福“必集大成，才能得智慧”哲虾。

2.大數(shù)據(jù)對(duì)計(jì)算機(jī)科學(xué)的挑戰(zhàn)

計(jì)算機(jī)科學(xué)是關(guān)于算法的科學(xué)

圖靈計(jì)算是把計(jì)算看成輸入變成輸出的“函數(shù)”G= F(x)-計(jì)算機(jī)科學(xué)主要研究“函數(shù)"F丙躏， 即算法。算法研究不關(guān)心輸入X ,假設(shè)輸入是隨意的束凑。實(shí)際上輸入的數(shù)據(jù)本身是值得研究的對(duì)象晒旅，不是隨意的。

大數(shù)據(jù)興起導(dǎo)致計(jì)算機(jī)科學(xué)的重點(diǎn)向數(shù)據(jù)科學(xué)轉(zhuǎn)移

Computer Science = Science of algorithm + Science of data

小數(shù)據(jù)條件下好的算法在大數(shù)據(jù)條件下不再是好算法

1PB的數(shù)據(jù)線性掃描一次需要1.9天(硬盤速度6Gbps) （百度每天需要處理的數(shù)據(jù)達(dá)幾個(gè)P）

也有些很困難的問題汪诉，數(shù)據(jù)多了就變得更容易解決了废恋，如機(jī)器翻譯，自然語言問答(IBM的Watson 問答系統(tǒng))

3.大數(shù)據(jù)對(duì)傳統(tǒng)計(jì)算機(jī)視覺(CV）和機(jī)器學(xué)習(xí)(ML) 的沖擊

計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)是人工智能最活躍的研究領(lǐng)域扒寄，但多年來學(xué)習(xí)的樣本和測(cè)試的樣本度不夠大鱼鼓。

Princeton大學(xué) 的李凱教授采用在線外包的辦法，一年之內(nèi)完成了2.1萬種分類该编、包含約2000萬幅圖像 ( 每類700-1000幅) 的ontology圖像庫 (ImageNet) , (基于Wordnet分類迄本，目前只有名詞)。

采用 lmageNet 測(cè)試現(xiàn)有的各種圖像識(shí)別分類算法课竣，絕大多數(shù)算法都失靈嘉赎，說明在小的ontology下開發(fā)的圖像識(shí)別算法沒有實(shí)際意義!

但Deeplearning 算法的正確識(shí)別率明顯高于其他算法，所以深度學(xué)習(xí)成為目前機(jī)器學(xué)習(xí)的主要研究方向于樟。

4.大數(shù)據(jù)對(duì)傳統(tǒng)統(tǒng)計(jì)學(xué)的挑戰(zhàn)

大數(shù)據(jù)往往是非獨(dú)立同分布(悉尼科技大學(xué)操云龍)

統(tǒng)計(jì)學(xué)的基本假設(shè)是變量服從獨(dú)立同分布(IID假設(shè))

超高維問題引起經(jīng)典統(tǒng)計(jì)推斷失效公条。( 徐宗本院士)

? ? ? -經(jīng)典統(tǒng)計(jì): n>>p, 高維: p>>n,大數(shù)據(jù)高維度p=o (exp (n))

? ? ? -熱點(diǎn)研究:稀疏建模(盡管變量很多，但是很多都是0)

? ? ? -大數(shù)據(jù)處理和智能處理的核心都是降維迂曲，從n維降到1維靶橱。樣本數(shù)量將隨著維數(shù)的增加而指數(shù)增長就出現(xiàn)維數(shù)災(zāi)難。

? ? ? 分析與事物相關(guān)的所有數(shù)據(jù)，而不是分析少量的樣本數(shù)據(jù)

? ? ? - 2009年谷歌利用相關(guān)詞全部搜索統(tǒng)計(jì)準(zhǔn)確預(yù)報(bào)了HINI流感爆發(fā)

? ? ? - 2013年由于政府發(fā)通告抓韩、谷歌加推薦等原因纠永，使得谷歌的流感預(yù)測(cè)失靈，明顯高估谒拴。-大數(shù)據(jù)與小數(shù)據(jù)結(jié)合(All data,全數(shù)據(jù))尝江，原始數(shù)據(jù)的可信度?

5.網(wǎng)絡(luò)科學(xué)與數(shù)據(jù)科學(xué)

大數(shù)據(jù)往往以復(fù)雜關(guān)聯(lián)的數(shù)據(jù)網(wǎng)絡(luò)形式存在，因此要理解大數(shù)據(jù)就要對(duì)大數(shù)據(jù)后面的網(wǎng)絡(luò)進(jìn)行深入分析英上。

大數(shù)據(jù)面臨的科學(xué)問題本質(zhì).上可能就是網(wǎng)絡(luò)科學(xué)問題炭序，復(fù)雜網(wǎng)絡(luò)分析應(yīng)該是數(shù)據(jù)科學(xué)的重要基石。

而到了21世紀(jì)苍日，網(wǎng)絡(luò)理論正在成為量子力學(xué)的可尊敬的后繼惭聂， 正在構(gòu)建- -個(gè)新的理論和算法的框架。

中科院計(jì)算所的大數(shù)據(jù)團(tuán)主要從事網(wǎng)絡(luò)大數(shù)據(jù)的研究相恃，研究方向包括分布式海量數(shù)據(jù)處理的核心引擎辜纲、計(jì)算模型和國家級(jí)測(cè)試床，網(wǎng)絡(luò)輿情系統(tǒng)拦耐、社會(huì)化搜索引擎耕腾、數(shù)據(jù)密集型網(wǎng)絡(luò)服務(wù)等，我的學(xué)生的研究方向包括社會(huì)網(wǎng)絡(luò)的影響力研究杀糯、推薦系統(tǒng)等扫俺。

6.需要發(fā)現(xiàn)新的門捷列夫周期

門捷列夫周期表為化學(xué)成為一門科學(xué)奠定了基礎(chǔ)。現(xiàn)在生物領(lǐng)域有基因組學(xué)固翰，材料狼纬、化學(xué)、制藥骂际、生理疗琉、病理、干細(xì)胞領(lǐng)域都在研究“基因組”方援，也有人在討論人類語言的“基因組”没炒。這些基因組都是構(gòu)成整體的基本元素。

發(fā)現(xiàn)這些“基因組”都需要采用計(jì)算機(jī)對(duì)海量的數(shù)據(jù)進(jìn)行分析犯戏，導(dǎo)致各個(gè)領(lǐng)域都出現(xiàn)XX信息學(xué)送火。

從上世紀(jì)70年代開始，圍繞計(jì)算復(fù)雜性形成了以算法研究為中心的的計(jì)算機(jī)科學(xué)先匪。隨著計(jì)算機(jī)科學(xué)與其他學(xué)科的交叉融合种吸，計(jì)算機(jī)科學(xué)的研究重點(diǎn)將逐步轉(zhuǎn)移到以研究各種基因組學(xué)為重點(diǎn)的數(shù)據(jù)科學(xué)。現(xiàn)在到了發(fā)現(xiàn)新的門捷列夫周期表的時(shí)候了呀非。

7.? ? ? 計(jì)算理論的新研究方向

傳統(tǒng)的計(jì)算復(fù)雜性理論是研究當(dāng)問題規(guī)模變大時(shí)坚俗，計(jì)算量如何變化镜盯，以小問題預(yù)測(cè)大問題。而大數(shù)據(jù)問題一開始就給你全部數(shù)據(jù)猖败，需要反過來思考如何找到縮小規(guī)模的數(shù)據(jù)速缆，而問題的基本屬性沒有大的變化。

如果說傳統(tǒng)的計(jì)算復(fù)雜性是度量外向組合爆炸( scale up) 的復(fù)雜程度恩闻，那么大數(shù)據(jù)問題的計(jì)算理論應(yīng)該是度量內(nèi)問“壓縮”的困難程度艺糜。

如果當(dāng)數(shù)據(jù)規(guī)模擴(kuò)大時(shí)，反映數(shù)據(jù)間相互關(guān)系的網(wǎng)絡(luò)結(jié)構(gòu)保持很好的相似性幢尚，則是一個(gè)容易解決的大數(shù)據(jù)問題;反之破停，如果網(wǎng)絡(luò)結(jié)構(gòu)變得面目全非，則是一個(gè)難以解決的大數(shù)據(jù)問題尉剩。

8.需要研究“數(shù)據(jù)量復(fù)雜性”

對(duì)于科學(xué)計(jì)算,主要考慮時(shí)間復(fù)雜性和空間復(fù)雜性真慢。對(duì)于大數(shù)據(jù)處理，除了時(shí)間和空間復(fù)雜性外理茎，可能還需要考慮解決一個(gè)問題需要多大的數(shù)據(jù)量黑界，可稱為“數(shù)據(jù)量復(fù)雜性”。

從數(shù)據(jù)量和結(jié)果的關(guān)系來看皂林，大數(shù)據(jù)問題也許可以分成三類:

(a) 增量式進(jìn)步(數(shù)據(jù)多一點(diǎn)园爷，結(jié)果就好一些)。不同問題對(duì)增加數(shù)據(jù)量的要求不同式撼，可能也有線性、多項(xiàng)式之分

(b)無底洞式的計(jì)算一無論多少 數(shù)據(jù)都不可能徹底解決問題(基本的物理本質(zhì)還不清楚)求厕。有點(diǎn)類似NP問題著隆。

(c)數(shù)據(jù)規(guī)模有一個(gè)閾值，超過閾值呀癣，再增加數(shù)據(jù)量不會(huì)改善結(jié)果美浦。

我們需要建立一種新的計(jì)算理論，對(duì)求解一個(gè)問題達(dá)到某種滿意程度需要多大規(guī)模的數(shù)據(jù)量給出理論上的判斷项栏。通過科學(xué)理論避免盲目增加數(shù)據(jù)量浦辨。