Google推出Dataset search

結(jié)論

Google search讓信息垂手可得荧缘，Google dataset search讓數(shù)據(jù)垂手可得。
從IT時代拦宣，到DT時代截粗，真的來臨。
Google dataset search解決了數(shù)據(jù)科學(xué)家鸵隧、研究學(xué)者绸罗、科學(xué)家、記者等人員“數(shù)據(jù)從何而來”的問題豆瘫，通過聚合互聯(lián)網(wǎng)上的開放數(shù)據(jù)珊蟀，提供數(shù)據(jù)搜索引擎，讓數(shù)據(jù)垂手可得。

Screen Shot 2018-09-06 at 20.22.51.png

Screen Shot 2018-09-06 at 20.23.59.png

1. 價值

基本上為人工智能機器學(xué)習(xí)所需要的語料提供了一個聚合育灸、檢索平臺腻窒。可以檢索互聯(lián)網(wǎng)上公開的數(shù)據(jù)集磅崭。提供開放數(shù)據(jù)集的檢索手段儿子，為數(shù)據(jù)科學(xué)工作者、數(shù)據(jù)新聞記者砸喻、科學(xué)家解決了數(shù)據(jù)來源問題柔逼。

2. 開源數(shù)據(jù)

Google datase searh搜索的數(shù)據(jù)集來自互聯(lián)網(wǎng)上各中網(wǎng)站上公開的數(shù)據(jù)。
在Google dataset search出現(xiàn)之前割岛，已經(jīng)有很多開源數(shù)據(jù)網(wǎng)站愉适，開源數(shù)據(jù)檢索引擎如kaggle。

2.1 Kaggle

2.2 zenodo

https://zenodo.org/

2.3 figshare

https://figshare.com/ 科學(xué)數(shù)據(jù)開放訪問網(wǎng)站癣漆∥蹋可以找數(shù)據(jù)，也可以創(chuàng)建數(shù)據(jù)扑媚。

2.4 ceicdata

https://www.ceicdata.com/zh-hans腰湾，宏觀微觀經(jīng)濟數(shù)據(jù)體驗最全面的經(jīng)濟數(shù)據(jù)庫，覆蓋超過195+個國家疆股。

2.5 google publicdata

Google攢的一些數(shù)據(jù)并公開了费坊。
https://www.google.com/publicdata

2.6 加拉大政府公開數(shù)據(jù)

https://open.canada.ca/

2.7 DataHub

https://old.datahub.io/ 用戶可以上傳數(shù)據(jù)，或者檢索數(shù)據(jù)旬痹。

2.8 英國政府公開數(shù)據(jù)

https://data.gov.uk/

2.9 世界銀行開放數(shù)據(jù)

https://data.worldbank.org/

2.10 data.world

這個網(wǎng)站很不錯附井，數(shù)據(jù)社交的世界，可以上傳數(shù)據(jù)两残，也可以下載數(shù)據(jù)永毅。
https://data.world/
....
互聯(lián)網(wǎng)上的公開數(shù)據(jù)太多了，現(xiàn)在好了人弓，google提供dataset search工具沼死，可以檢索這些互聯(lián)網(wǎng)上公開的數(shù)據(jù)。

3. 誰會受益

3.1 機器學(xué)習(xí)開發(fā)者

可以下載很多語料用于機器學(xué)習(xí)的模型訓(xùn)練崔赌。特別是NLP學(xué)習(xí)者可以檢索到好多有用的語料數(shù)據(jù)集意蛀。比如我試了一下word vector，

Screen Shot 2018-09-06 at 19.49.55.png

3.2 經(jīng)濟分析師

經(jīng)濟分析師們可以直接檢索下載各類經(jīng)濟類數(shù)據(jù)集健芭，比如中國的GDP等宏觀經(jīng)濟數(shù)據(jù)县钥。

Screen Shot 2018-09-06 at 19.58.52.png

3.3 經(jīng)濟研究學(xué)者

經(jīng)濟研究學(xué)者們可以很方便的得到人口、居民消費等數(shù)據(jù)了慈迈。

Screen Shot 2018-09-06 at 20.01.44.png

Screen Shot 2018-09-06 at 20.04.22.png

3.4 數(shù)據(jù)科學(xué)家

大數(shù)據(jù)行業(yè)的開發(fā)者們若贮，數(shù)據(jù)學(xué)家有福了。

3.5 記者

記者調(diào)查問題時可以使用。特別是數(shù)據(jù)新聞類的寫作谴麦，記者可以利用google dataset search蠢沿。

4. 數(shù)據(jù)類型

4.1 機器學(xué)習(xí)訓(xùn)練用的語料數(shù)據(jù)

比如wordvector等。

4.2 宏觀經(jīng)濟類數(shù)據(jù)

包含世界各國细移，各產(chǎn)業(yè)宏觀經(jīng)濟數(shù)據(jù)搏予。

4.3 人口數(shù)據(jù)

4.4 居民消費數(shù)據(jù)

4.5 世界各國政府公開的數(shù)據(jù)

Screen Shot 2018-09-06 at 20.08.12.png

4.6 學(xué)術(shù)數(shù)據(jù)

4.7 氣候數(shù)據(jù)

4.8 股票價格數(shù)據(jù)

4.9 航天等科研領(lǐng)域數(shù)據(jù)

米航空宇宙局（NASA）や米海洋大気庁（NOAA）のほか、Hardvard大學(xué)の「Dataverse」などの學(xué)術(shù)機関のレポジトリのデータが情報提供者や更新日などの情報とともに表示される弧轧。