大數(shù)據(jù)技術火熱而且火爆市咆,學習大數(shù)據(jù)的課程和資料也泛濫如潮,而大數(shù)據(jù)研發(fā)環(huán)境又不是隨便就可以搭建起來的,如何有一個自己隨時可用的大數(shù)據(jù)修煉道場呢?
網(wǎng)上有很多hadoop單機版的搭建教程讼庇,但大多是基礎組件,如果想窺探Hadoop 的整個生態(tài)系統(tǒng)近尚,并建立一個人的大數(shù)據(jù)環(huán)境蠕啄,從而修煉大數(shù)據(jù)的各種技術,我覺得非 HDP 的Sandbox 莫屬了戈锻。
HDP 的Sandbox 是一個基于虛擬機的單節(jié)點hadoop集群歼跟,相當于一個偽分布式環(huán)境,學習和使用都非常的輕松便捷格遭。虛擬機既支持VMware也支持VirtualBox哈街,完全可以在windows和mac 上無縫執(zhí)行,需要注意的是需要64位的主機多核cpu并支持虛擬化拒迅。
以virtualbox為例叹卷,三步,只需三步坪它,就可以搭建自己修煉大數(shù)據(jù)技術的環(huán)境了。
1)先去下載安裝virtualbox帝牡,https://www.virtualbox.org/wiki/Downloads往毡,選好自己的所需的版本,下載安裝靶溜。
2)下載HDP sandbox开瞭,http://hortonworks.com/products/hortonworks-sandbox/#install,選擇virtual box 版本即可罩息,文件較大嗤详,接近9個G,要有耐心瓷炮。
3)啟動Virtualbox葱色,倒入HDP sandbox鏡像,import 完成后如下圖:
忽略那個我自己的ubantu鏡像娘香,啟動HDP sandbox 即可苍狰。 從Ambri開始,就可以逐漸走進Hadoop 的ecosystem 了烘绽。
如果只是想馬上實踐大數(shù)據(jù)平臺計算的應用淋昭,可以直接利用云服務。
AWS 的大數(shù)據(jù)云服務:https://aws.amazon.com/cn/elasticmapreduce/ 這是EMR安接,當時實時流處理也很強翔忽。
阿里云的大數(shù)據(jù)云服務:https://www.aliyun.com/product/emapreduce 只可惜還在公測,沒了ali 的名頭
青云的大數(shù)據(jù)云服務: https://www.qingcloud.com/products/big_data_platform 后起之秀,也不錯歇式,只是HBase 還沒有商用驶悟。
其他的云PaaS 大數(shù)據(jù)計算 沒有過多嘗試,不敢妄言了贬丛。