yzhiy

最近很多人都想學(xué)習(xí)大數(shù)據(jù)開發(fā)媳搪，但是卻不知道如何開始學(xué)習(xí)，今天專門整理了一份針對(duì)大數(shù)據(jù)初學(xué)者的大數(shù)據(jù)開發(fā)學(xué)習(xí)路線骤宣。 下面分十個(gè)章節(jié)來說明大數(shù)據(jù)開發(fā)要學(xué)習(xí)的內(nèi)容： 這里還是要推薦...

yzhiy

雖然一直在接觸這些專業(yè)的名詞芬膝，但是一直理解的不深刻望门，所以今天特地查了一些官方解釋和很多優(yōu)秀的博客文章，將關(guān)于這些方面的理解記了下來锰霜，先將這些簡稱做一個(gè)解釋： 1怒允、DB（Dat...

yzhiy

一、概述 本篇文章主要介紹如何使用SparkStreaming + flume + Kafka 實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)的計(jì)算锈遥，并且使用高德地圖API實(shí)現(xiàn)熱力圖的展示纫事。 背景知識(shí)： 在有...

yzhiy

18年，在做年度復(fù)盤時(shí)所灸，回顧了自己過去一年的產(chǎn)品工作丽惶，發(fā)現(xiàn)了幾個(gè)共性的問題，其中有一個(gè)就是：需求場景考慮不全面爬立，開發(fā)過程中還會(huì)有需求變更钾唬。很不巧，開發(fā)GG們最討厭的就是需求頻...

yzhiy

高并發(fā)系統(tǒng)各不相同抡秆。比如每秒百萬并發(fā)的中間件系統(tǒng)、每日百億請(qǐng)求的網(wǎng)關(guān)系統(tǒng)吟策、瞬時(shí)每秒幾十萬請(qǐng)求的秒殺大促系統(tǒng)儒士。 他們?cè)趹?yīng)對(duì)高并發(fā)的時(shí)候，因?yàn)橄到y(tǒng)各自特點(diǎn)的不同檩坚，所以應(yīng)對(duì)架構(gòu)都是...

yzhiy

1.單例模式 每個(gè)類只能創(chuàng)建一個(gè)實(shí)例對(duì)象 JavaSingleton模式主要作用是保證在Java應(yīng)用程序中壶辜，一個(gè)類Class只有一個(gè)實(shí)例存在。使用Singleton的好處還在...

yzhiy

引言：之前大四的時(shí)候覺得大數(shù)據(jù)很火担租，就嘗試搭建了一個(gè)單節(jié)點(diǎn)的hadoop玩過砸民，最近工作慢慢有點(diǎn)空閑就開始搭建3節(jié)點(diǎn)的大數(shù)據(jù)平臺(tái)，現(xiàn)在整個(gè)大數(shù)據(jù)的生態(tài)圈已經(jīng)完善了很多了奋救，花了一...

yzhiy

由于最近學(xué)習(xí)大數(shù)據(jù)開發(fā)岭参，spark作為分布式內(nèi)存計(jì)算框架，當(dāng)前十分火熱尝艘，因此作為首選學(xué)習(xí)技術(shù)之一演侯。Spark官方提供了三種集群部署方案： Standalone, Mesos,...

yzhiy

個(gè)人主頁：http://www.linbingdong.com 簡介 本文主要記錄如何安裝配置Hive on Spark，在執(zhí)行以下步驟之前背亥，請(qǐng)先確保已經(jīng)安裝Hadoop集群...

yzhiy

最近在學(xué)習(xí)大數(shù)據(jù)技術(shù)秒际，朋友叫我直接學(xué)習(xí)Spark，英雄不問出處狡汉，菜鳥不問對(duì)錯(cuò)娄徊，于是我就開始了Spark學(xué)習(xí)。 為什么要在Docker上搭建Spark集群 Spark本身提供L...

yzhiy

Hive on Mapreduce Hive的原理大家可以參考這篇大數(shù)據(jù)時(shí)代的技術(shù)hive：hive介紹寄锐，實(shí)際的一些操作可以看這篇筆記：新手的Hive指南，至于還有興趣看Hi...