IP屬地：浙江
-
spark調(diào)優(yōu)
spark調(diào)優(yōu){ 1，資源調(diào)優(yōu){ a)搭建集群{ (1)配置目錄在spark安裝包中的conf下spark-env.sh (2)spark...
-
hbase熱點(diǎn)問題(數(shù)據(jù)傾斜)解決方案---rowkey散列和預(yù)分區(qū)設(shè)計
Hbase的表會被劃分為1....n個Region,被托管在RegionServer中屎暇。Region二個重要的屬性：Startkey與EndKe...
-
SparkStreaming+Kafka的整合receiver模式 原理圖： executor中會有receiver tasks接收kafka推送過來的數(shù)據(jù)腿时，數(shù)據(jù)會被持久化况脆，默認(rèn)級別為mem...
-
Elasticsearch的api做的萬度后臺代碼實(shí)現(xiàn)學(xué)習(xí)了elasticSearch的內(nèi)容，想將網(wǎng)頁上爬取的網(wǎng)易的網(wǎng)頁放入索引圈匆，實(shí)現(xiàn)跟百度一樣的查詢功能漠另，特地做個萬度給自己用，廢話不多說直接上代碼...