發(fā)簡(jiǎn)信
IP屬地：北京
-
Spark消費(fèi)Kafka如何實(shí)現(xiàn)精準(zhǔn)一次性消費(fèi)肤晓？
1.定義 精確一次消費(fèi)（Exactly-once） 是指消息一定會(huì)被處理且只會(huì)被處理一次。不多不少就一次處理拱燃。 如果達(dá)不到精確一次消費(fèi)碎浇，可能會(huì)達(dá)...
-
數(shù)據(jù)倉(cāng)庫(kù)與數(shù)倉(cāng)建模1.數(shù)據(jù)倉(cāng)庫(kù) 1.1 什么是數(shù)據(jù)倉(cāng)庫(kù) 數(shù)據(jù)倉(cāng)庫(kù)，英文名為Data Warehouse乒裆，簡(jiǎn)寫為DW或DWH套利。數(shù)據(jù)倉(cāng)庫(kù)，是一個(gè)面向主題的鹤耍、集成的肉迫、隨...
-
大數(shù)據(jù)開發(fā)必讀書目（持續(xù)更新）
1.Hadoop Hadoop大數(shù)據(jù)開發(fā)案例教程與項(xiàng)目實(shí)戰(zhàn).pdf Hadoop技術(shù)內(nèi)幕 深入解析YARN架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)原理.pdf Hadoo...
-
深入理解Spark遠(yuǎn)程通信組件RPC及消息處理機(jī)制1.簡(jiǎn)介 在Spark中，不同組件像driver稿黄，executor喊衫，worker，master（stanalone模式）之間的通信是基于RPC來...
-
HDFS讀寫數(shù)據(jù)流程
HDFS中的block杆怕、packet族购、chunk Block這個(gè)大家應(yīng)該知道壳贪，文件上傳前需要分塊，這個(gè)塊就是block寝杖，一般為128MB违施。 pa...