大數(shù)據(jù)老哥

前言 在早期Hadoop剛出來的時候是沒有解決HDFS單點(diǎn)問題的钦奋，這就意味著當(dāng)NameNode的服務(wù)器宕機(jī)了就會導(dǎo)致整個集群癱瘓，這是非常危險的于是在Hadoop不斷的更新...

大數(shù)據(jù)老哥

前言 在日常開發(fā)過程中使用kafka來實(shí)限流削峰作用但是往往kafka會存放多份副本來防止數(shù)據(jù)丟失，那你知道他的機(jī)制是什么樣的嗎厌衔？本篇文章就帶給大家講解下璧帝。 一富寿、Kafka...

大數(shù)據(jù)老哥

前言 Hadoop到目前為止發(fā)展已經(jīng)有10余年页徐，版本經(jīng)過無數(shù)次的更新迭代苏潜，目前業(yè)內(nèi)大家把Hadoop大的版本分為Hadoop1.0变勇、Hadoop2.0恤左、Hadoop3.0 ...

大數(shù)據(jù)老哥

前言 最近在跟一位粉絲聊天搀绣，聊起來了做離線數(shù)倉時該用那些技術(shù)棧飞袋。于是根據(jù)我的經(jīng)驗(yàn)和參考一些資料于就有本篇文章链患。在這里我會分享三個案例巧鸭，僅供參考。 案例一纲仍、小型公司 首先我...

大數(shù)據(jù)老哥

前言 在做實(shí)時數(shù)倉時，數(shù)據(jù)量往往比較大的巷折，如果使用Canal來監(jiān)聽MySQL的狀態(tài)當(dāng)Canal 是單節(jié)服務(wù)時压鉴，服務(wù)器掛掉是就會造成數(shù)據(jù)丟失锻拘，這時Canal恰好可以配置HA這...

大數(shù)據(jù)老哥

前言 上篇文章給大家講解了如何安裝一個Canal,以及講解了一部分的原理，今天我們就來深度聊一聊Canal的工作流程署拟，以及他是怎么工作的婉宰，以及架構(gòu)師怎樣的。 首...

大數(shù)據(jù)老哥

前言 當(dāng)我們做一個項(xiàng)目時往往都需要選擇該用什么技術(shù)心包。這一部分不是我們普通員工想的馒铃，而是架構(gòu)師會根據(jù)客戶的需求選擇出合適的技術(shù)蟹腾。當(dāng)選擇合適的技術(shù)會讓我們的開發(fā)事半功倍。下面我...

大數(shù)據(jù)老哥

前言 我們在做實(shí)時數(shù)倉時數(shù)據(jù)往往都是保存到數(shù)據(jù)庫中例如MySQL议谷，當(dāng)有一條數(shù)據(jù)新增或修改需要馬上將數(shù)據(jù)同步到kafka中或其他的數(shù)據(jù)庫中炉爆，這時候我們需要借助阿里開源出來的C...

大數(shù)據(jù)老哥

前言 環(huán)境所依賴的pom文件 一卧晓、Avro提供的技術(shù)支持包括以下五個方面： 優(yōu)秀的數(shù)據(jù)結(jié)構(gòu)芬首； 一個緊湊的，快速的逼裆，二進(jìn)制數(shù)據(jù)格式； 一個容器文件波附，用來存儲持久化數(shù)據(jù)艺晴； RPC...

大數(shù)據(jù)老哥

前言 一封寞、Fetch抓冉霾啤（Hive可以避免進(jìn)行MapReduce） Hive中對某些情況的查詢可以不必使用MapReduce計算狈究。例如：SELECT * FROM empl...

大數(shù)據(jù)老哥

前言 我們在寫HQL有沒有遇到過數(shù)據(jù)量特別大的時候比如盏求，使用HQL 處理起來非常復(fù)雜抖锥，非常慢亿眠，這時候我們可以使用Hive給加個索引來提高我們的速度。多了就不說了磅废，我們直接開...

大數(shù)據(jù)老哥

前言 今天給大家分享一個面試中經(jīng)常會被問到的拉鏈表，我在上篇文章中提出來一個需求如果不知道的請去→數(shù)倉緩慢變化維深層講解[http://mp.weixin.qq.com/s...

大數(shù)據(jù)老哥

前言 舉例說明 一岔帽、SCD問題的幾種解決方案 以下為解決緩慢變化維問題的幾種辦法： 保留原始值 改寫屬性值 增加維度新行 增加維度新列 添加歷史表 1.1 保留原始值 某一個...

大數(shù)據(jù)老哥

前言 一导绷、為什么要分層 分層的主要原因是在管理數(shù)據(jù)的時候犀勒，能對數(shù)據(jù)有一個更加清晰的掌控，詳細(xì)來講妥曲，主要有下面幾個原因： 清晰數(shù)據(jù)結(jié)構(gòu)： 每一個數(shù)據(jù)分層都有它的作用域贾费，這樣...

大數(shù)據(jù)老哥

前言 今天給大家分享下數(shù)倉中的模型設(shè)計逾一，一個好的數(shù)倉項(xiàng)目首先看一下它的架構(gòu)以及他所用到的模型铸本，它們使用的模型也都是非常巧妙的肮雨，好了，我們話不說到直接開始怨规。 一陌宿、維度建模基本...

大數(shù)據(jù)老哥

今天給大家分享一些我自己都在使用的軟件壳坪，使用這些軟件無論是工作還是學(xué)習(xí)，我感覺我的工作效率提升了不知一點(diǎn)點(diǎn)掰烟，好了廢話就不多說了爽蝴，喜歡的朋友加個一鍵三連。 一纫骑、IDM 下載工具...

大數(shù)據(jù)老哥

前言 1 Flink基礎(chǔ)（適合初入職場） 簡單介紹一下 Flink Flink相比傳統(tǒng)的Spark Streaming區(qū)別? Flink的組件棧有哪些？ Flink 的運(yùn)行必...