數(shù)據(jù)倉(cāng)庫(kù)概念的提出都要追溯到上世紀(jì)了，我們認(rèn)為在大數(shù)據(jù)元年之前的數(shù)倉(cāng)可以稱(chēng)為傳統(tǒng)數(shù)倉(cāng)鸦致，而后隨著海量數(shù)據(jù)不斷增長(zhǎng)，以及Hadoop生態(tài)不斷發(fā)展涣楷，主要基于Hive/HDFS的離線(xiàn)...
發(fā)簡(jiǎn)信
IP屬地：青海
-
實(shí)時(shí)數(shù)倉(cāng) | 你想要的數(shù)倉(cāng)分層設(shè)計(jì)與技術(shù)選型 -
干貨 | Kafka 內(nèi)核知識(shí)梳理分唾，附思維導(dǎo)圖
前面我們已經(jīng)分享過(guò)幾篇Kafka的文章，最近簡(jiǎn)單梳理了下Kafka內(nèi)核相關(guān)的知識(shí)狮斗，涵蓋了Kafka架構(gòu)總結(jié)鳍寂，副本機(jī)制，控制器情龄，高水位機(jī)制迄汛，日志或消息存儲(chǔ)捍壤，消息發(fā)送與消費(fèi)機(jī)制等...
-
Hive調(diào)優(yōu) | Hive常見(jiàn)的幾種優(yōu)化模式
Hive和MapReduce中擁有較多在特定情況下優(yōu)化的特性，如何利用好相關(guān)特性鞍爱，是Hive性能調(diào)優(yōu)的關(guān)鍵鹃觉。本文就介紹那些耳熟但不能詳?shù)膸追NHive優(yōu)化模式。 一睹逃、本地模式 ...
-
Hive調(diào)優(yōu) | Hive常見(jiàn)數(shù)據(jù)傾斜及調(diào)優(yōu)技巧
Hive在執(zhí)行MapReduce任務(wù)時(shí)經(jīng)常會(huì)碰到數(shù)據(jù)傾斜的問(wèn)題盗扇，表現(xiàn)為一個(gè)或者幾個(gè)reduce節(jié)點(diǎn)運(yùn)行很慢，延長(zhǎng)了整個(gè)任務(wù)完成的時(shí)間沉填，這是由于某些key的條數(shù)比其他key多很...
-
HBase調(diào)優(yōu) | HBase性能調(diào)優(yōu)之內(nèi)存篇
這是使用 HBase 最不可避免的一個(gè)話(huà)題疗隶，就是 HBase 的性能調(diào)優(yōu)，而且通常建立在我們對(duì) HBase 內(nèi)部運(yùn)行機(jī)制比較了解的基礎(chǔ)上進(jìn)行的翼闹，因此無(wú)論怎么說(shuō)斑鼻，調(diào)優(yōu)這塊都是一...
-
從原理到參數(shù)解析，HBase 刷寫(xiě)與合并機(jī)制介紹
HBase 是目前主流的 NoSQL 數(shù)據(jù)庫(kù)猎荠，是一個(gè)高可靠坚弱、高性能、高伸縮的分布式 KV 存儲(chǔ)系統(tǒng)关摇，本文講解 HBase 兩個(gè)核心機(jī)制——刷寫(xiě)（Flush）與合并（Compa...
-
一文了解 Zookeeper 基本原理與應(yīng)用場(chǎng)景
Zookeeper 是一個(gè)高性能荒叶、高可靠的分布式協(xié)調(diào)系統(tǒng)，是 Google Chubby 的一個(gè)開(kāi)源實(shí)現(xiàn)输虱，目前在分布式系統(tǒng)些楣、大數(shù)據(jù)領(lǐng)域中使用非常廣泛。本文將介紹 Zookee...
-
HBase 性能測(cè)試之讀寫(xiě)P999延時(shí)壓測(cè)實(shí)踐
我們?cè)谑褂肏Base的時(shí)候宪睹，必須要能夠清楚HBase服務(wù)端的性能戈毒，這對(duì)HBase的合理使用以及性能調(diào)優(yōu)都非常重要，所以一般在使用HBase之前横堡，建議做一些必要的基準(zhǔn)性能測(cè)試，...
-
Apache Kafka 版本演進(jìn)及特性介紹
前段時(shí)間有一個(gè)同事問(wèn)到：Kafka 0.8.2 只能使用Zookeeper連接嗎冠桃？雖然仍有一部分Kafka的老用戶(hù)在使用 0.8.x 版本命贴，但 Kafka 0.8.x 確實(shí)是...
-
HBase原理 | HBase核心原理與應(yīng)用場(chǎng)景
HBase是大數(shù)據(jù)NoSQL領(lǐng)域里非常重要的分布式KV數(shù)據(jù)庫(kù)，是一個(gè)高可靠食听、高性能胸蛛、高伸縮的分布式存儲(chǔ)系統(tǒng)，目前國(guó)內(nèi)知名公司都有在大規(guī)模使用樱报，社區(qū)也非吃嵯睿活躍。本文就是學(xué)習(xí)HB...
-
Apache Impala 介紹與使用指南一迹蛤、引言 最近在梳理大數(shù)據(jù)相關(guān)技術(shù)棧民珍，查詢(xún)引擎篇中重點(diǎn)介紹了Phoenix襟士、Impala及Presto，一時(shí)想起自己開(kāi)始使用Impala時(shí)的一個(gè)筆記嚷量。于是找到筆記拿出來(lái)分享陋桂，...
-
基于Telegraf+Influxdb+Grafana的監(jiān)控平臺(tái)介紹最近在做大數(shù)據(jù)監(jiān)控平臺(tái)的方案調(diào)研，做了一些開(kāi)源解決方案的嘗試蝶溶，今天分享一下基于Telegraf+InfluxDB+Grafana的監(jiān)控平臺(tái)整體部署過(guò)程嗜历。文章開(kāi)始會(huì)簡(jiǎn)單介紹下 ...
-
HBase 集成 Phoenix 構(gòu)建二級(jí)索引實(shí)踐
Phoenix 在 HBase 生態(tài)系統(tǒng)中占據(jù)了非常重要的地位，本文主要包括以下幾方面內(nèi)容： Phoenix 介紹 CDH HBase 集成 Phoenix 使用 Phoen...
-
一文讀懂 HBase 核心知識(shí)一抖所、HBase核心概述 HBase（Hadoop Database）是一個(gè)基于Google BigTable論文設(shè)計(jì)的開(kāi)源梨州、高可靠性、高性能田轧、可擴(kuò)展的分布式存儲(chǔ)系統(tǒng)暴匠。HBas...
-
一文徹底搞懂 CMS GC 參數(shù)配置
近期整理多個(gè) HBase 集群的 JVM 參數(shù)，發(fā)現(xiàn)都是默認(rèn)的 CMS GC 配置涯鲁，如何調(diào)優(yōu) JVM 參數(shù)就成了一個(gè)繞不過(guò)的話(huà)題巷查。因此，為了尋求一個(gè) CMS GC 的 JVM...