IP屬地：澳門
-
spark 源碼分析系列 - wordcount 源碼分析前言 本文主要通過spark wordcount 案例的源碼來分析spark中的運行過程。 spark 編程模型 在spark中赌蔑，RDD被表示為對象，通過對象上的方法調(diào)用來對...
-
HBase系列 - HBase Shell操作
HBase Shell 基本操作 進入HBase客戶端命令行bin/hbase shell 查看幫助命令hbase(main):001:0> help 查看當(dāng)前數(shù)據(jù)庫中有哪些...
-
HBase系列 - 內(nèi)部機制 MemstoreFlush竟秫、StoreFile Compaction娃惯、Region Split詳解前言 HBase以高并發(fā)、搞可靠肥败、高性能而聞名趾浅，而Compact和Split功能貫穿了hbase的整個寫入過程，而熟悉Compact和Split內(nèi)部邏輯以及控制參數(shù)才能根據(jù)具...
-
hbase-compact剖析
前面的文章介紹了當(dāng)達到一定的條件后memstore會flush生成hfile馒稍，隨著hfile文件逐漸增多皿哨，查詢可能需要更多的IO操作，為了合并這些hfile文件從而衍生出了c...
-
個人專注大數(shù)據(jù)開發(fā)運維架構(gòu)的相關(guān)技術(shù)分享央勒，更多文章請關(guān)注我個人微信公眾號“大數(shù)據(jù)開發(fā)運維架構(gòu)”
-
HBase系列 - 概念和架構(gòu)原理前言 本文主要介紹HBase基本概念以及架構(gòu)原理包含數(shù)據(jù)模型、基礎(chǔ)進程組件澳化。再從HBase的寫流程和讀流程去了解HBase的架構(gòu)原理订歪。 1 HBase 定義 HBase是一種...
-
Hive 系列 - 調(diào)優(yōu)經(jīng)驗
1 Fetch抓取 Fetch抓取是指，Hive中對某些情況的查詢可以不必使用MapReduce計算肆捕。例如：SELECT * FROM employees;在這種情況下，Hi...
-
Hive 系列 - 壓縮和存儲1 Hadoop源碼編譯支持Snappy壓縮 1.1 jar包準備(hadoop源碼盖高、JDK8 慎陵、maven、protobuf) （1）hadoop-2.7.2-src.ta...
-
Hive 系列 - 常用函數(shù)
1系統(tǒng)內(nèi)置函數(shù) 1．查看系統(tǒng)自帶的函數(shù) 2．顯示自帶的函數(shù)的用法 3．詳細顯示自帶的函數(shù)的用法 2 自定義函數(shù) Hive 自帶了一些函數(shù)喻奥，比如：max/min等席纽，但是數(shù)量有限...
-
HBase MemStore 101前言 在我們的日常工作中，HBase主要作為KV Store來使用撞蚕，撐起數(shù)據(jù)倉庫APP層的半邊天润梯，為后臺和客戶端提供高效的存取服務(wù)。另外甥厦，它也是我們采用的OLAP引擎Kyli...
-
Hive 系列 - DQL 查詢數(shù)據(jù)
查詢語句語法： 1 基本查詢（Select…From） 1.1 全表和特定列查詢 1.2 列別名 1.3 算術(shù)運算符 運算符描述A+BA和B 相加A-BA減去BA*BA和B ...
-
Hive 系列 - DML數(shù)據(jù)操作
1 數(shù)據(jù)導(dǎo)入 1.1 向表中裝載數(shù)據(jù)（Load） 語法 ? （1）load data:表示加載數(shù)據(jù) ? （2）local:表示從本地加載數(shù)據(jù)到hive表纺铭；否則從HDF...
-
Hive 系列 - DDL數(shù)據(jù)定義
1 創(chuàng)建數(shù)據(jù)庫 創(chuàng)建一個數(shù)據(jù)庫，數(shù)據(jù)庫在HDFS上的默認存儲路徑是/user/hive/warehouse/*.db刀疙。hive (default)> create datab...
-
Hive 系列 - 架構(gòu)和基本概念1. 架構(gòu)原理 2用戶接口：ClientCLI（hive shell）舶赔、JDBC/ODBC(java訪問hive)、WEBUI（瀏覽器訪問hive） 元數(shù)據(jù)：Metastor...
-
ElasticSearch 系列 - RestFulAPI(DSL)
前言 DSL全稱 Domain Specific language谦秧，即特定領(lǐng)域?qū)Ｓ谜Z言 1.全局操作 1.1 查詢集群健康情況 1.2 查詢各個節(jié)點狀態(tài) 2. 對索引的操作 ...
-
ElasticSearch 系列 - 基本概念
1.ElasticSearch的基本概念 1.1 概念 Elasticsearch有幾個核心概念竟纳，先理解這些概念將有助于掌握Elasticsearch撵溃。 1.1.1 近實時(...
-
簡析Spark Streaming/Flink的Kafka動態(tài)感知前言 Sunday night，繼續(xù)超短文模式（希望下周就可以不這么劃水了hhhh Kafka是我們?nèi)粘５牧魈幚砣蝿?wù)中最為常用的數(shù)據(jù)源之一锥累。隨著數(shù)據(jù)類型和數(shù)據(jù)量的增大缘挑，難免要...
