也可以看我的CSDN的博客https://blog.csdn.net/u013332124/article/details/88350345 Spark History Se...
發(fā)簡信
IP屬地：浙江
-
Spark History Server 架構(gòu)原理介紹
-
Hive MetaStore的結(jié)構(gòu)本篇主要是介紹Hive在MySQL中存儲的源數(shù)據(jù)的表結(jié)構(gòu)菱父。 Hive MetaStore 數(shù)據(jù)庫表結(jié)構(gòu)圖 TBLS 記錄數(shù)據(jù)表的信息 字段解釋TBL_ID在hive中創(chuàng)建表的...
-
Impala原理及其調(diào)優(yōu)http://www.baidu.com/link?url=Ux-j4d-TfFW3oio-Um3uRtaTKeHhSAoko-oW9om029AhYzfe57VEbsWME...
-
HDFS糾刪碼設(shè)計(jì)1.問題陳述 當(dāng)前HDFS每個塊有3個副本是出于以下幾個方面的考慮： 1）預(yù)防DataNode的故障 2）對MapReduce本地性任務(wù)提供更好的支持 3）通過在多個副本間選...
-
來看看年薪80W的大數(shù)據(jù)大牛是如何理解 hbase 的架構(gòu)及設(shè)計(jì)原理
簡介 HBase是一個開源的非關(guān)系型分布式數(shù)據(jù)庫（NoSQL），它參考了谷歌的BigTable建模，實(shí)現(xiàn)的編程語言為Java。它是Apache軟件基金會Hadoop項(xiàng)目的一部...
-
hive之行轉(zhuǎn)列與列轉(zhuǎn)行的實(shí)現(xiàn)
一：前言 在某些場景下比如報(bào)表的產(chǎn)出，為了更加易于理解搁痛，往往會行列互置這樣顯示僚焦，又或者我們需要將某個相同鍵的值雨女，所屬的屬性進(jìn)行合并顯示谚攒，這樣都會用到行轉(zhuǎn)列或者列轉(zhuǎn)行。 二：行...
-
電商后臺（訂單管理）訂單是電商體系的核心氛堕，有了訂單才有業(yè)績和盈利馏臭。 訂單中包含商品、優(yōu)惠讼稚、用戶括儒、收貨信息、支付信息等一系列實(shí)時數(shù)據(jù)锐想。通過訂單中心帮寻，實(shí)現(xiàn)對線上訂單、線下訂單及第三方訂單的管理赠摇，支持...
-
深入淺出談一下有關(guān)分布式消息技術(shù)：Kafka
Kafka的基本介紹 Kafka是一個分布式固逗、分區(qū)的、多副本的藕帜、多訂閱者烫罩，基于zookeeper協(xié)調(diào)的分布式日志系統(tǒng)（也可以當(dāng)做MQ系統(tǒng)），常見可以用于web/nginx日志...
-
Hive 的DDL和DML
DDL 1.庫 建庫： 還有一個方式： 指定hdfs路徑 查看數(shù)據(jù)庫： 看數(shù)據(jù)庫信息： 想多看點(diǎn)： 改庫：(數(shù)據(jù)庫名和數(shù)據(jù)庫目錄位置無法修改) 刪庫:（想跑路洽故？）空庫： 非空...
