數(shù)據(jù)倉庫接癌、數(shù)據(jù)湖技術(shù)，存儲(chǔ)計(jì)算分離杨伙，批流一體淘衙，核心引擎等大數(shù)據(jù)技術(shù)。歡迎關(guān)注剔桨！
發(fā)簡(jiǎn)信
IP屬地：河南
-
-
Spark History Server 架構(gòu)原理介紹
也可以看我的CSDN的博客https://blog.csdn.net/u013332124/article/details/88350345 Spark History Se...
-
Hive MetaStore的結(jié)構(gòu)本篇主要是介紹Hive在MySQL中存儲(chǔ)的源數(shù)據(jù)的表結(jié)構(gòu)屉更。 Hive MetaStore 數(shù)據(jù)庫表結(jié)構(gòu)圖 TBLS 記錄數(shù)據(jù)表的信息 字段解釋TBL_ID在hive中創(chuàng)建表的...
-
Impala原理及其調(diào)優(yōu)http://www.baidu.com/link?url=Ux-j4d-TfFW3oio-Um3uRtaTKeHhSAoko-oW9om029AhYzfe57VEbsWME...
-
HDFS糾刪碼設(shè)計(jì)1.問題陳述 當(dāng)前HDFS每個(gè)塊有3個(gè)副本是出于以下幾個(gè)方面的考慮： 1）預(yù)防DataNode的故障 2）對(duì)MapReduce本地性任務(wù)提供更好的支持 3）通過在多個(gè)副本間選...
-
來看看年薪80W的大數(shù)據(jù)大牛是如何理解 hbase 的架構(gòu)及設(shè)計(jì)原理
簡(jiǎn)介 HBase是一個(gè)開源的非關(guān)系型分布式數(shù)據(jù)庫（NoSQL），它參考了谷歌的BigTable建模洒缀，實(shí)現(xiàn)的編程語言為Java瑰谜。它是Apache軟件基金會(huì)Hadoop項(xiàng)目的一部...
-
hive之行轉(zhuǎn)列與列轉(zhuǎn)行的實(shí)現(xiàn)
一：前言 在某些場(chǎng)景下比如報(bào)表的產(chǎn)出欺冀，為了更加易于理解，往往會(huì)行列互置這樣顯示萨脑，又或者我們需要將某個(gè)相同鍵的值隐轩，所屬的屬性進(jìn)行合并顯示，這樣都會(huì)用到行轉(zhuǎn)列或者列轉(zhuǎn)行渤早。 二：行...
-
電商后臺(tái)（訂單管理）訂單是電商體系的核心职车，有了訂單才有業(yè)績(jī)和盈利。 訂單中包含商品鹊杖、優(yōu)惠悴灵、用戶、收貨信息骂蓖、支付信息等一系列實(shí)時(shí)數(shù)據(jù)积瞒。通過訂單中心，實(shí)現(xiàn)對(duì)線上訂單登下、線下訂單及第三方訂單的管理茫孔，支持...
-
深入淺出談一下有關(guān)分布式消息技術(shù)：Kafka
Kafka的基本介紹 Kafka是一個(gè)分布式、分區(qū)的庐船、多副本的银酬、多訂閱者，基于zookeeper協(xié)調(diào)的分布式日志系統(tǒng)（也可以當(dāng)做MQ系統(tǒng)）筐钟，常見可以用于web/nginx日志...
-
Hive 的DDL和DML
DDL 1.庫 建庫： 還有一個(gè)方式： 指定hdfs路徑 查看數(shù)據(jù)庫： 看數(shù)據(jù)庫信息： 想多看點(diǎn)： 改庫：(數(shù)據(jù)庫名和數(shù)據(jù)庫目錄位置無法修改) 刪庫:（想跑路揩瞪？）空庫： 非空...
-
讓自己成為一名與眾不同的程序猿李破。。壹将。哦不嗤攻，是攻城獅
-
Spark算子、實(shí)例代碼從這里學(xué)習(xí)的诽俯，講的真好~ https://www.bilibili.com/video/av62992342/?p=41 單數(shù)據(jù) MAP 1.作用 返回一個(gè)新RDD妇菱，該RDD...
-
Spark 持久化（cache和persist的區(qū)別）
1、RDD 持久化 Spark 中一個(gè)很重要的能力是將數(shù)據(jù)持久化（或稱為緩存）暴区，在多個(gè)操作間都可以訪問這些持久化的數(shù)據(jù)闯团。當(dāng)持久化一個(gè) RDD 時(shí)，每個(gè)節(jié)點(diǎn)的其它分區(qū)都可以使用...
-
Hive 企業(yè)級(jí)調(diào)優(yōu)總結(jié)(一)1.開啟Fetch抓取 Fetch抓取是指仙粱，Hive中對(duì)某些情況的查詢可以不必使用MapReduce計(jì)算房交。例如：SELECT * FROM employees;在這種情況下，...
-
164伐割、Spark SQL實(shí)戰(zhàn)開發(fā)進(jìn)階之新聞網(wǎng)站關(guān)鍵指標(biāo)離線統(tǒng)計(jì)
實(shí)戰(zhàn)背景 新聞網(wǎng)站 版塊 新聞頁面 新用戶注冊(cè) 用戶跳出 案例需求分析 每天每個(gè)頁面的PVPV是Page View候味，是指一個(gè)頁面被所有用戶訪問次數(shù)的總和刃唤，頁面被訪問一次就被記...
-
淺析網(wǎng)站分析的運(yùn)營分析指標(biāo)一、電商網(wǎng)站數(shù)據(jù)分析流程： (1)數(shù)據(jù)收集：這個(gè)階段是收集基本的基本數(shù)據(jù)白群。通常尚胞，這些數(shù)據(jù)是事物的計(jì)數(shù)。這個(gè)階段的目標(biāo)是收集數(shù)據(jù)川抡。 (2)處理數(shù)據(jù)到信息：這個(gè)階段通常需要計(jì)數(shù)并...
-
Hive SQL練習(xí)題
hive學(xué)習(xí)之經(jīng)典sql 50題 hive版 建表: 生成數(shù)據(jù) vi /export/data/hivedatas/student.csv vi /export/data/h...
-
HIVE函數(shù)練習(xí)
單純的練習(xí)辐真，是從尚硅谷大數(shù)據(jù)課程之Hive（2019新版）學(xué)的，反正我記錄的都是我手敲過的崖堤。侍咱。。 1.空字段賦值 函數(shù)說明： NVL：給值為null的數(shù)據(jù)賦值密幔。格式是NVL(...
-
不知道這些命令楔脯，別說你會(huì)Linux
線上查詢及幫助命令 (2 個(gè)) man 查看命令幫助，命令的詞典胯甩，更復(fù)雜的還有 info昧廷，但不常用。 help 查看 Linux 內(nèi)置命令的幫助偎箫，比如 cd 命令木柬。 文件和目...
