數(shù)據(jù)倉庫、數(shù)據(jù)湖技術(shù)，存儲計(jì)算分離，批流一體，核心引擎等大數(shù)據(jù)技術(shù)。歡迎關(guān)注畸裳！
發(fā)簡信
IP屬地：安徽
-
-
Spark History Server 架構(gòu)原理介紹
也可以看我的CSDN的博客https://blog.csdn.net/u013332124/article/details/88350345 Spark History Se...
-
Hive MetaStore的結(jié)構(gòu)本篇主要是介紹Hive在MySQL中存儲的源數(shù)據(jù)的表結(jié)構(gòu)。 Hive MetaStore 數(shù)據(jù)庫表結(jié)構(gòu)圖 TBLS 記錄數(shù)據(jù)表的信息 字段解釋TBL_ID在hive中創(chuàng)建表的...
-
Impala原理及其調(diào)優(yōu)http://www.baidu.com/link?url=Ux-j4d-TfFW3oio-Um3uRtaTKeHhSAoko-oW9om029AhYzfe57VEbsWME...
-
HDFS糾刪碼設(shè)計(jì)1.問題陳述 當(dāng)前HDFS每個(gè)塊有3個(gè)副本是出于以下幾個(gè)方面的考慮： 1）預(yù)防DataNode的故障 2）對MapReduce本地性任務(wù)提供更好的支持 3）通過在多個(gè)副本間選...
-
來看看年薪80W的大數(shù)據(jù)大牛是如何理解 hbase 的架構(gòu)及設(shè)計(jì)原理
簡介 HBase是一個(gè)開源的非關(guān)系型分布式數(shù)據(jù)庫（NoSQL）淳地，它參考了谷歌的BigTable建模怖糊，實(shí)現(xiàn)的編程語言為Java。它是Apache軟件基金會Hadoop項(xiàng)目的一部...
-
hive之行轉(zhuǎn)列與列轉(zhuǎn)行的實(shí)現(xiàn)
一：前言 在某些場景下比如報(bào)表的產(chǎn)出颇象，為了更加易于理解伍伤，往往會行列互置這樣顯示，又或者我們需要將某個(gè)相同鍵的值夯到，所屬的屬性進(jìn)行合并顯示嚷缭，這樣都會用到行轉(zhuǎn)列或者列轉(zhuǎn)行。 二：行...
-
電商后臺（訂單管理）訂單是電商體系的核心耍贾，有了訂單才有業(yè)績和盈利阅爽。 訂單中包含商品、優(yōu)惠荐开、用戶付翁、收貨信息、支付信息等一系列實(shí)時(shí)數(shù)據(jù)晃听。通過訂單中心百侧，實(shí)現(xiàn)對線上訂單、線下訂單及第三方訂單的管理能扒，支持...
-
深入淺出談一下有關(guān)分布式消息技術(shù)：Kafka
Kafka的基本介紹 Kafka是一個(gè)分布式佣渴、分區(qū)的、多副本的初斑、多訂閱者辛润，基于zookeeper協(xié)調(diào)的分布式日志系統(tǒng)（也可以當(dāng)做MQ系統(tǒng)），常見可以用于web/nginx日志...
-
Hive 的DDL和DML
DDL 1.庫 建庫： 還有一個(gè)方式： 指定hdfs路徑 查看數(shù)據(jù)庫： 看數(shù)據(jù)庫信息： 想多看點(diǎn)： 改庫：(數(shù)據(jù)庫名和數(shù)據(jù)庫目錄位置無法修改) 刪庫:（想跑路见秤？）空庫： 非空...
-
讓自己成為一名與眾不同的程序猿。乎澄。突硝。哦不，是攻城獅
-
Spark算子置济、實(shí)例代碼從這里學(xué)習(xí)的解恰，講的真好~ https://www.bilibili.com/video/av62992342/?p=41 單數(shù)據(jù) MAP 1.作用 返回一個(gè)新RDD，該RDD...
-
Spark 持久化（cache和persist的區(qū)別）
1浙于、RDD 持久化 Spark 中一個(gè)很重要的能力是將數(shù)據(jù)持久化（或稱為緩存）修噪，在多個(gè)操作間都可以訪問這些持久化的數(shù)據(jù)。當(dāng)持久化一個(gè) RDD 時(shí)路媚，每個(gè)節(jié)點(diǎn)的其它分區(qū)都可以使用...
-
Hive 企業(yè)級調(diào)優(yōu)總結(jié)(一)1.開啟Fetch抓取 Fetch抓取是指，Hive中對某些情況的查詢可以不必使用MapReduce計(jì)算樊销。例如：SELECT * FROM employees;在這種情況下整慎，...
-
164、Spark SQL實(shí)戰(zhàn)開發(fā)進(jìn)階之新聞網(wǎng)站關(guān)鍵指標(biāo)離線統(tǒng)計(jì)
實(shí)戰(zhàn)背景 新聞網(wǎng)站 版塊 新聞頁面 新用戶注冊 用戶跳出 案例需求分析 每天每個(gè)頁面的PVPV是Page View围苫，是指一個(gè)頁面被所有用戶訪問次數(shù)的總和裤园，頁面被訪問一次就被記...
-
淺析網(wǎng)站分析的運(yùn)營分析指標(biāo)一、電商網(wǎng)站數(shù)據(jù)分析流程： (1)數(shù)據(jù)收集：這個(gè)階段是收集基本的基本數(shù)據(jù)剂府。通常拧揽，這些數(shù)據(jù)是事物的計(jì)數(shù)。這個(gè)階段的目標(biāo)是收集數(shù)據(jù)腺占。 (2)處理數(shù)據(jù)到信息：這個(gè)階段通常需要計(jì)數(shù)并...
-
Hive SQL練習(xí)題
hive學(xué)習(xí)之經(jīng)典sql 50題 hive版 建表: 生成數(shù)據(jù) vi /export/data/hivedatas/student.csv vi /export/data/h...
-
HIVE函數(shù)練習(xí)
單純的練習(xí)淤袜，是從尚硅谷大數(shù)據(jù)課程之Hive（2019新版）學(xué)的，反正我記錄的都是我手敲過的衰伯。铡羡。。 1.空字段賦值 函數(shù)說明： NVL：給值為null的數(shù)據(jù)賦值意鲸。格式是NVL(...
-
不知道這些命令烦周，別說你會Linux
線上查詢及幫助命令 (2 個(gè)) man 查看命令幫助，命令的詞典怎顾，更復(fù)雜的還有 info读慎，但不常用。 help 查看 Linux 內(nèi)置命令的幫助槐雾，比如 cd 命令夭委。 文件和目...
