大數(shù)據(jù)平臺 - 專題

投稿

收錄了9篇文章 · 45人關(guān)注

Hive處理25億數(shù)據(jù)之性能優(yōu)化
項目背景有個關(guān)于分布式鏈路追蹤呢項目香追，公司微服務(wù)460個左右妻坝，zipkin 日增數(shù)據(jù)約1.6T，約25億左右數(shù)據(jù)铣鹏。通過清洗敷扫，輸出不同5大維度...

2.3 不務(wù)正業(yè)的coder 1 14
一個大數(shù)據(jù)小白到架構(gòu)的經(jīng)歷
心血來潮，寫篇文章記錄下個人大數(shù)據(jù)方面的經(jīng)歷诚卸。 0X01 背景在2016年初葵第，開始接觸大數(shù)據(jù)，那時候?qū)Υ髷?shù)據(jù)完全一篇空白合溺。在此之前做了4年多的...

1.4 不務(wù)正業(yè)的coder 4 28

Wget下載oracle JDK1.8出現(xiàn)tar解壓出錯的問題
錯誤方式 wget http://download.oracle.com/otn-pub/java/jdk/8u181-b13/96a7b844...

不務(wù)正業(yè)的coder 0 0
DataGrip過濾顯示數(shù)據(jù)庫對象
SQL開發(fā)神器DataGrip配置要顯示的表卒密。數(shù)據(jù)倉庫龐大，數(shù)以萬計的表棠赛，而具體到某個開發(fā)任務(wù)中一般只涉及一小部分表哮奇。于是利用DG的Object...

0.3 迷之老王 0 3
數(shù)據(jù)倉庫知識體系
現(xiàn)在所謂的大數(shù)據(jù)，AI睛约，之類其實都不是什么新鮮事物鼎俘，只不過現(xiàn)在的人太能喊口號。這些無非是操作大量數(shù)據(jù)辩涝，或者在大量數(shù)據(jù)基礎(chǔ)上構(gòu)建的應(yīng)用贸伐。說白了，數(shù)...

0.1 迷之老王 15 4
數(shù)倉數(shù)據(jù)質(zhì)量檢查
數(shù)據(jù)倉庫上下游表間數(shù)據(jù)質(zhì)量檢查產(chǎn)生于下游表生成過程中怔揩，也是下游表本身的數(shù)據(jù)質(zhì)量控制問題捉邢，上下游的關(guān)系并不僅限于數(shù)據(jù)倉庫各層數(shù)據(jù)表，還包括同一層的...

0.3 王吉吉real 0 7
Hbase 系列-架構(gòu)圖
HBase? is the Hadoop database 商膊，當你需要random伏伐、realtime read/write 訪問你的大表時，特別...

不務(wù)正業(yè)的coder 1 2

HBASE 系列-Region是如何split的晕拆？
1. 簡介當RegionServer接收客戶的write請求后秘案，會在memstore中不斷的堆積。直到達到flush閾值時，便會flush到d...

不務(wù)正業(yè)的coder 0 3
HBASE 系列-入門
HBase最新穩(wěn)定版本是2017年7月份的1.2.6版本阱高。很多用戶還是0.92.x 赚导。盡管版本不同，原理確是相似的赤惊。若覺得長吼旧，可挑重點看。下載地...

0.1 不務(wù)正業(yè)的coder 0 6
數(shù)據(jù)埋點就是這么簡單
廢話不說未舟，直接上模板圈暗，拿去，不謝裕膀。公共參數(shù) key : 業(yè)務(wù)IDevent: 事件類型time: 事件事件员串，long類型dataFrom:數(shù)據(jù)...

0.1 不務(wù)正業(yè)的coder 0 7