發(fā)簡(jiǎn)信
IP屬地：湖北
-
OLAP選型及使用場(chǎng)景背景 對(duì)于億級(jí)規(guī)模的數(shù)據(jù)量眷蜓，使用傳統(tǒng)數(shù)據(jù)庫(kù)分析會(huì)比較低效且耗時(shí)。 這時(shí)就引入了OLAP引擎硬梁，本文以impala和spark為主進(jìn)行介紹合武。 OLA...
-
業(yè)務(wù)報(bào)表的開發(fā)流程
當(dāng)接到復(fù)雜的業(yè)務(wù)需求需要產(chǎn)出多張報(bào)表時(shí)临梗，首先需要將需求理解透徹，然后梳理清楚包含哪些指標(biāo)稼跳，然后設(shè)計(jì)報(bào)表的物理存儲(chǔ)結(jié)構(gòu)盟庞。 具體從以下角度出發(fā)： 1...
-
售樓處說(shuō)房子只剩幾套了是真的嗎？一篇短文告訴你答案汤善！真真假假一查便知什猖。 筆者以武漢為例說(shuō)一下如何查證。 搜索武漢房管局红淡，第一條就是不狮，點(diǎn)擊即可。 找到辦事服務(wù)在旱，點(diǎn)擊商品房項(xiàng)目查詢 找到你想要的樓盤 ...
-
hive 調(diào)優(yōu)匯總
1.使用explain查看執(zhí)行計(jì)劃 建表優(yōu)化 2.開啟動(dòng)態(tài)分區(qū)配置,使用分區(qū)過(guò)濾3.分桶表 語(yǔ)法優(yōu)化 a. 分區(qū)過(guò)濾和列過(guò)濾摇零，減少數(shù)據(jù)量和降低讀...
-
Spark內(nèi)存管理
Spark UI 上面顯示的 Storage Memory 可用內(nèi)存其實(shí)等于 Execution 內(nèi)存和 Storage 內(nèi)存之和，也就是 us...
-
hive 常見問(wèn)題匯總
hive timestamp 與impala顯示不一致 hive ''和null 不一致 導(dǎo)入hive \n\r 特殊字符 hive 動(dòng)態(tài)分區(qū)插入
-
《知音號(hào)》小游記
知音號(hào)里面的劇情是上世紀(jì)二三十年代的大武漢桶蝎，船上有不同的角色驻仅，名伶、報(bào)童登渣、商賈…… 你可以自由地穿梭在各個(gè)角落噪服，在演員之間駐足，甚至與他們共舞對(duì)...
-
Flink Streaming SQL Join傳統(tǒng)的離線 Batch SQL （面向有界數(shù)據(jù)集的 SQL）有三種基礎(chǔ)的實(shí)現(xiàn)方式胜茧，分別是 Nested-loop Join(嵌套循環(huán))粘优、Sort...
-
flink的時(shí)間語(yǔ)義和window,WartermarkWindow概述 streaming流式計(jì)算是一種被設(shè)計(jì)用于處理無(wú)限數(shù)據(jù)集的數(shù)據(jù)處理引擎，而無(wú)限數(shù)據(jù)集是指一種不斷增長(zhǎng)的本質(zhì)上無(wú)限的數(shù)據(jù)集呻顽，而w...