1.數(shù)據(jù)傾斜 什么是數(shù)據(jù)傾斜 在單個節(jié)點(diǎn)任務(wù)所處理的數(shù)據(jù)量遠(yuǎn)大于同類型任務(wù)所處理的數(shù)據(jù)量,導(dǎo)致該節(jié)點(diǎn)成為整個作業(yè)的瓶頸，這是分布式系統(tǒng)不可能避免的問題。從本質(zhì)上說选酗，導(dǎo)致數(shù)據(jù)傾...
發(fā)簡信
IP屬地：廣東
-
Hive優(yōu)化(五)-避免數(shù)據(jù)傾斜 -
Apache Flink 進(jìn)階（一）：Runtime 核心機(jī)制剖析簡介： Flink 的整體架構(gòu)如圖 1 所示燕耿。Flink 是可以運(yùn)行在多種不同的環(huán)境中的颠锉，例如咸产，它可以通過單進(jìn)程多線程的方式直接運(yùn)行陪蜻，從而提供調(diào)試的能力听想。它也可以運(yùn)行在 Ya...
-
-
Spark SQL簡介Spark SQL是Spark生態(tài)系統(tǒng)中非常重要的組件汉买，其前身為Shark衔峰。Shark是Spark上的數(shù)據(jù)倉庫，最初設(shè)計(jì)成與Hive兼容蛙粘，但是該項(xiàng)目于2014年開始停止開發(fā)朽色，...
-
從0到1搭建大數(shù)據(jù)平臺大數(shù)據(jù)時代這個詞被提出已有10年了吧，越來越多的企業(yè)已經(jīng)完成了大數(shù)據(jù)平臺的搭建组题。隨著移動互聯(lián)網(wǎng)和物聯(lián)網(wǎng)的爆發(fā)葫男，大數(shù)據(jù)價值在越來越多的場景中被挖掘，隨著大家都在使用歐冠大數(shù)據(jù)崔列，...
-
-
-
高質(zhì)量的數(shù)據(jù)分析之七種數(shù)據(jù)庫的對比摘要： 在數(shù)據(jù)分析中耿眉，我們可能需要使用各種數(shù)據(jù)庫，目前大概有七種常用數(shù)據(jù)庫鱼响，包括4種常用的關(guān)系型數(shù)據(jù)庫鸣剪，3種常用NoSQL數(shù)據(jù)庫(NoSQL = Not Only SQL 泛...
-
萬丈紅塵三杯酒筐骇，千秋大業(yè)一壺茶
-
一個特立獨(dú)行的數(shù)據(jù)分享者铛纬！
-
spark面試題1、rdd有哪些算子唬滑？ 主要分為轉(zhuǎn)換算子和action算子告唆。 transformation：map、filter晶密、flatmap擒悬、mappartitions、union稻艰、...
-
jennie的現(xiàn)男友连锯，未公開归苍。
-
2020數(shù)據(jù)庫面試題
索引 1. 那你能說說什么是索引嗎用狱？ 索引其實(shí)是一種數(shù)據(jù)結(jié)構(gòu)运怖，能夠幫助我們快速的檢索數(shù)據(jù)庫中的數(shù)據(jù) 2. 那么索引具體采用的哪種數(shù)據(jù)結(jié)構(gòu)呢？ 常見的MySQL主要有兩種結(jié)構(gòu)：...
-
抓住生活的蟬<br><br>歡迎關(guān)注公眾號 ：Tim在路上<br>歡迎關(guān)注知乎賬號：天天來了
-
從源碼解密spark內(nèi)存管理內(nèi)存不過是計(jì)算機(jī)分級存儲系統(tǒng)中的靠近c(diǎn)pu的一個存儲介質(zhì)。1.spark運(yùn)行起來內(nèi)存里都存的啥溺忧？2.如何管理里面所存的東西咏连？3.spark用java和scala這樣的jvm語...
-
hive調(diào)優(yōu)實(shí)戰(zhàn)系列文章-hive調(diào)優(yōu)和問題排查思路本文將介紹Hive調(diào)優(yōu)的整體過程，以及本人對Hive調(diào)優(yōu)過程的一些思考鲁森，包括Hive調(diào)優(yōu)的一般步驟祟滴，和調(diào)優(yōu)方法。 1歌溉，Hive一般優(yōu)化方法 1垄懂，查看HiveSQL執(zhí)行計(jì)劃 H...
-
-
hive調(diào)優(yōu)實(shí)戰(zhàn)系列文章-hive數(shù)據(jù)準(zhǔn)備本文主要講解利用python 生成hive數(shù)據(jù)草慧，主要包括python數(shù)據(jù)生成桶蛔，數(shù)據(jù)上傳hdfs，hive建庫建表漫谷，hive導(dǎo)入數(shù)據(jù)仔雷，hive驗(yàn)證數(shù)據(jù)的正確性。 hive建庫建...
-
-
大數(shù)據(jù)之Hive03-分區(qū)partition詳解（靜態(tài)分區(qū)，動態(tài)分區(qū)）一斩郎、前言 Hive分區(qū)是為了方便數(shù)據(jù)管理Hive的分區(qū)方式：由于Hive實(shí)際是存儲在HDFS上的抽象脑融，Hive的一個分區(qū)名對應(yīng)一個目錄名，子分區(qū)名就是子目錄名缩宜，并不是一個實(shí)際...
