Flume flume細(xì)節(jié) Hive 數(shù)據(jù)傾斜Hive優(yōu)化 Hive分區(qū)表新增字段為null的bug及解決方法 SparkSql 數(shù)據(jù)傾斜spark 數(shù)據(jù)傾斜 SparkSt...
發(fā)簡(jiǎn)信
IP屬地：廣東
-
-
Day137:普通女生如何讓自己一步步走向精致？堅(jiān)持這些好習(xí)慣讓你變美變女神！作為一名月薪不高的普通女生蚕礼，沒錢整容别渔，不會(huì)修圖的情況下饲齐，我們要如何一步步變美變成女神呢缓窜？看看這篇文章吧藤违，月野大兔親身經(jīng)歷總結(jié)的喲拯刁！ 一共四大篇章脊岳，分別為外型改造篇/內(nèi)在建設(shè)篇...
-
Kafka【入門】就這一篇！為獲得更好的閱讀體驗(yàn)垛玻，建議您訪問原文地址：傳送門前言：在之前的文章里面已經(jīng)了解到了「消息隊(duì)列」是怎么樣的一種存在（傳送門）割捅，Kafka 作為當(dāng)下流行的一種中間件，我們現(xiàn)在開始...
-
-
面試官絕殺：系統(tǒng)是如何支撐高并發(fā)的？
很多人面試的時(shí)候被問到一個(gè)讓人特別手足無(wú)措的問題：你的系統(tǒng)如何支撐高并發(fā)朗儒？ 大多數(shù)同學(xué)被問到這個(gè)問題壓根兒沒什么思路去回答颊乘，不知道從什么地方說(shuō)起，其實(shí)本質(zhì)就是沒經(jīng)歷過(guò)一些真正...
-
數(shù)據(jù)倉(cāng)庫(kù)1. 數(shù)據(jù)倉(cāng)庫(kù) 1.1. 基本概念 英文名稱為Data Warehouse，可簡(jiǎn)寫為DW或DWH烟勋。數(shù)據(jù)倉(cāng)庫(kù)的目的是構(gòu)建面向分析的集成化數(shù)據(jù)環(huán)境规求，為企業(yè)提供決策支持（Decis...
-
-
MapReduce 排序和序列化代碼實(shí)現(xiàn)&規(guī)約
MapReduce 排序和序列化 序列化 (Serialization) 是指把結(jié)構(gòu)化對(duì)象轉(zhuǎn)化為字節(jié)流 反序列化 (Deserialization) 是序列化的逆過(guò)程. 把字...
-
JobHistory無(wú)法顯示歷史任務(wù)的解決方案
1:修改hadoop的mapred-site.xml文件 在mapred-site.xml中添加以下內(nèi)容 2:將修改后的文件分發(fā)到另外兩臺(tái)主機(jī) 3:重啟hadoop集群 4:...
-
MapReduce 分區(qū)MapReduce 分區(qū) 分區(qū)概述 在 MapReduce 中, 通過(guò)我們指定分區(qū), 會(huì)將同一個(gè)分區(qū)的數(shù)據(jù)發(fā)送到同一個(gè) Reduce 當(dāng)中進(jìn)行處理 例如: 為了數(shù)據(jù)的統(tǒng)計(jì), ...
-
# Hadoop-Mapreduce
Hadoop-Mapreduce 1. MapReduce 介紹 MapReduce思想在生活中處處可見瓦戚。或多或少都曾接觸過(guò)這種思想丛塌。MapReduce的思想核心是“分而治之...
-
HDFS 的 API 操作Hadoop 核心-HDFS 讀是并行的较解，寫是順序的。所以寫很慢赴邻。 1:HDFS 的 API 操作 1.1 配置Windows下Hadoop環(huán)境 在windows系統(tǒng)需要配置...
-
Hadoop 核心-HDFSHadoop 核心-HDFS 1. HDFS概述 1.1 介紹 在現(xiàn)代的企業(yè)環(huán)境中印衔，單機(jī)容量往往無(wú)法存儲(chǔ)大量數(shù)據(jù)，需要跨機(jī)器存儲(chǔ)姥敛。統(tǒng)一管理分布在集群上的文件系統(tǒng)稱為分布式文件...
-
-
zookeeper的數(shù)據(jù)模型
1. zookeeper的數(shù)據(jù)模型 ZooKeeper 的數(shù)據(jù)模型鲤桥，在結(jié)構(gòu)上和標(biāo)準(zhǔn)文件系統(tǒng)的非常相似，擁有一個(gè)層 次的命名空間渠概，都是采用樹形層次結(jié)構(gòu). ZooKeeper 樹...
-
Zookeeper基礎(chǔ)概述及原理Zookeeper 1 Zookeeper 的概述 Zookeeper 是一個(gè)開源的分布式協(xié)調(diào)服務(wù)框架 ，主要用來(lái)解決分布式集群中應(yīng)用系統(tǒng)的一致性問題和數(shù)據(jù)管理問題 2:Zo...
-
服務(wù)器基本介紹
1.服務(wù)器基本介紹 服務(wù)器嫂拴，也稱伺服器播揪，是提供計(jì)算服務(wù)的設(shè)備。由于服務(wù)器需要響應(yīng)服務(wù)請(qǐng)求筒狠，并進(jìn)行處理猪狈，因此一般來(lái)說(shuō)服務(wù)器應(yīng)具備承擔(dān)服務(wù)并且保障服務(wù)的能力。 在網(wǎng)絡(luò)環(huán)境下辩恼，根據(jù)...
