眼君的大數(shù)據(jù)之路 - 專題

投稿

收錄了34篇文章 · 6人關(guān)注

實(shí)操 - Centos7虛擬機(jī)搭建Spark2.0.1-without Hadoop集群環(huán)境
在進(jìn)行以下操作前，以經(jīng)在虛擬機(jī)中安裝了Hadoop集群環(huán)境万栅。下載解壓將spark下載解壓到虛擬機(jī)中：修改配置文件以下命令進(jìn)入spark配...

眼君 0 0
實(shí)操 - Centos7虛擬機(jī)搭建Hadoop集群環(huán)境
一休溶、安裝虛擬機(jī) 點(diǎn)擊從光盤或映像中安裝撒遣，選擇創(chuàng)建虛擬機(jī)的鏡像繼續(xù)下一步，點(diǎn)擊自定設(shè)置义黎，修改虛擬機(jī)的名稱打開(kāi)虛擬機(jī)設(shè)置菜單打開(kāi)虛擬機(jī)設(shè)置菜單....

0.1 眼君 0 1

Centos7虛擬機(jī)配置Linux網(wǎng)絡(luò)配置筆記
一些命令:ifconfig命令：查看與配置網(wǎng)絡(luò)狀態(tài)命令ifconfig eth0 192.168.0.200 netmask 255.255.2...

眼君 0 0
Flink的API
Source API 以下scala代碼展示了幾種source類型： flink從kafka獲取源數(shù)據(jù) 首先pow文件需要添加如下依賴：以下代...

眼君 0 0
Flink的簡(jiǎn)單使用
Scala編寫批處理和流處理wordcount 這部分层释，我們?cè)趇dea上使用Maven編寫Scala程序?qū)崿F(xiàn)批處理wordcount功能。 po...

0.3 眼君 0 2
MapReduce開(kāi)發(fā)筆記(使用Eclipse編寫執(zhí)行Hadoop)
環(huán)境搭建 1、測(cè)試Hadoop集群環(huán)境首先我們已經(jīng)成功部署安裝了一個(gè)hadoop集群猴蹂，然后本地可以連接到集群的Master節(jié)點(diǎn)。假設(shè)集群Mas...

0.1 眼君 0 2
Sqoop安裝與使用
概述 Sqoop是一款開(kāi)源的工具磅轻，主要用于在Hadoop(Hive)與傳統(tǒng)的數(shù)據(jù)庫(kù)(mysql、postgresql…)間進(jìn)行數(shù)據(jù)的傳遞聋溜，可以將...

0.7 眼君 0 5

Hive的安裝和部署
MySQL的安裝和部署 MySQL下載 hive的元數(shù)據(jù)一般存儲(chǔ)在MySQL中摹量，所以我們需要先安裝一個(gè)MySQL：如果centos報(bào)如下錯(cuò)誤：...

0.1 眼君 0 1
數(shù)據(jù)漂移問(wèn)題與解決
什么是數(shù)據(jù)漂移通常我們把從源系統(tǒng)同步進(jìn)入數(shù)倉(cāng)的第一層數(shù)據(jù)稱為 ODS或者staging層數(shù)據(jù)凝果，接入層。數(shù)據(jù)漂移是接入層數(shù)據(jù)的一個(gè)頑疾器净。數(shù)據(jù)...

0.1 眼君 0 2
Kafka使用筆記(三纠俭、消費(fèi)者詳解)
概念消費(fèi)者和消費(fèi)組 kafka消費(fèi)者是消費(fèi)組的一部分浪慌，當(dāng)多個(gè)消費(fèi)者形成一個(gè)消費(fèi)組來(lái)消費(fèi)主題時(shí)冤荆，每個(gè)消費(fèi)者會(huì)接收到不同分區(qū)的消息权纤。假設(shè)有一個(gè)T1...

0.1 眼君 0 1