發(fā)簡(jiǎn)信
IP屬地：廣東
-
windows本機(jī)搭建Hadoop環(huán)境
記錄一下整個(gè)過程： 一、下載Hadoop安裝包 官網(wǎng)下載Hadoop 2.6树酪，并配置相關(guān)環(huán)境變量择镇，自行百度 下載hadooponwindows-...
-
kettle8.0源碼編譯kettle作為一款開源etl工具压恒，在數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域的應(yīng)用還算是比較廣泛的影暴，做過數(shù)倉(cāng)的朋友應(yīng)該都知道，在做etl開發(fā)的時(shí)候探赫，對(duì)于參數(shù)變量的引用是時(shí)...
-
接入es數(shù)據(jù)到hdfs
最近接到一個(gè)需求型宙，需要接入es日志數(shù)據(jù)到hdfs，進(jìn)行分析伦吠，網(wǎng)上查找了一下資料妆兑，總結(jié)一下方法大致有如下幾種 hive本身直接支持連接es可直接參...
-
Flume實(shí)時(shí)接入
今天花了半天時(shí)間抽空看了一下flume實(shí)時(shí)接入，結(jié)合數(shù)據(jù)倉(cāng)庫(kù)中有部分報(bào)表有著準(zhǔn)實(shí)時(shí)刷新的需求讨勤，需要抽數(shù)階段近乎實(shí)時(shí)箭跳，為后面統(tǒng)計(jì)計(jì)算節(jié)省時(shí)間。雖然...
-
【數(shù)據(jù)倉(cāng)庫(kù)】元數(shù)據(jù)血緣分析
現(xiàn)在數(shù)據(jù)倉(cāng)庫(kù)基本上采用Hadoop平臺(tái)了潭千，那么數(shù)據(jù)倉(cāng)庫(kù)里面元數(shù)據(jù)的血緣分析的思路有哪些呢 基本上有下面這兩種思路： 1谱姓、解析hql腳本，通過正則...
-
本機(jī)調(diào)試spark程序一刨晴、idea新建maven項(xiàng)目屉来，配置pom.xml 二、下載jar包hadoop-common-2.2.0-bin-master.zip 下載地...
-
spark使用JavaAPI統(tǒng)計(jì)文本出現(xiàn)的字符頻率最高的前五package com.neo.spark; import org.apache.spark.SparkConf; import org.apa...
-
idea 打包Java程序最近開始學(xué)習(xí)Java狈癞，年紀(jì)大了茄靠，感覺學(xué)起東西來，有點(diǎn)力不從心了蝶桶，好在經(jīng)過努力和同事的幫助下慨绳，順利的解決了問題。 idea工具打包的流程： 1、F...