發(fā)簡信
IP屬地：廣東
-
windows本機搭建Hadoop環(huán)境
記錄一下整個過程： 一掺炭、下載Hadoop安裝包 官網(wǎng)下載Hadoop 2.6，并配置相關(guān)環(huán)境變量凭戴，自行百度 下載hadooponwindows-...
-
kettle8.0源碼編譯kettle作為一款開源etl工具涧狮，在數(shù)據(jù)倉庫領(lǐng)域的應(yīng)用還算是比較廣泛的，做過數(shù)倉的朋友應(yīng)該都知道，在做etl開發(fā)的時候者冤，對于參數(shù)變量的引用是時...
-
接入es數(shù)據(jù)到hdfs
最近接到一個需求吧享，需要接入es日志數(shù)據(jù)到hdfs，進行分析譬嚣，網(wǎng)上查找了一下資料钢颂，總結(jié)一下方法大致有如下幾種 hive本身直接支持連接es可直接參...
-
Flume實時接入
今天花了半天時間抽空看了一下flume實時接入，結(jié)合數(shù)據(jù)倉庫中有部分報表有著準實時刷新的需求拜银，需要抽數(shù)階段近乎實時殊鞭，為后面統(tǒng)計計算節(jié)省時間。雖然...
-
【數(shù)據(jù)倉庫】元數(shù)據(jù)血緣分析
現(xiàn)在數(shù)據(jù)倉庫基本上采用Hadoop平臺了尼桶，那么數(shù)據(jù)倉庫里面元數(shù)據(jù)的血緣分析的思路有哪些呢 基本上有下面這兩種思路： 1操灿、解析hql腳本，通過正則...
-
本機調(diào)試spark程序一泵督、idea新建maven項目趾盐，配置pom.xml 二、下載jar包hadoop-common-2.2.0-bin-master.zip 下載地...
-
spark使用JavaAPI統(tǒng)計文本出現(xiàn)的字符頻率最高的前五package com.neo.spark; import org.apache.spark.SparkConf; import org.apa...
-
idea 打包Java程序最近開始學習Java小腊，年紀大了救鲤，感覺學起東西來，有點力不從心了秩冈，好在經(jīng)過努力和同事的幫助下本缠，順利的解決了問題。 idea工具打包的流程： 1入问、F...