你好 嗯嗯 好的 然后了
發(fā)簡(jiǎn)信
IP屬地：上海
-
自定義輸出多個(gè)MySQL表的OutputFormat
輸出MySQL的表 需要向MySQLstats_visitor_basic表和stats_visitor_browser表中插入數(shù)據(jù)问慎，插入數(shù)據(jù)的sql語(yǔ)句為： query-m...
-
Hadoop RPC服務(wù)
多個(gè)Reducer操作同一張表可能出現(xiàn)的錯(cuò)誤 假設(shè)有兩個(gè)Reducer竞端，R1和R2铣焊，都需要操作MySQL的Dimension表（封裝成getDimensionId()方法）：...
-
2-Flume上傳
Flume監(jiān)聽Nginx日志 要求：1. 日志文件每十分鐘生成一次拢蛋，日志內(nèi)容達(dá)到 1M 時(shí)也生成一次2. HDFS上的日志文件名稱為:nginx_%Mxxx.log楞遏，%M 為...
-
1-數(shù)據(jù)收集
Nginx配置 修改${nginx_home}/conf/nginx.conf配置文件 找到http節(jié)點(diǎn)，添加日志格式# 定義日志格式# log_format為固定參數(shù)# u...
-
3-日志解析
日志格式 數(shù)據(jù)清洗 對(duì)日志進(jìn)行解析资锰，得到ip信息（所在國(guó)家敢课、省份和城市）、事件類型等，并且過(guò)濾無(wú)效日志直秆。將解析后的結(jié)果存入HBase胖翰，為后續(xù)任務(wù)提供數(shù)據(jù)。 HBase結(jié)構(gòu)設(shè)計(jì)...
-
MapReduce任務(wù)的三種運(yùn)行方式
本地運(yùn)行 解壓Hadoop安裝包hadoop-2.5.0-cdh5.3.6.tar.gz 設(shè)置HADOOP_HOME環(huán)境變量（最好在用戶變量和系統(tǒng)變量中均設(shè)置）和系統(tǒng)Path...
-
MAVEN-命令行創(chuàng)建工程
命令行創(chuàng)建MAVEN項(xiàng)目 直接定義groupId切厘、artifactId萨咳、version 說(shuō)明 groupId公司名稱反寫+項(xiàng)目名稱 artifactId項(xiàng)目名稱-模塊名稱 v...
-
MAVEN-命令行創(chuàng)建工程
命令行創(chuàng)建MAVEN項(xiàng)目 直接定義groupId、artifactId疫稿、version 說(shuō)明 groupId公司名稱反寫+項(xiàng)目名稱 artifactId項(xiàng)目名稱-模塊名稱 v...
-
招聘
校園招聘 南京信息工程大學(xué)就業(yè)網(wǎng) 南京大學(xué)就業(yè)網(wǎng) 成都信息工程大學(xué)就業(yè)網(wǎng) 氣象論壇 中國(guó)氣象論壇求職板塊 氣象家園求職板塊 氣象類公司 無(wú)錫文彥環(huán)迸嗨科技有限公司 無(wú)錫中科光電...