介紹 最近涉及 Nginx 輸出的埋點(diǎn)日志内斯，實(shí)時(shí)接入 Kafka姐直，我需要實(shí)時(shí)解析 Kafka 中埋點(diǎn)日志，但是在解析過(guò)程中铭段，出現(xiàn) \x22 這樣的字符崭歧，使我不能將字符串解析...
發(fā)簡(jiǎn)信
IP屬地：上海
-
Java或Scala师幕，如何將\x22這樣的字符轉(zhuǎn)換為字符串蜕径？
-
深入理解 Java 中的 final 關(guān)鍵字
概述 Java 中的 final 關(guān)鍵字非常重要，它可以應(yīng)用與類温数、方法以及變量绣硝。這篇文章中我將帶你看看： 什么是 final 關(guān)鍵字？ 將變量撑刺、方法和類聲明為 final 代...
-
Java 不可變類（immutable）機(jī)制與 String 的不可變性
不可變類介紹 不可變類： 所謂的不可變類是指這個(gè)類的實(shí)例一旦創(chuàng)建完成后鹉胖，就不能修改其成員變量值。如JDK 內(nèi)部自帶的很多不可變類：Integer、Long 和 String ...
-
-
SQL 中 on 條件與 where 條件的區(qū)別說(shuō)明 最近在做 Hive 事實(shí)表 left join 多張維表時(shí)，出現(xiàn)了部分?jǐn)?shù)據(jù)丟失的情況（結(jié)果表數(shù)據(jù)量比原始事實(shí)表少 10000 多條）寂诱，針對(duì)該問(wèn)題研究拂苹，讓我對(duì) SQL o...
-
Hive 查詢數(shù)據(jù)導(dǎo)出到本地目錄或 hdfs 的方法
說(shuō)明 在最近的項(xiàng)目中，需要將最終生成的 Hive 表數(shù)據(jù)導(dǎo)出到文件中刹衫，具體實(shí)現(xiàn)請(qǐng)參見(jiàn)下方 SQL醋寝。 查詢結(jié)果導(dǎo)入到 hdfs 文件 一般方式： 自定義輸出樣式方式： 查詢結(jié)果...
-
Unix 時(shí)間戳轉(zhuǎn) UTC 時(shí)間
說(shuō)明 在最近的項(xiàng)目中，時(shí)間數(shù)據(jù)是以秒的形式展現(xiàn)的带迟，需要將時(shí)間轉(zhuǎn)換成 UTC + 0800 的形式音羞，才有了如下代碼。 代碼實(shí)現(xiàn)
-
Scala編程中常見(jiàn)錯(cuò)誤：Error:(28, 21) value foreach is not a member of java.util.List[String]
問(wèn)題展示 在 Scala 編程中經(jīng)常會(huì)使用 Java 的集合類型仓犬，但是使用中會(huì)出現(xiàn)如下錯(cuò)誤： java.util.List[String] 2.java.util.Set[S...
-
Apache Flink 1.7.0 發(fā)布公告
Apache Flink社區(qū)很高興地宣布Apache Flink 1.7.0嗅绰。最新版本包括超過(guò)420個(gè)已解決的問(wèn)題以及Flink的一些令人興奮的新增內(nèi)容，我們將在本文的以下部...
-
rz和sz 的安裝及使用
簡(jiǎn)介 rz,sz 是 Linux/Unix 同 Windows 進(jìn)行 ZModem 文件傳輸?shù)拿钚泄ぞ卟蠹獭?yōu)點(diǎn)：不用再打開一個(gè) sftp 工具登錄上去上傳下載文件窘面。 rz：運(yùn)...
-
Shell 中 if 語(yǔ)句的使用
基本用法 Shell 的 if 語(yǔ)法 和 C 語(yǔ)言等高級(jí)語(yǔ)言非常相似，唯一需要注意的地方就是 Shell 的 if 語(yǔ)句對(duì)空格方面的要求比較嚴(yán)格（其實(shí) Shell 對(duì)所有語(yǔ)法...
-
DataX 流量和臟數(shù)據(jù)控制
job的配置 Job基本配置Job基本配置定義了一個(gè)Job基礎(chǔ)的叽躯、框架級(jí)別的配置信息财边，包括： Job Setting配置 job.setting.speed(流量控制)Job...
-
MySQL 中 Insert into select from 的使用
如何在 MySQL 通過(guò)一個(gè) SQL 語(yǔ)句，實(shí)現(xiàn)從多個(gè)表中組合字段然后插入到一個(gè)新表中点骑。具體情形是：有三張表 a酣难、b、c黑滴，現(xiàn)在需要從表 b 和 表 c 中分別查幾個(gè)字段的值插...
-
DataX HdfsWriter 插件文檔
快速介紹 HdfsWriter 提供向 HDFS 文件系統(tǒng)指定路徑中寫入 TEXTFILE 文件和 ORCFile 文件憨募，文件內(nèi)容可與 Hive 表關(guān)聯(lián)。 功能限制 (1) ...
-
MysqlReader 插件文檔
快速介紹 MysqlReader 插件實(shí)現(xiàn)了從 MySQL 讀取數(shù)據(jù)袁辈。在底層實(shí)現(xiàn)上菜谣，MysqlReader 通過(guò) JDBC 連接遠(yuǎn)程 MySQL 數(shù)據(jù)庫(kù)，并執(zhí)行相應(yīng)的 SQL...
-
Power Designer16.5設(shè)計(jì)CDM多個(gè)實(shí)體屬性不能重名問(wèn)題概述 最近項(xiàng)目使用到 PD 晚缩，在使用PD 的實(shí)體模型時(shí)尾膊，多個(gè)實(shí)體中不能出現(xiàn)重名屬性的問(wèn)題，下方是解決方案荞彼。 操作 1.菜單欄：Tools——>Model Options 2....
-
ETL設(shè)計(jì)詳解（數(shù)據(jù)抽取冈敛、清洗與轉(zhuǎn)換）
概述 ETL是BI項(xiàng)目最重要的一個(gè)環(huán)節(jié)，通常情況下ETL會(huì)花掉整個(gè)項(xiàng)目的1/3的時(shí)間卿泽，ETL設(shè)計(jì)的好壞直接關(guān)接到BI項(xiàng)目的成敗莺债。ETL也是一個(gè)長(zhǎng)期的過(guò)程，只有不斷的發(fā)現(xiàn)問(wèn)題并...
-
Shell ETL 操作
刪除文件第一行記錄签夭，即字段名稱 處理的文件第一行都是字段名稱齐邦，我們?cè)谖募械臄?shù)據(jù)導(dǎo)入到數(shù)據(jù)倉(cāng)庫(kù)Hive中時(shí)，不需要第一行字段名稱第租，因此措拇，這里在做數(shù)據(jù)預(yù)處理時(shí)，刪除第一行慎宾。命令...
-
grep -v丐吓、-e、-E
概述 在Linux的grep命令中如何使用or趟据，and券犁，not操作符呢？ 其實(shí)汹碱，在grep命令中粘衬，有or和not操作符的等價(jià)選項(xiàng)，但是并沒(méi)有g(shù)rep and這種操作符咳促。不過(guò)呢...
