測(cè)試數(shù)據(jù)準(zhǔn)備 在正式開(kāi)始之前臭埋，請(qǐng)先下載好上述所需要的文件燥翅。我們首先用命令docker-compose up -d啟動(dòng)docker笨篷。我們可以利用以下命令從 Terminal 進(jìn)...
IP屬地：上海
-
【Flink 1.12】深度解析 Flink Upsert-kafka
-
百億級(jí)圖數(shù)據(jù)JanusGraph遷移之旅百億級(jí)圖數(shù)據(jù) JanusGraph 遷移之旅 1. 遷移背景介紹 目前我們的圖數(shù)據(jù)庫(kù)數(shù)據(jù)量為 頂點(diǎn) 20 億碟嘴，邊 200 億的規(guī)模俐银。在遷移之前我們使用的 AgensGraph...
-
Spark小文件異步合并工具類(lèi)
簡(jiǎn)介 由于Spark應(yīng)用寫(xiě)數(shù)據(jù)到Hive表時(shí)链沼，容易因?yàn)閟huffle數(shù)過(guò)多導(dǎo)致生成過(guò)多小文件了讨，影響集群存儲(chǔ)利用率；故需要一個(gè)能避免讀寫(xiě)沖突的小文件合并工具钧排。 工具類(lèi) 調(diào)用 T...
-
hbase-spark bulk load(二)概述 之前寫(xiě)過(guò)spark批量導(dǎo)入Hbase的案例：Spark敦腔、BulkLoad Hbase、單列恨溜、多列会烙，實(shí)現(xiàn)了多列的操作。整個(gè)過(guò)程涉及到排序筒捺、分解等操作相對(duì)復(fù)雜。 最近看官網(wǎng)...
-
ELK入門(mén)系列（03）——Logstash的快速安裝1纸厉、前言 Logstash是一個(gè)開(kāi)源的服務(wù)器端數(shù)據(jù)處理管道系吭，可以同時(shí)從多個(gè)數(shù)據(jù)源獲取數(shù)據(jù)，并對(duì)其進(jìn)行轉(zhuǎn)換颗品，然后將其發(fā)送到你最喜歡的“存儲(chǔ)”肯尺。（當(dāng)然，我們最喜歡的是Elasti...
-
spark broadcast join優(yōu)化
在大量數(shù)據(jù)中對(duì)一些字段進(jìn)行關(guān)聯(lián)躯枢。 舉例 ipTable：需要進(jìn)行關(guān)聯(lián)的幾千條ip數(shù)據(jù)(70k)hist：歷史數(shù)據(jù)（百億級(jí)別） 直接join將會(huì)對(duì)所有數(shù)據(jù)進(jìn)行shuffle则吟，需...
-
Shiro 這個(gè)安全框架小而美寫(xiě)在前面 在一款應(yīng)用的整個(gè)生命周期，我們都會(huì)談及該應(yīng)用的數(shù)據(jù)安全問(wèn)題锄蹂。用戶的合法性與數(shù)據(jù)的可見(jiàn)性是數(shù)據(jù)安全中非常重要的一部分氓仲。但是，一方面得糜，不同的應(yīng)用對(duì)于數(shù)據(jù)的合法性和可見(jiàn)性...
