發(fā)簡(jiǎn)信
IP屬地：廣東
-
JMeter之模擬用戶登錄后進(jìn)行接口壓測(cè)本文記錄了使用JMeter來(lái)模擬用戶登錄扁誓，并從登錄接口返回的JSON數(shù)據(jù)提取Token供其它線程組使用昔搂。 主要內(nèi)容： 1.登錄提取token設(shè)置...
-
Sqoop之環(huán)境搭建
本文介紹了使用Sqoop導(dǎo)入MYSQL數(shù)據(jù)到Hive&Hbase之中瞻凤。 主要內(nèi)容： 1.下載 1.下載 下載地址 2.安裝 2.1.解壓 2.2...
-
Hbase之使用Phoenix連接
本文介紹了如何使用Phoenix來(lái)連接Hbase并完成增刪改查 1.概述 Phoenix作為應(yīng)用層和HBASE之間的中間件,以下特性使它在大數(shù)據(jù)...
-
MyCat實(shí)現(xiàn)分庫(kù)分表讀寫(xiě)分離
本文介紹了如何使用MyCat中間件來(lái)實(shí)現(xiàn)分庫(kù)分表蹬音、讀寫(xiě)分離等功能。 1.安裝 下載地址 http://mycat.io/ 下載完成解壓即可。 2...
-
Hive之外部分區(qū)表本文介紹了如何在Hive里新建一個(gè)外部分區(qū)表并加載數(shù)據(jù) 1.建表 新建一個(gè)名為external_blog_record的數(shù)據(jù)庫(kù)表并制定分區(qū)參數(shù)d...
-
SparkSQL之雙重Group解決數(shù)據(jù)傾斜
本文介紹了如何使用自定義UDF來(lái)給key新增隨機(jī)數(shù)前綴，并使用雙重Group來(lái)解決數(shù)據(jù)傾斜庶骄。 主要內(nèi)容： 1.自定義UDF 2.數(shù)據(jù)流程 3.S...
-
SparkSQL之自定義UDF
當(dāng)SparkSQL里內(nèi)置的函數(shù)無(wú)法滿足我們業(yè)務(wù)需求時(shí)，我們可以通過(guò)自定義UDF來(lái)實(shí)現(xiàn)践磅。 1单刁、自定義ConcatLongStringUDF 這里自...
-
Spark之自定義AccumulatorV2
本文介紹如何使用Spark2中自定義累加器來(lái)實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)計(jì)。 Spark2.x之后府适，之前的的accumulator被廢除羔飞，用Accumulato...
-
Maven常用配置
本文介紹了使用Maven作為構(gòu)建工具的常用配置，包括指定jdk版本檐春，jar包和依賴分開(kāi)打包逻淌，多環(huán)境打包，配置私服疟暖，發(fā)布到私服等配置卡儒。 主要內(nèi)容：...