IP屬地：貴州
-
SparkSql寫Mysql報錯：java.sql.BatchUpdateException: Incorrect string value: '\xE5\xBC\x80\xE5\x8F\x91...一、報錯信息 SparkSql代碼寫入Mysql邏輯如下女责，代碼會自動生成目標(biāo)Mysql表，報錯如圖： 報錯信息： 二、解決方案 原因：代碼自動生...
-
org.apache.spark.sql.catalyst.catalog.ExternalCatalog as super class
一谊却、報錯 在進(jìn)行SparkSql代碼調(diào)試時永丝，代碼確認(rèn)無誤執(zhí)行報如下錯誤：Exception in thread "main" java.lang...
-
org.apache.hadoop.security.HadoopKerberosName.setRuleMechanism(Ljava/lang/String;)V
一翰绊、報錯 在進(jìn)行SparkSql代碼調(diào)試時迅诬，不同的項目相同的pom.xml依賴相同的代碼，其中一個項目正常執(zhí)行婿牍，另一個項目報錯如下：Except...
-
Spark讀寫HBase表數(shù)據(jù)
一侈贷、Maven依賴 二、Spark代碼
-
Spark廣播變量應(yīng)用
一等脂、廣播變量 1俏蛮、廣播變量的優(yōu)點 不需要每個task帶上一份變量副本，而是變成每個節(jié)點的executor存一份副本上遥。這樣的話搏屑， 就可以讓變量產(chǎn)生...
-
Spark讀寫mysql表數(shù)據(jù)進(jìn)行統(tǒng)計分析
一、Mysql數(shù)據(jù)樣例 數(shù)據(jù)表為job_details粉楚，數(shù)據(jù)樣例如下： 需求1：求取每個搜索關(guān)鍵字search_key下的職位數(shù)量辣恋，并將結(jié)果入庫...
-
Hive on MapReduce 性能優(yōu)化一、MapReduce完整流程 MapTask工作機(jī)制 ReduceTask工作機(jī)制 MapTask工作機(jī)制： （1）Read階段：MapTas...
-
Hive處理json數(shù)據(jù)
一模软、測試數(shù)據(jù) 該數(shù)據(jù)采用json格式存儲：id：代表當(dāng)前用戶微博的id伟骨；ids：代表當(dāng)前微博用戶關(guān)注其他微博用戶的id列表；total_numb...
-
Python讀取EXCEL表結(jié)構(gòu)生成DDL一燃异、說明 近期工作中需要對Excel維護(hù)的數(shù)據(jù)庫表表結(jié)構(gòu)進(jìn)行Oracle的DDL整理携狭，故編寫如下腳本。該腳本識別固定Excel文件回俐，讀取每個sh...