一地粪、報(bào)錯信息 SparkSql代碼寫入Mysql邏輯如下懈词，代碼會自動生成目標(biāo)Mysql表看疙，報(bào)錯如圖： 報(bào)錯信息： 二、解決方案 原因：代碼自動生成的目標(biāo)表字段和表編碼為lat...
IP屬地：湖南
-
SparkSql寫Mysql報(bào)錯：java.sql.BatchUpdateException: Incorrect string value: '\xE5\xBC\x80\xE5\x8F\x91... -
org.apache.spark.sql.catalyst.catalog.ExternalCatalog as super class
一、報(bào)錯 在進(jìn)行SparkSql代碼調(diào)試時，代碼確認(rèn)無誤執(zhí)行報(bào)如下錯誤：Exception in thread "main" java.lang.IncompatibleCl...
-
org.apache.hadoop.security.HadoopKerberosName.setRuleMechanism(Ljava/lang/String;)V
一书蚪、報(bào)錯 在進(jìn)行SparkSql代碼調(diào)試時，不同的項(xiàng)目相同的pom.xml依賴相同的代碼迅栅，其中一個項(xiàng)目正常執(zhí)行殊校，另一個項(xiàng)目報(bào)錯如下：Exception in thread "...
-
Spark廣播變量應(yīng)用
一箩艺、廣播變量 1、廣播變量的優(yōu)點(diǎn) 不需要每個task帶上一份變量副本宪萄，而是變成每個節(jié)點(diǎn)的executor存一份副本。這樣的話榨惰， 就可以讓變量產(chǎn)生的副本數(shù)量大大減少拜英。 2、廣播...
-
Spark讀寫mysql表數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析
一琅催、Mysql數(shù)據(jù)樣例 數(shù)據(jù)表為job_details居凶，數(shù)據(jù)樣例如下： 需求1：求取每個搜索關(guān)鍵字search_key下的職位數(shù)量，并將結(jié)果入庫mysql藤抡，注意：實(shí)現(xiàn)高效入庫...
-
Hive on MapReduce 性能優(yōu)化一侠碧、MapReduce完整流程 MapTask工作機(jī)制 ReduceTask工作機(jī)制 MapTask工作機(jī)制： （1）Read階段：MapTask通過用戶編寫的RecordR...
-
Hive處理json數(shù)據(jù)
一、測試數(shù)據(jù) 該數(shù)據(jù)采用json格式存儲：id：代表當(dāng)前用戶微博的id缠黍；ids：代表當(dāng)前微博用戶關(guān)注其他微博用戶的id列表弄兜；total_number：關(guān)注微博用戶的總量。 {...
-
Python讀取EXCEL表結(jié)構(gòu)生成DDL一瓷式、說明 近期工作中需要對Excel維護(hù)的數(shù)據(jù)庫表表結(jié)構(gòu)進(jìn)行Oracle的DDL整理替饿，故編寫如下腳本。該腳本識別固定Excel文件贸典，讀取每個sheet頁的數(shù)據(jù)庫表結(jié)構(gòu)信息后拼...
-
MapReduce實(shí)現(xiàn)詞頻統(tǒng)計(jì)
一视卢、MapReduce編程指導(dǎo)思想 MapReduce的開發(fā)一共有八個步驟其中map階段分為2個步驟，shuffle階段4個步驟廊驼，reduce階段分為2個步驟据过。 1. Map...
-
Linux系統(tǒng)常用命令手冊
系統(tǒng)信息 date 顯示系統(tǒng)日期 關(guān)機(jī) (系統(tǒng)的關(guān)機(jī)、重啟以及登出 ) 文件和目錄 文件搜索 掛載一個文件系統(tǒng) 磁盤空間 用戶和群組 文件的權(quán)限 文件的特殊屬性 打包和壓縮文...
-
HiveSQL優(yōu)化方法與實(shí)踐(轉(zhuǎn)載)
前言 昨天我們已分享過一篇高質(zhì)量HiveSQL優(yōu)化的文章：HiveSQL優(yōu)化方法與實(shí)踐[http://mp.weixin.qq.com/s?__biz=Mzg3NjIyNjQ...
-
Hive調(diào)優(yōu)全方位指南(轉(zhuǎn)載)
正文目錄 1妒挎、表層面 1.1 利用分區(qū)表優(yōu)化 1.2 利用分桶表優(yōu)化 1.3 選擇合適的文件存儲格式 1.4 選擇合適的壓縮格式 2绳锅、HQL層面優(yōu)化 2.1 執(zhí)行計(jì)劃 2.1...
-
數(shù)據(jù)倉庫高級工程師面試（轉(zhuǎn)載）
思想和方法論： 如何建設(shè)數(shù)倉，如何構(gòu)建主題域 緩慢變化維 幾種處理方式 什么是維度建模饥漫，星型模型與雪花模型的區(qū)別 數(shù)倉的好處 分層的好處 怎么做數(shù)據(jù)質(zhì)量榨呆，怎么保證及時性和準(zhǔn)確...
-
大數(shù)據(jù)開發(fā)問題整理問題整理 一、大數(shù)據(jù)環(huán)境配置 1.windows本地安裝配置hadoop后，cmd執(zhí)行"hadoop"后報(bào)錯：ERROR:JAVA_HOME is incorrectly s...
-
sql寫出網(wǎng)吧用戶中兩人一定認(rèn)識的組合數(shù)
題目： 現(xiàn)有城市網(wǎng)吧訪問數(shù)據(jù)积蜻，字段：網(wǎng)吧id闯割，訪客id（身份證號），上線時間竿拆，下線時間規(guī)則1宙拉、如果有兩個用戶在一家網(wǎng)吧的前后上下線時間在10分鐘以內(nèi)，則兩人可能認(rèn)識規(guī)則2丙笋、如...
-
Kafka producer消息大小參數(shù)配置
問題： 假如 max.request.size 大于 batch.size谢澈，那么該條消息會不會分多個 batch 發(fā)送到 broker？ 回復(fù)： 如果一個 ProducerR...
-
SQL每日一題(2020-07-17)--獲取中位數(shù)記錄
題目： Employee 表包含所有員工御板。Employee 表有三列：員工Id锥忿，公司名和薪水。 請編寫SQL查詢來查找每個公司的薪水中位數(shù)怠肋。挑戰(zhàn)點(diǎn)：你是否可以在不使用任何內(nèi)置...
-
數(shù)據(jù)中臺 第3章：數(shù)據(jù)中臺建設(shè)與架構(gòu)
1 持續(xù)讓數(shù)據(jù)用起來的價值框架 數(shù)據(jù)中臺作為整個企業(yè)各個業(yè)務(wù)所需數(shù)據(jù)服務(wù)的提供商敬鬓，通過自身的平臺能力和業(yè)務(wù)對數(shù)據(jù)的不斷滋養(yǎng)（業(yè)務(wù)數(shù)據(jù)化），會形成一套高效可靠的數(shù)據(jù)資產(chǎn)體系和數(shù)...