發(fā)簡信
IP屬地：陜西
-
正則表達(dá)式解析包含中英文的unicode字符串
在抽取oracle等數(shù)據(jù)庫時呵曹，由于編碼問題需要處理unicode字符串殊橙，將字符串中的特殊符號和中文還原殖妇。例如：如下UNISTR字符串 UNIST...
-
本地用spark訪問開啟Kerberos認(rèn)證的華為云端hive本地IDEA搭建開發(fā)環(huán)境，實現(xiàn)local模式spark對開啟Kerberos認(rèn)證的云端hive數(shù)據(jù)進(jìn)行讀寫操作改橘。 一滋尉、環(huán)境版本：本地PC: wi...
-
CDH-hdfs配置HA后，hive查詢報錯在CDH平臺上配置HA后飞主，hdfs服務(wù)正常運行狮惜，hive服務(wù)可以正常連接，但是進(jìn)行查詢時報錯÷凳叮現(xiàn)象：查詢時卡主不動碾篡，然后報錯顯示舊的那么name...
-
CDH平臺-Hue集成Oracle報錯:no oracle client library found on host:…
在Hue的編輯器中可以集成Oralce進(jìn)行查詢，集成過程中報錯：no oracle client library found on host:…...
-
Spark SQL UDF函數(shù)的兩種注冊方式
SparkSQL中可以創(chuàng)建自定義函數(shù)UDF對dataframe進(jìn)行操作筏餐，UDF是一對一的關(guān)系开泽，用于給dataframe增加一列數(shù)據(jù)的場景。 每次...
-
Spark中Rdd轉(zhuǎn)換為DataFrame的兩種方式
1. Spark SQL中魁瞪，將已存在的RDD轉(zhuǎn)換為DataFrame的兩種方式穆律。 Inferring the Schema Using Refl...
-
Spark中Rdd、Dataframe佩番、Dataset的區(qū)別1. 概述 本文章將從多個角度介紹Spark中RDD众旗，DataFrame和Dataset的概念以及它們之間的區(qū)別罢杉。例如趟畏，數(shù)據(jù)表示，不變性和互操作...
-
SparkSQL DataFrame新增一列的四種方法
SparkSQL中滩租，有時需要根據(jù)需求基于原數(shù)據(jù)新增一些列赋秀，下面介紹一下dataframe新增列的四種方法，根據(jù)情況可采用不同的方法實現(xiàn)需求律想。
-
Spark通過jdbc采用分區(qū)的方式從oracle讀數(shù)據(jù)
spark通過jdbc可以從oracle中直接讀取數(shù)據(jù)猎莲，返回dataframe。有時由于數(shù)據(jù)量較大技即，我們可以采用分區(qū)方式通過jdbc多線程并行從...