發(fā)簡信
IP屬地：河北
-
-
是時候表演真正的技術(shù)了
-
我在本地跑解決了這個問題怀骤，集群上跑還是報這個錯
解決：java jdbc操作phoenix報錯：Cannot initiate connection as SYSTEM:CATALOG is found but client does not...
集群是cdh啥辨，安裝好之后需要使用jdbc操作phoenix查詢hbase中的數(shù)據(jù)谓松，寫了個測試代碼如下： 運行報錯 百度之后發(fā)現(xiàn)有人使用的方法是設(shè)置phoenix.schema...
-
從java轉(zhuǎn)入大數(shù)據(jù)鬼譬，目前從事大數(shù)據(jù)研發(fā)工作
-
-
關(guān)于hbase、spark避乏、hive使用時的優(yōu)化問題
一爷耀、Hbase的優(yōu)化 1、JVM優(yōu)化： 1）如：HBase RegionServer 的 Java 配置選項 -XX:+UseParNewGC （設(shè)置年輕代為并行收集）-XX...
-
大數(shù)據(jù)面試必問-快速理解Hive的數(shù)據(jù)存儲格式及mapreduce底層原理
在大數(shù)據(jù)工程師面試時拍皮，下面這個題可謂是面試官的最愛歹叮，他考察了對于mapreduce框架以及hive的原理的理解跑杭，閱讀完這篇文章，在面試這一類的問題時咆耿，就會胸有撐住了艘蹋！ 在創(chuàng)建...
-
sqoop import使用
一、sqoop作用票灰？ sqoop是一個數(shù)據(jù)交換工具女阀，最常用的兩個工具是導入導出。 導入導出的參照物是hadoop屑迂，向hadoop導數(shù)據(jù)就是導入浸策。 二、sqoop的版本惹盼？ sq...
-
AZKABAN（二）使用1庸汗、啟動azkaban 啟動azkaban server。進入executor手报，執(zhí)行： bin/ azkaban-executor-start.sh 可以使用bin/azka...
-
azkaban（最適合入門）
這里先默認大家都已經(jīng)安裝并配置完成了azkaban1掩蛤、啟動azkaban 啟動azkaban server枉昏。進入executor，執(zhí)行： bin/ azkaban-execu...
-
Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)
直奔主題： 其實這個錯誤就是編譯的程序的scala版本和提交時的版本不一致導致的. 我是在idea上寫的scala程序 用的是2.11.8, 但是在提交spark時 ...
-
史上最有趣的post晰奖、get方式詳解GET和POST兩種基本請求方法的區(qū)別 GET和POST是HTTP請求的兩種基本方法，要說它們的區(qū)別腥泥，接觸過WEB開發(fā)的人都能說出一二匾南。 最直觀的區(qū)別就是GET把參數(shù)包含在U...
-
-
Spark調(diào)優(yōu)之JVM調(diào)優(yōu)
今天給大家分享Spark調(diào)優(yōu)相關(guān)的JVM調(diào)優(yōu)蛆楞，這個調(diào)優(yōu)方法在開發(fā)中也很常見，他主要分為兩種冒萄，一種是降低cache操作的內(nèi)存占比臊岸，一種是調(diào)節(jié)executor堆外內(nèi)存和降低連接等...
