發(fā)簡(jiǎn)信
IP屬地：上海
-
spark面試題1巫延、rdd有哪些算子玲躯？ 主要分為轉(zhuǎn)換算子和action算子掌呜。 transformation：map皿桑、filter行瑞、flatmap紧卒、mappa...
-
關(guān)于spark-submit執(zhí)行jar包代碼測(cè)試如何使用spark-submit來(lái)執(zhí)行編寫的wordcount代碼侥衬。 1、先簡(jiǎn)單編寫測(cè)試文本跑芳。 2轴总、將文本提交到hdfs上。 指令為：had...
-
hbase的優(yōu)化
1博个、rowkey設(shè)計(jì)有哪三原則? ①長(zhǎng)度原則：rowkey是二進(jìn)制碼流怀樟。10-100個(gè)字節(jié)。 ②散列原則：rowkey是按照字典序存儲(chǔ)的盆佣。利...
-
hbase讀寫請(qǐng)求流程詳解要理解讀寫流程漂佩，先要清除hbase的架構(gòu)圖。以0.96版本以下的三層架構(gòu)為例： hbase是主從架構(gòu)罪塔，主節(jié)點(diǎn)是HMaster投蝉，從節(jié)點(diǎn)是HRegi...
-
spark優(yōu)化專題
--基礎(chǔ)設(shè)置 1、資源參數(shù)設(shè)置： --num-executors 配置Executor的數(shù)量 默認(rèn)為2 --driver-memory ...
-
spark內(nèi)存溢出及其解決方案1征堪、你在工作當(dāng)中有遇到內(nèi)存溢出問(wèn)題嗎瘩缆？你是如何解決的？ 回答思路：先解釋spark的內(nèi)存模型佃蚜，再分情況介紹不同情況下的解決方案庸娱。總體思想是根...
-
Hadoop面試題之yarn1谐算、簡(jiǎn)單介紹yarn熟尉？ yarn是一個(gè)資源管理、任務(wù)調(diào)度的框架洲脂。主要包含三個(gè)模塊：resourceManger斤儿、nodeManger、Appli...
-
每日一篇算法題 leetcode
20200405--兩數(shù)之和 給定一個(gè)整數(shù)數(shù)組 nums和一個(gè)目標(biāo)值 target恐锦，請(qǐng)你在該數(shù)組中找出和為目標(biāo)值的那兩個(gè)整數(shù)往果，并返回他們的數(shù)組下...
-
hadoop面試題之HDFS1、簡(jiǎn)單介紹下hadoop吧一铅？ 廣義上hadoop是指與hadoop相關(guān)的大數(shù)據(jù)生態(tài)圈陕贮。包含hive、spark潘飘、hbase等肮之。 狹義上...