發(fā)簡信
IP屬地：廣東
-
secondary namenode 的作用
主要作用是解決namenode edit log 過大的問題，定時(shí)將namenode的editlog 合并到fsimage
-
oozie 工作流執(zhí)行sqoop和spark本次將sqoop和spark腳本相結(jié)合組成oozie工作流呢簸，通過定時(shí)計(jì)劃任務(wù)薪前，定期執(zhí)行。 執(zhí)行流程圖 實(shí)施步驟 創(chuàng)建工作流 選擇操作 開始創(chuàng)建s...
-
Sqoop 拉取數(shù)據(jù)流程
考慮離線數(shù)據(jù)定時(shí)從SQL Server 數(shù)據(jù)庫，批量導(dǎo)入到hive數(shù)據(jù)表。具體執(zhí)行流程如下： 根據(jù)以上執(zhí)行流程分別創(chuàng)建全量sqoop job历帚，增...
-
基于scala的spark開發(fā)環(huán)境搭建流程開發(fā)工具 idea 項(xiàng)目管理工具 Maven 搭建步驟 參考鏈接： https://blog.csdn.net/u013963380/artic...
-
pycharm 連接遠(yuǎn)端spark 進(jìn)行調(diào)試在使用python進(jìn)行spark進(jìn)行開發(fā)時(shí)，本地調(diào)試總是很麻煩的一件事杠娱。如果有辦法直接在服務(wù)器進(jìn)行調(diào)試的話挽牢，那將非常方便我們的開發(fā)。那有沒有呢墨辛？...
-
Hadoop 分布式文件系統(tǒng)HDFS的設(shè)計(jì)目標(biāo) Hadoop分布式文件系統(tǒng)(HDFS)被設(shè)計(jì)成適合運(yùn)行在通用硬件(commodity hardware)上的分布式文件系統(tǒng)卓研。...
-
MySQL server has gone away 的原因分析
MySQL服務(wù)器消失的最常見原因是服務(wù)器超時(shí)并關(guān)閉了連接趴俘。在這種情況下睹簇，您通常會得到以下錯(cuò)誤代碼之一（您獲得的錯(cuò)誤代碼與操作系統(tǒng)相關(guān)）奏赘。 默認(rèn)情...
-
mysql int(10)字段說明
1、基礎(chǔ)知識 1.1mysql 數(shù)字類型種類和存儲范圍 MySQL支持SQL標(biāo)準(zhǔn)整數(shù)類型INTEGER（或INT）和SMALLINT太惠。作為標(biāo)準(zhǔn)的...
-
php單元測試之simpletest
了解單元測試 單元測試是由程序員自己來完成磨淌，最終受益的也是程序員自己≡湓ǎ可以這么說梁只，程序員有責(zé)任編寫功能代碼，同時(shí)也就有責(zé)任為自己的代碼編寫單元測...