程序員小輝

select id,concat_ws(',',sort_array(collect_list(name))) name from table group by id; 先把...

程序員小輝

在分布式集群環(huán)境下，因為程序Bug（包括Hadoop本身的bug）统阿，負(fù)載不均衡或者資源分布不均等原因玷氏，會造成同一個作業(yè)的多個任務(wù)之間運行速度不一致绩社，有些任務(wù)的運行速度可能明顯...

程序員小輝

Sqoop在導(dǎo)出到Mysql時摔蓝，使用4個Map任務(wù)，過程中有2個任務(wù)失敗愉耙，那此時MySQL中存儲了另外兩個Map任務(wù)導(dǎo)入的數(shù)據(jù)贮尉，此時老板正好看到了這個報表數(shù)據(jù)。而開發(fā)工程...

程序員小輝

1.grep -v ps -ef | grep NameNode 如果執(zhí)行這條命令會多查詢出一個grep的進程坚芜，如果不想要grep的進程號就需要使用 ps -ef | gre...

程序員小輝

剛開始以為是腳本寫錯了览芳，仔細(xì)想了下，ssh后會加載.bashrc的環(huán)境變量鸿竖，之所以導(dǎo)致這種情況就是因為沒有將profile追加至bashrc 解決辦法：cat /etc/pr...

程序員小輝

生成公鑰/私鑰對： ssh-keygen -t rsa 拷貝公鑰至authorized_keys文件： ssh-copy-id 主機名 登錄測試： ssh 主機名 如果沒有輸...

程序員小輝

一桩撮、什么是復(fù)雜度分析？ 1.數(shù)據(jù)結(jié)構(gòu)和算法解決是“如何讓計算機更快時間峰弹、更省空間的解決問題”。 2.因此需從執(zhí)行時間和占用空間兩個維度來評估數(shù)據(jù)結(jié)構(gòu)和算法的性能芜果。 3.分別用...

程序員小輝

查詢每門課程分?jǐn)?shù)最高的學(xué)生以及成績select a.name,a.course,a.score fromtest1 ajoin (select course,max(scor...

程序員小輝

Spark支持三種集群部署模式鞠呈，分別為1.Standalone： 獨立模式，Spark 原生的簡單集群管理器右钾， 自帶完整的服務(wù)蚁吝， 可單獨部署到一個集群中，無需依賴任何其他資源...