時刻保持思考和思考本身衅金。
發(fā)簡信
IP屬地：浙江
-
hive/impala使用列式存儲追加一列數(shù)據(jù)的可行性我們知道parquet文件格式是不能進行update操作的矾湃。但是是否可以對其進行添加一列數(shù)據(jù)呢谈宛？ 先看看parquet文件長什么樣 Parquet文件是以二進制方式存儲的昂芜，是...
-
TypeSafe Config
Typesafe的Config庫正歼，純Java寫成、零外部依賴拷橘、代碼精簡局义、功能靈活、API友好冗疮。支持Java properties萄唇、JSON、JSON超集格式HOCON以及環(huán)境...
-
Spark On Yarn 如何提高CPU利用率問題描述： Spark on Yarn是利用yarn進行資源調(diào)度，這兩天我寫的一個程序處理大概100W行文本诅挑，文本格式是txt四敞，數(shù)據(jù)大小為50M左右。我將Scala寫的...
-
丁克20年，我快絕經(jīng)了没龙，他當(dāng)爸了-1- 我出生于72年癌蚁，現(xiàn)在已經(jīng)是個老阿姨了。 26歲時兜畸，我嫁給當(dāng)時苦追了我多年的高中同學(xué)王鵬努释。 王鵬的父母對他要求非常嚴苛，在我們眼里已經(jīng)是學(xué)霸級的人物咬摇，但還會因成績沒有達...
-
浙大學(xué)霸作息表曝光：世界本不公平伐蒂，你有多努力，就有多特殊頭等艙可以優(yōu)先登機肛鹏， 銀行VIP可以免排隊逸邦， 演唱會最貴的門票位置最好， ...... 這個世界在扰，似乎從來不平等缕减。 但是，你有多努力芒珠，就有多特殊桥狡！ 這個道理，一定要盡早讓孩子...
-
“分手后部逮，別互刪”
文 | 十九 · 撿書先生原創(chuàng) 01. “不在乎了，就無所謂刪不刪了” 民謠《杏花路》有一條網(wǎng)易云熱評： 真正的分手啊嫂易，不是刪掉所有的聯(lián)系方式兄朋，而是當(dāng)你不再打聽他的消息，他有...
-
spark中的partition和block的關(guān)系
作者：郭眾鑫 鏈接：https://www.zhihu.com/question/37310539/answer/71417604 來源：知乎 著作權(quán)歸作者所有怜械。商業(yè)轉(zhuǎn)載請聯(lián)...
-
spark中job颅和，stage，task的關(guān)系
Stage 是spark 中一個非常重要的概念 缕允， 在一個job 中劃分stage 的一個重要依據(jù)是否有shuflle 發(fā)生 峡扩，也就是是否會發(fā)生數(shù)據(jù)的重組 （重新組織數(shù)據(jù)）。...
-
Spark中File灼芭，Block有额，Split般又，Task彼绷，Partition，RDD以及節(jié)點數(shù)茴迁、Executor數(shù)寄悯、core數(shù)目的關(guān)系
輸入可能以多個文件的形式存儲在HDFS上，每個File如果過大堕义，會被拆分成很多塊猜旬，稱為Block。 當(dāng)Spark讀取這些文件作為輸入時倦卖，會根據(jù)具體數(shù)據(jù)格式對應(yīng)的InputFo...
-
MapReduce中的map個數(shù)
準確的說洒擦，map個數(shù)是指map task的個數(shù)，map task可以看作進程怕膛，并發(fā)執(zhí)行一個job任務(wù)熟嫩。 在map階段讀取數(shù)據(jù)前，F(xiàn)ileInputFormat會將輸入文件分割...
-
對spark中RDD的partition通俗易懂的介紹
我們要想對spark中RDD的分區(qū)進行一個簡單的了解的話褐捻，就不免要先了解一下hdfs的前世今生掸茅。 眾所周知，hdfs是一個非常不錯的分布式文件系統(tǒng)柠逞，這是這么多年來大家有目共睹...
-
YARN上顯示應(yīng)用程序使用的vcores逗鸣、memory不準確？本文基于Spark2.1.0版本 我們知道，使用yarn作為cluster manager時慕购，spark（以client模式為例）用spark-submit提交應(yīng)用程序（或者...
