發(fā)簡信
IP屬地：加州
-
Create EMR
?xml version="1.0" encoding="UTF-8"?project_name=$1uuid=cat /proc/sys/ke...
-
emr
create emr cluster_id_json=`aws emr create-cluster \ --region cn-northwe...
-
spark yarn-cluster 和 yarn clientResourceManager：是集群所有應(yīng)用程序的資源管理器娜亿，能夠管理集群的計(jì)算資源并為每個(gè)Application分配弥咪，它是一個(gè)純粹的調(diào)度器车海。...
-
Spark中Task宇姚，Partition谋旦，RDD件炉、節(jié)點(diǎn)數(shù)肢扯、Executor數(shù)误算、core數(shù)目的關(guān)系和Application仰美，Driver，Job儿礼，Task咖杂，Stage理解
輸入可能以多個(gè)文件的形式存儲(chǔ)在HDFS上，每個(gè)File都包含了很多塊蚊夫，稱為Block诉字。 當(dāng)Spark讀取這些文件作為輸入時(shí)，會(huì)根據(jù)具體數(shù)據(jù)格式對(duì)...
-
RDD
rdd：resiliient distributed datasets 彈性分布式數(shù)據(jù)集知纷，不可變的壤圃、分區(qū)的 resiliient ：顧名思義彈性...
-
spark內(nèi)存資源管理機(jī)制
spark storage和shuffle的動(dòng)態(tài)資源分配 Spark1.6之前：（直接修改參數(shù)值就可以） data需要資源 : spark.st...