發(fā)簡信
IP屬地：加州
-
Create EMR
?xml version="1.0" encoding="UTF-8"?project_name=$1uuid=cat /proc/sys/ke...
-
emr
create emr cluster_id_json=`aws emr create-cluster \ --region cn-northwe...
-
spark yarn-cluster 和 yarn clientResourceManager：是集群所有應(yīng)用程序的資源管理器，能夠管理集群的計算資源并為每個Application分配猪落，它是一個純粹的調(diào)度器他嫡。...
-
Spark中Task，Partition怒见，RDD诱咏、節(jié)點數(shù)也殖、Executor數(shù)窍蓝、core數(shù)目的關(guān)系和Application腋颠，Driver，Job吓笙，Task秕豫，Stage理解
輸入可能以多個文件的形式存儲在HDFS上，每個File都包含了很多塊观蓄，稱為Block。 當(dāng)Spark讀取這些文件作為輸入時祠墅，會根據(jù)具體數(shù)據(jù)格式對...
-
RDD
rdd：resiliient distributed datasets 彈性分布式數(shù)據(jù)集侮穿，不可變的、分區(qū)的 resiliient ：顧名思義彈性...
-
spark內(nèi)存資源管理機制
spark storage和shuffle的動態(tài)資源分配 Spark1.6之前：（直接修改參數(shù)值就可以） data需要資源 : spark.st...