![240](https://cdn2.jianshu.io/assets/default_avatar/15-a7ac401939dd4df837e3bbf82abaa2a8.jpg?imageMogr2/auto-orient/strip|imageView2/1/w/240/h/240)
Job 物理執(zhí)行圖 在 Overview 里我們初步介紹了 DAG 型的物理執(zhí)行圖,里面包含 stages 和 tasks涤久。這一章主要解決的問題是: 給定 job 的邏輯執(zhí)行...
前提工作:先在 www.freenom.com 上申請一個免費(fèi)的域名细疚,域名與自己的服務(wù)器ip綁定 搭建nginx服務(wù)器(添加php支持) 安裝nginx與php-fpm> s...
Spark基礎(chǔ) 幾個重要的概念: RDD:是彈性分布式數(shù)據(jù)集(Resilient Distributed Dataset)的簡稱蔗彤,是分布式內(nèi)存的一個抽象概念,提供了一種高度受...
分治法 總體思想是先根據(jù)Hash函數(shù)將一個內(nèi)存難以一次性讀取的大文件分散到若干小文件中(其中相同的數(shù)據(jù)會被hash到同一個小文件中),然后對每一個小文件的數(shù)據(jù)進(jìn)行處理然遏,再進(jìn)行...