本文來源于知乎上一大牛的回答作者：Lijie Xu
1. 是否需要對key提前進行排序邦危。
從邏輯角度來講耻姥，Shuffle 過程就是一個 GroupByKey 的過程炎咖，兩者沒有本質(zhì)區(qū)別。只是 MapReduce 為了方便 GroupBy 存在于不同 partition 中的 key/value records遍蟋，就提前對 key 進行排序。Spark 認為很多應(yīng)用不需要對 key 排序锹淌，就默認沒有在 GroupBy 的過程中對 key 排序匿值。
2.DAG數(shù)據(jù)流的優(yōu)勢。
從數(shù)據(jù)流角度講赂摆，兩者有差別挟憔。MapReduce 只能從一個 Map Stage shuffle 數(shù)據(jù)，Spark 可以從多個 Map Stages shuffle 數(shù)據(jù)（這是 DAG 型數(shù)據(jù)流的優(yōu)勢烟号，可以表達復雜的數(shù)據(jù)流操作绊谭，參見 CoGroup(), join() 等操作的數(shù)據(jù)流圖 SparkInternals/4-shuffleDetails.md at master · JerryLead/SparkInternals · GitHub**。
3. Shuffle write/read 實現(xiàn)上有一些區(qū)別汪拥。
以前對 shuffle write/read 的分類是 sort-based 和 hash-based达传。MapReduce 可以說是 sort-based，shuffle write 和 shuffle read 過程都是基于key sorting 的 (buffering records + in-memory sort + on-disk external sorting)迫筑。早期的 Spark 是 hash-based宪赶，shuffle write 和 shuffle read 都使用 HashMap-like 的數(shù)據(jù)結(jié)構(gòu)進行 aggregate (without key sorting)。但目前的 Spark 是兩者的結(jié)合體脯燃，shuffle write 可以是 sort-based (only sort partition id, without key sorting)搂妻，shuffle read 階段可以是 hash-based。因此辕棚，目前 sort-based 和 hash-based 已經(jīng)“你中有我欲主，我中有你”，界限已經(jīng)不那么清晰逝嚎。
4. 從數(shù)據(jù) fetch 與數(shù)據(jù)計算的重疊粒度來講扁瓢，兩者有細微區(qū)別。
MapReduce 是粗粒度补君，reducer fetch 到的 records 先被放到 shuffle buffer 中休息引几，當 shuffle buffer 快滿時，才對它們進行 combine()挽铁。而 Spark 是細粒度她紫，可以即時將 fetch 到的 record 與 HashMap 中相同 key 的 record 進行 aggregate。
5. 從性能優(yōu)化角度來講屿储，Spark考慮的更全面贿讹。
MapReduce 的 shuffle 方式單一。Spark 針對不同類型的操作够掠、不同類型的參數(shù)民褂，會使用不同的 shuffle write 方式。比如 Shuffle write 有三種實現(xiàn)方式：
其中 Serialized sorting 方式既可以使用堆內(nèi)內(nèi)存，也可以使用堆外內(nèi)存赊堪。更多的細節(jié)就不詳述了面殖，感興趣可以看相關(guān)的實現(xiàn)類。
