前言
記錄個(gè)人在平時(shí)的學(xué)習(xí)和總結(jié)模叙，不定期更新
2017-07-23
調(diào)停者模式
是什么
調(diào)停者模式是對(duì)象的行為模式。調(diào)停者模式包裝了一系列對(duì)象相互作用的方式鞋屈，使得這些對(duì)象不必相互明顯引用范咨。從而使它們可以較松散地耦合。當(dāng)這些對(duì)象中的某些對(duì)象之間的相互作用發(fā)生改變時(shí)谐区，不會(huì)立即影響到其他的一些對(duì)象之間的相互作用湖蜕。從而保證這些相互作用可以彼此獨(dú)立地變化逻卖。
這個(gè)示意圖中有大量的對(duì)象宋列，這些對(duì)象既會(huì)影響別的對(duì)象，又會(huì)被別的對(duì)象所影響评也，因此常常叫做同事(Colleague)對(duì)象炼杖。這些同事對(duì)象通過(guò)彼此的相互作用形成系統(tǒng)的行為灭返。從圖中可以看出，幾乎每一個(gè)對(duì)象都需要與其他的對(duì)象發(fā)生相互作用坤邪，而這種相互作用表現(xiàn)為一個(gè)對(duì)象與另一個(gè)對(duì)象的直接耦合熙含。這就是過(guò)度耦合的系統(tǒng)。
如下圖所示：
通過(guò)引入調(diào)停者對(duì)象(Mediator)艇纺，可以將系統(tǒng)的網(wǎng)狀結(jié)構(gòu)變成以中介者為中心的星形結(jié)構(gòu)怎静，如下圖所示。在這個(gè)星形結(jié)構(gòu)中黔衡，同事對(duì)象不再通過(guò)直接的聯(lián)系與另一個(gè)對(duì)象發(fā)生相互作用蚓聘；相反的，它通過(guò)調(diào)停者對(duì)象與另一個(gè)對(duì)象發(fā)生相互作用盟劫。調(diào)停者對(duì)象的存在保證了對(duì)象結(jié)構(gòu)上的穩(wěn)定夜牡，也就是說(shuō)，系統(tǒng)的結(jié)構(gòu)不會(huì)因?yàn)樾聦?duì)象的引入造成大量的修改工作侣签。
舉例
網(wǎng)絡(luò)拓?fù)鋱D的星型總線圖
星型拓?fù)浣Y(jié)構(gòu)是用一個(gè)節(jié)點(diǎn)作為中心節(jié)點(diǎn)和其他節(jié)點(diǎn)直接與中心節(jié)點(diǎn)相連構(gòu)成的網(wǎng)絡(luò)塘装。
中心節(jié)點(diǎn)可以是文件服務(wù)器，也可以是連接設(shè)備影所。常見(jiàn)的中心節(jié)點(diǎn)為集線器蹦肴。
計(jì)算機(jī)中的主板
主板作為電腦里面各個(gè)配件之間的交互的橋梁，電腦各個(gè)配件的交互主要是通過(guò)主板來(lái)完成的猴娩，每個(gè)部件不需要知道其他部件的接口形式冗尤，只需要知道主板的接口形式即可，屏蔽了很多交互細(xì)節(jié)
總結(jié)
設(shè)計(jì)模式是很多人在編程的道路上發(fā)現(xiàn)了問(wèn)題胀溺，然后通過(guò)思考和實(shí)踐將對(duì)這些問(wèn)題的解決方式抽象出來(lái)裂七，這就是形成了設(shè)計(jì)模式。我們發(fā)現(xiàn)設(shè)計(jì)模式在很多地方都可以看到影子仓坞，這是因?yàn)樵O(shè)計(jì)模式是一種思想渠牲，一種高度抽取用來(lái)解決問(wèn)題的問(wèn)題的思想盟迟，也可以用來(lái)解決生活中很多的問(wèn)題。
2017-07-24
select,poll,epoll
共同點(diǎn)
都是解決IO多路復(fù)用的問(wèn)題，好處就在于單個(gè)process就可以同時(shí)處理多個(gè)網(wǎng)絡(luò)連接的IO颖御。基本原理就是select罕伯，poll乾吻，epoll這個(gè)function會(huì)不斷的輪詢所負(fù)責(zé)的所有socket，當(dāng)某個(gè)socket有數(shù)據(jù)到達(dá)了织阅，就通知用戶進(jìn)程壳繁。
不同點(diǎn)
select和poll的本質(zhì)是一樣的，select和poll都需要在返回后，通過(guò)遍歷文件描述符來(lái)獲取已經(jīng)就緒的socket闹炉，不同與select使用三個(gè)位圖來(lái)表示三個(gè)fdset的方式蒿赢，poll使用一個(gè) pollfd的指針實(shí)現(xiàn)。
epoll可以理解為event poll渣触，不同于忙輪詢和無(wú)差別輪詢羡棵，epoll之會(huì)把哪個(gè)流發(fā)生了怎樣的I/O事件通知我們。此時(shí)我們對(duì)這些流的操作都是有意義的嗅钻。（復(fù)雜度降低到了O(1)）
spark
是什么
Apache Spark 是個(gè)通用的集群計(jì)算框架皂冰，通過(guò)將大量數(shù)據(jù)集計(jì)算任務(wù)分配到多臺(tái)計(jì)算機(jī)上，提供高效內(nèi)存計(jì)算养篓。Spark 正如其名灼擂，最大的特點(diǎn)就是快（Lightning-fast），可比 Hadoop MapReduce 的處理速度快 100 倍觉至。如果你熟悉 Hadoop剔应，那么你知道分布式計(jì)算框架要解決兩個(gè)問(wèn)題：如何分發(fā)數(shù)據(jù)和如何分發(fā)計(jì)算。Hadoop 使用 HDFS 來(lái)解決分布式數(shù)據(jù)問(wèn)題语御，MapReduce 計(jì)算范式提供有效的分布式計(jì)算峻贮。類似的，Spark 擁有多種語(yǔ)言的函數(shù)式編程 API应闯，提供了除 map 和 reduce 之外更多的運(yùn)算符纤控，這些操作是通過(guò)一個(gè)稱作彈性分布式數(shù)據(jù)集(resilient distributed datasets, RDDs)的分布式數(shù)據(jù)框架進(jìn)行的。
Spark核心組件
Spark Core：包含 Spark 的基本功能碉纺；尤其是定義 RDD 的 API船万、操作以及這兩者上的動(dòng)作。其他 Spark 的庫(kù)都是構(gòu)建在 RDD 和 Spark Core 之上的骨田。
Spark SQL：提供通過(guò) Apache Hive 的 SQL 變體 Hive 查詢語(yǔ)言（HiveQL）與 Spark 進(jìn)行交互的 API耿导。每個(gè)數(shù)據(jù)庫(kù)表被當(dāng)做一個(gè) RDD，Spark SQL 查詢被轉(zhuǎn)換為 Spark 操作态贤。對(duì)熟悉 Hive 和 HiveQL 的人舱呻，Spar k可以拿來(lái)就用。
Spark Streaming：允許對(duì)實(shí)時(shí)數(shù)據(jù)流進(jìn)行處理和控制悠汽。很多實(shí)時(shí)數(shù)據(jù)庫(kù)（如Apache Store）可以處理實(shí)時(shí)數(shù)據(jù)箱吕。Spark Streaming 允許程序能夠像普通 RDD 一樣處理實(shí)時(shí)數(shù)據(jù)。
MLlib：一個(gè)常用機(jī)器學(xué)習(xí)算法庫(kù)柿冲，算法被實(shí)現(xiàn)為對(duì) RDD 的 Spark 操作茬高。這個(gè)庫(kù)包含可擴(kuò)展的學(xué)習(xí)算法，比如分類假抄、回歸等需要對(duì)大量數(shù)據(jù)集進(jìn)行迭代的操作怎栽。之前可選的大數(shù)據(jù)機(jī)器學(xué)習(xí)庫(kù) Mahout丽猬，將會(huì)轉(zhuǎn)到 Spark，并在未來(lái)實(shí)現(xiàn)婚瓜。
GraphX：控制圖宝鼓、并行圖操作和計(jì)算的一組算法和工具的集合刑棵。GraphX 擴(kuò)展了 RDD API巴刻，包含控制圖、創(chuàng)建子圖蛉签、訪問(wèn)路徑上所有頂點(diǎn)的操作胡陪。
由于這些組件滿足了很多大數(shù)據(jù)需求，也滿足了很多數(shù)據(jù)科學(xué)任務(wù)的算法和計(jì)算上的需要碍舍，Spark 快速流行起來(lái)柠座。不僅如此，Spark 也提供了使用 Scala片橡、Java 和Python 編寫的 API妈经；滿足了不同團(tuán)體的需求，允許更多數(shù)據(jù)科學(xué)家簡(jiǎn)便地采用 Spark 作為他們的大數(shù)據(jù)解決方案捧书。
Spark 體系架構(gòu)
Spark體系架構(gòu)包括如下三個(gè)主要組件：
- 數(shù)據(jù)存儲(chǔ)
- API
- 管理框架
數(shù)據(jù)存儲(chǔ)：Spark 用 HDFS 文件系統(tǒng)存儲(chǔ)數(shù)據(jù)吹泡。它可用于存儲(chǔ)任何兼容于 Hadoop 的數(shù)據(jù)源，包括HDFS经瓷，Hbase爆哑，Cassandra等。
API：利用 API舆吮，應(yīng)用開(kāi)發(fā)者可以用標(biāo)準(zhǔn)的 API 接口創(chuàng)建基于 Spark 的應(yīng)用揭朝。Spark 提供 Scala，Java 和 Python 三種程序設(shè)計(jì)語(yǔ)言的 API色冀。
Spark基本概念：
Application： 用戶自己寫的 Spark 應(yīng)用程序潭袱，批處理作業(yè)的集合。Application 的 main 方法為應(yīng)用程序的入口锋恬，用戶通過(guò) Spark 的 API敌卓，定義了 RDD 和對(duì) RDD 的操作。
SparkContext： Spark 最重要的 API伶氢，用戶邏輯與 Spark 集群主要的交互接口趟径，它會(huì)和 Cluster Master 交互，包括向它申請(qǐng)計(jì)算資源等癣防。
Driver 和 Executor：Spark 在執(zhí)行每個(gè) Application 的過(guò)程中會(huì)啟動(dòng) Driver 和 Executor 兩種 JVM 進(jìn)程蜗巧。Driver 進(jìn)程為主控進(jìn)程，負(fù)責(zé)執(zhí)行用戶 Application 中的 main 方法蕾盯，提交 Job幕屹，并將 Job 轉(zhuǎn)化為 Task，在各個(gè) Executor 進(jìn)程間協(xié)調(diào) Task 的調(diào)度。運(yùn)行在Worker上 的 Executor 進(jìn)程負(fù)責(zé)執(zhí)行 Task望拖，并將結(jié)果返回給 Driver渺尘，同時(shí)為需要緩存的 RDD 提供存儲(chǔ)功能。
資源管理：
一組計(jì)算機(jī)的集合说敏，每個(gè)計(jì)算機(jī)節(jié)點(diǎn)作為獨(dú)立的計(jì)算資源鸥跟，又可以虛擬出多個(gè)具備計(jì)算能力的虛擬機(jī)，這些虛擬機(jī)是集群中的計(jì)算單元盔沫。Spark 的核心模塊專注于調(diào)度和管理虛擬機(jī)之上分布式計(jì)算任務(wù)的執(zhí)行医咨，集群中的計(jì)算資源則交給 Cluster Manager 這個(gè)角色來(lái)管理，Cluster Manager 可以為自帶的Standalone架诞、或第三方的 Yarn和 Mesos拟淮。
Cluster Manager 一般采用 Master-Slave 結(jié)構(gòu)。以 Yarn 為例谴忧，部署 ResourceManager 服務(wù)的節(jié)點(diǎn)為 Master很泊，負(fù)責(zé)集群中所有計(jì)算資源的統(tǒng)一管理和分配；部署 NodeManager 服務(wù)的節(jié)點(diǎn)為Slave沾谓，負(fù)責(zé)在當(dāng)前節(jié)點(diǎn)創(chuàng)建一個(gè)或多個(gè)具備獨(dú)立計(jì)算能力的 JVM 實(shí)例委造，在 Spark 中，這些節(jié)點(diǎn)也叫做 Worker搏屑。
另外還有一個(gè) Client 節(jié)點(diǎn)的概念争涌，是指用戶提交Spark Application 時(shí)所在的節(jié)點(diǎn)。
彈性分布式數(shù)據(jù)集(RDD)：
彈性分布式數(shù)據(jù)集(RDD)是 Spark 框架中的核心概念辣恋×恋妫可以將 RDD 視作數(shù)據(jù)庫(kù)中的一張表。其中可以保存任何類型的數(shù)據(jù)伟骨。Spark 將數(shù)據(jù)存儲(chǔ)在不同分區(qū)上的 RDD 之中饮潦。
RDD 可以幫助重新安排計(jì)算并優(yōu)化數(shù)據(jù)處理過(guò)程。
此外携狭，它還具有容錯(cuò)性继蜡，因?yàn)镽DD知道如何重新創(chuàng)建和重新計(jì)算數(shù)據(jù)集。
RDD 是不可變的逛腿。你可以用變換（Transformation）修改 RDD稀并，但是這個(gè)變換所返回的是一個(gè)全新的RDD，而原有的 RDD 仍然保持不變单默。
RDD 支持兩種類型的操作：
變換（Transformation） 變換的返回值是一個(gè)新的 RDD 集合碘举，而不是單個(gè)值。調(diào)用一個(gè)變換方法搁廓，不會(huì)有任何求值計(jì)算引颈，它只獲取一個(gè) RDD 作為參數(shù)耕皮，然后返回一個(gè)新的 RDD。 變換函數(shù)包括：map蝙场，filter凌停，flatMap，groupByKey售滤，reduceByKey罚拟，aggregateByKey，pipe和coalesce趴泌。
行動(dòng)（Action） 行動(dòng)操作計(jì)算并返回一個(gè)新的值舟舒。當(dāng)在一個(gè) RDD 對(duì)象上調(diào)用行動(dòng)函數(shù)時(shí)拉庶，會(huì)在這一時(shí)刻計(jì)算全部的數(shù)據(jù)處理查詢并返回結(jié)果值嗜憔。 行動(dòng)操作包括：reduce，collect氏仗，count吉捶，first，take皆尔，countByKey 以及 foreach呐舔。
Java客戶端在本地跑數(shù)據(jù)配置
SparkConf sparkConf = new SparkConf()
.setAppName("spark01")
.setMaster("local[4]");
sc = new JavaSparkContext(sparkConf);
local代表的是在本地跑，[4]指的是創(chuàng)建4個(gè)節(jié)點(diǎn)
總結(jié)
跟著官網(wǎng)首先在虛擬機(jī)上安裝了spark慷蠕，然后使用scala連接到spark-shell珊拼，試著寫了幾個(gè)demo,發(fā)現(xiàn)hadoop的map,reduce操作也在里面，還有Java8中對(duì)stream中的操作流炕，基本上思想是一樣的澎现，map變換，延遲執(zhí)行每辟，reduce匯聚剑辫。
