發(fā)簡信
IP屬地：天津
-
1 Spark SQL 簡介1.概述 Spark SQL 是一層依賴Spark Core也就是基礎(chǔ)操作的API封裝出的一層組件. 和GraphX類似, 它的核心思想是解決兩...
-
Spark是如何實現(xiàn)排序的?Abstract 昨天丟人現(xiàn)眼的寫QuickSort用了40分鐘, 當(dāng)時感覺整個人都不好了.(╯°□°）╯︵┻━┻ 看孩子一天睡4小時大腦不...
-
Zab vs Paxos1. 分布式一致性 分布式一致性大體上意味著, 在多個分散的機器上, 如何保證狀態(tài)(key value tuple)是完全一致的. HDFS非常...
-
如何在上億張圖片中找到相同的圖片論文地址 http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.104.2585&r...
-
門衛(wèi)模式 Gatekeeper Pattern
我們在阿聯(lián)酋的機房采用了這種設(shè)計模式, 就像前面Federated Identify中聊到的, 對于超高價值數(shù)據(jù). 一般使用專用系統(tǒng)來處理. ...
-
跨域授權(quán) Federated Identity Pattern這個也可以不用解釋了, 當(dāng)前所有的云服務(wù)都是集中授權(quán), 跨域授權(quán)的OAuth模式.壞處是多次IO的代價, 復(fù)雜的token權(quán)限管理, 以及所有服...
-
配置分離模式 External Configuration Store Pattern
這個模式就不再概述了, 當(dāng)前絕大部分公司的設(shè)計思路都是一句話服務(wù)是無狀態(tài)的一個跑在docker內(nèi)部的服務(wù)最好是無狀態(tài)的, 非常類似于函數(shù)式編程的...
-
操作日志模式 Event Sourcing Pattern利用一個只能append的數(shù)據(jù)庫(hive這種) 來存儲所有的action, 認(rèn)為這些action是按照時間序列進來的, 并且不會改變. 通過...
-
命令查詢職責(zé)分離模式 Command and Query Responsibility Segregation (CQRS) Pattern
非常著名的設(shè)計模式, 把數(shù)據(jù)讀取和數(shù)據(jù)寫入過程相分離, 來拉升整個系統(tǒng)的性能. 同時也能避免多線程update時的沖突 問題 一般我們做數(shù)據(jù)統(tǒng)...