Java bug搬運(yùn)工留特，小數(shù)據(jù)攻城獅^O^
發(fā)簡(jiǎn)信
IP屬地：安徽
-
1 Spark SQL 簡(jiǎn)介1.概述 Spark SQL 是一層依賴Spark Core也就是基礎(chǔ)操作的API封裝出的一層組件. 和GraphX類似, 它的核心思想是解決兩個(gè)問(wèn)題: 如何把底層數(shù)據(jù)結(jié)構(gòu)化...
-
Spark是如何實(shí)現(xiàn)排序的?Abstract 昨天丟人現(xiàn)眼的寫(xiě)QuickSort用了40分鐘, 當(dāng)時(shí)感覺(jué)整個(gè)人都不好了.(╯°□°）╯︵┻━┻ 看孩子一天睡4小時(shí)大腦不轉(zhuǎn)哇 d(?｀ω′?d*) ...
-
-
PingCAP 是一家開(kāi)源的新型分布式數(shù)據(jù)庫(kù)公司豌鹤，秉承開(kāi)源是基礎(chǔ)軟件的未來(lái)這一理念亡哄，PingCAP 持續(xù)擴(kuò)大社區(qū)影響力，致力于前沿技術(shù)領(lǐng)域的創(chuàng)新實(shí)現(xiàn)布疙。其研發(fā)的分布式關(guān)系型數(shù)據(jù)庫(kù) TiDB 項(xiàng)目蚊惯，具備「分布式強(qiáng)一致性事務(wù)愿卸、在線彈性水平擴(kuò)展、故障自恢復(fù)的高可用截型、跨數(shù)據(jù)中心多活」等核心特性趴荸，是大數(shù)據(jù)時(shí)代理想的數(shù)據(jù)庫(kù)集群和云數(shù)據(jù)庫(kù)解決方案。目前準(zhǔn)生產(chǎn)測(cè)試用戶 1000 余家宦焦，并已被 200 余家不同行業(yè)的領(lǐng)先企業(yè)應(yīng)用在實(shí)際生產(chǎn)環(huán)境发钝，涉及互聯(lián)網(wǎng)、游戲波闹、金融酝豪、政府、電信精堕、制造業(yè)等多個(gè)領(lǐng)域孵淘。（官網(wǎng)：<a href="https://links.jianshu.com/go?to=http%3A%2F%2Fpingcap.com" target="_blank">http://pingcap.com</a> 源碼地址：<a href="https://links.jianshu.com/go?to=http%3A%2F%2Fgithub.com%2Fpingcap" target="_blank">http://github.com/pingcap</a>）
-
Zab vs Paxos1. 分布式一致性 分布式一致性大體上意味著, 在多個(gè)分散的機(jī)器上, 如何保證狀態(tài)(key value tuple)是完全一致的. HDFS非常粗暴的使用寫(xiě)入后三備份來(lái)保證,...
-
如何在上億張圖片中找到相同的圖片論文地址 http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.104.2585&rep=rep1&type=pd...
-
門衛(wèi)模式 Gatekeeper Pattern
我們?cè)诎⒙?lián)酋的機(jī)房采用了這種設(shè)計(jì)模式, 就像前面Federated Identify中聊到的, 對(duì)于超高價(jià)值數(shù)據(jù). 一般使用專用系統(tǒng)來(lái)處理. 在關(guān)鍵信息的出入口加網(wǎng)關(guān)是非常...
-
跨域授權(quán) Federated Identity Pattern這個(gè)也可以不用解釋了, 當(dāng)前所有的云服務(wù)都是集中授權(quán), 跨域授權(quán)的OAuth模式.壞處是多次IO的代價(jià), 復(fù)雜的token權(quán)限管理, 以及所有服務(wù)對(duì)token服務(wù)器的壓力.好...
-
配置分離模式 External Configuration Store Pattern
這個(gè)模式就不再概述了, 當(dāng)前絕大部分公司的設(shè)計(jì)思路都是一句話服務(wù)是無(wú)狀態(tài)的一個(gè)跑在docker內(nèi)部的服務(wù)最好是無(wú)狀態(tài)的, 非常類似于函數(shù)式編程的一個(gè)算子. 所有的配置文件和狀...
-
操作日志模式 Event Sourcing Pattern利用一個(gè)只能append的數(shù)據(jù)庫(kù)(hive這種) 來(lái)存儲(chǔ)所有的action, 認(rèn)為這些action是按照時(shí)間序列進(jìn)來(lái)的, 并且不會(huì)改變. 通過(guò)這些日志來(lái)維護(hù)整個(gè)服務(wù)的一致性...
-
命令查詢職責(zé)分離模式 Command and Query Responsibility Segregation (CQRS) Pattern
非常著名的設(shè)計(jì)模式, 把數(shù)據(jù)讀取和數(shù)據(jù)寫(xiě)入過(guò)程相分離, 來(lái)拉升整個(gè)系統(tǒng)的性能. 同時(shí)也能避免多線程update時(shí)的沖突 問(wèn)題 一般我們做數(shù)據(jù)統(tǒng)計(jì), 面對(duì)的就是一個(gè)類似exc...
-
計(jì)算資源合并模式 Compute Resource Consolidation Pattern把多個(gè)相關(guān)的操作進(jìn)行合并, 并部署到同一個(gè)邏輯資源中進(jìn)行計(jì)算. 這樣可以減少集群資源管理的overhead, 也可以讓整個(gè)集群的負(fù)載被更好的利用. 問(wèn)題 云端系統(tǒng)往往處理大...
-
消費(fèi)者競(jìng)爭(zhēng)模式 Competing Consumers Pattern在并發(fā)情況下, 允許多個(gè)消費(fèi)者消費(fèi)同一個(gè)消息隊(duì)列, 并保證消息被消費(fèi)的基本語(yǔ)義(Kafka的模式). 通過(guò)消費(fèi)者之間對(duì)消息進(jìn)行收取競(jìng)爭(zhēng), 來(lái)保證整體負(fù)載的平衡. 問(wèn)題 分布式...
-
事物補(bǔ)償模式 Compensating Transaction Pattern為了保證最終一致性, 在錯(cuò)誤發(fā)生時(shí), 沿著整個(gè)錯(cuò)誤的傳遞路徑進(jìn)行undo操作. 對(duì)于復(fù)雜的工作流來(lái)說(shuō), 盡可能保證相互依賴的流程上數(shù)據(jù)語(yǔ)義的最終一致性. 問(wèn)題 在分布式環(huán)境中...
