Apache Spark Contributor<br>monkey boy_tech <br>專注于技術(shù)的dotaer
發(fā)簡信
IP屬地：北京
-
-
【k8s系列1】spark on k8s 與 spark on k8s operator的對(duì)比
對(duì)于目前基于k8s的的spark應(yīng)用，主要采用兩種方式運(yùn)行 spark原生支持的 spark on k8s[http://spark.apache.org/docs/3.0....
-
All things are difficult before they are easy.
-
Spark寬依賴和窄依賴深度剖析RDD依賴關(guān)系與stage劃分 Spark中RDD的高效與DAG圖有著莫大的關(guān)系楷掉，在DAG調(diào)度中需要對(duì)計(jì)算過程劃分stage焕参，而劃分依據(jù)就是RDD之間的依賴關(guān)系。 1. 窄...
-
一個(gè)永遠(yuǎn)在路上的架構(gòu)師，具備前沿架構(gòu)視野勺择，了解大數(shù)據(jù)起步手法创南，擅長后端路段的平穩(wěn)駕駛，熟悉代碼的保養(yǎng)和維修
-
-
-
running spark on k8s
-
Spark--Spark Shuffle發(fā)展史及調(diào)優(yōu)方法資料整理旧噪，圖片來源自互聯(lián)網(wǎng)吨娜，如有侵權(quán)請(qǐng)聯(lián)系刪除--李小李 1-Spark Shuffle發(fā)展史 1.1 Shuffle概述 在Spark的源碼中，負(fù)責(zé)shuffle過程的執(zhí)行...
-
hadoop shuffle 過程MapReduce簡介 在Hadoop MapReduce中淘钟，框架會(huì)確保reduce收到的輸入數(shù)據(jù)是根據(jù)key排序過的宦赠。數(shù)據(jù)從Mapper輸出到Reducer接收，是一個(gè)很...
-
ImpalaImpala概述 Impala是什么 Impala是一款針對(duì)HDFS和HBASE中的PB級(jí)別數(shù)據(jù)進(jìn)行交互式實(shí)時(shí)查詢工具米母。最大的特點(diǎn)就是速度快 Impala優(yōu)勢(shì) Impala的...
-
一起學(xué)習(xí)铁瞒，大數(shù)據(jù)技術(shù)妙色。分享大數(shù)據(jù)知識(shí)，一起成長精拟。
-
-
Presto是Facebook開源的大數(shù)據(jù)查詢引擎，它最大的特點(diǎn)是可以對(duì)各種異構(gòu)的數(shù)據(jù)源進(jìn)行查詢师枣，這個(gè)專欄主要專注在Presto源代碼的閱讀怪瓶、解析。歡迎投稿
-
-
對(duì)象存儲(chǔ)系統(tǒng)之一 openstack swift 詳解本文借鑒了swift官方資料，以及網(wǎng)絡(luò)公開可查的技術(shù)文檔或者圖片陨倡，非絕對(duì)原創(chuàng)敛滋，向開源領(lǐng)域的貢獻(xiàn)者和傳播者致敬。 openstack swift 架構(gòu)簡單介紹 Swift簡介 ...
-
對(duì)象存儲(chǔ)系統(tǒng)之二 ceph詳解本文借鑒了ceph官方資料兴革，以及網(wǎng)絡(luò)公開可查的技術(shù)文檔或者圖片绎晃，非絕對(duì)原創(chuàng)，向開源領(lǐng)域的貢獻(xiàn)者和傳播者致敬杂曲。 架構(gòu)簡單介紹 Ceph介紹 Ceph是一個(gè)分布式存儲(chǔ)系統(tǒng)庶艾，提供對(duì)...
-
-
來自農(nóng)村的我咱揍，好想在城里買套房文/懷左同學(xué) 01 大四的時(shí)候，我跟著老潘工作過一段時(shí)間棚饵，他當(dāng)時(shí)在做生意煤裙，而我，幫他看管其中的一處蟹地。 他比我大八九歲积暖，聊城人，之前在北京工作了幾年怪与，面帶風(fēng)塵夺刑，用他的話來講：“...
-
我就是江湖遍愿，如何退出？微信：fydl282耘斩，網(wǎng)絡(luò)寫手沼填，旅居大連，作品有官場(chǎng)類《正道》括授、懸疑類《龍脈覓蹤》坞笙、仙俠類《太極》岩饼、同人類《倩女幽魂之幻界》、香艷類《叛道》薛夜、玄幻類《雙魚玉佩》籍茧、穿越類《青蟲簪》。
