在中等規(guī)模以上公司中船响，跨團(tuán)隊(duì)協(xié)作是非常常見的事情，這種協(xié)作中躲履，總會(huì)需要一個(gè)owner來全局把控见间，推動(dòng)事情不斷取得進(jìn)展。 一般情況下工猜，這個(gè)角色會(huì)由團(tuán)隊(duì)leader(或者職級(jí)最高...
發(fā)簡信
IP屬地：北京
-
Ownership與事情推動(dòng)的能力模型 -
這次答應(yīng)我米诉，一舉拿下 I/O 多路復(fù)用這次，我們以最簡單的方式 socket 網(wǎng)絡(luò)模型篷帅，一步一步地過渡到 I/O 多路復(fù)用荒辕。 但我不會(huì)具體說到每個(gè)系統(tǒng)調(diào)用的參數(shù)，這方面書上肯定比我說得詳細(xì)犹褒。 最基本的 Socke...
-
關(guān)注Java編程專題更多干貨等你發(fā)現(xiàn)<br>B站更多學(xué)習(xí)視頻：<a href="https://links.jianshu.com/go?to=https%3A%2F%2Fspace.bilibili.com%2F601601671%2F" target="_blank">https://space.bilibili.com/601601671/</a>
-
Spark Join優(yōu)化-BucketJoin實(shí)現(xiàn)偶然讀取到了字節(jié)跳動(dòng)關(guān)于Spark做的一些優(yōu)化叠骑，發(fā)現(xiàn)其中一項(xiàng)被稱為BuckedtJoin的優(yōu)化項(xiàng) 傳送門:Spark SQL 在字節(jié)跳動(dòng)數(shù)據(jù)倉庫領(lǐng)域的優(yōu)化實(shí)踐 [https:...
-
ES:reindex中的坑
吐槽一個(gè)ES-reindex遷移的大坑 在做ES跨集群遷移的時(shí)候李皇，用到了ES的reindex進(jìn)行數(shù)據(jù)遷移，查了很多資料，包括官方文檔掉房，比如： https://www.elas...
-
Kafka-百萬級(jí)吞吐量的秘密粥烁？Kafka作為一款分布式的消息隊(duì)列，是如何做到百萬級(jí)TPS呢蝇棉？讨阻，用了哪些黑科技才能做到如此這般獨(dú)孤求敗呢？ 1 頁緩存 將磁盤的數(shù)據(jù)緩存到內(nèi)存中篡殷，把對磁盤的訪問變?yōu)閷?nèi)存的訪...
-
Spark-Broadcast的生命周期
事情起因是一位同事寫的SparkStreaming程序钝吮，總會(huì)出現(xiàn)部分Executor上請求broadcast不成功的錯(cuò)誤，鑒于此板辽，我專門走讀了一下broadcast的相關(guān)代碼...
-
Spark-窗口函數(shù)實(shí)現(xiàn)原理及各種寫法
平時(shí)使用窗口函數(shù)最多的情況就是-根據(jù)某個(gè)字段分組奇瘦，取組內(nèi)的TopN(也可能是隨機(jī)取N條)，在沒接觸窗口函數(shù)之前劲弦，使用的是groupByKey+flatMap的操作链患，數(shù)據(jù)稍微一...
-
Spark3-AQE-數(shù)據(jù)傾斜Join優(yōu)化
Adaptive Query Exection(自適應(yīng)查詢計(jì)劃)簡稱AQE，在最早在spark 1.6版本就已經(jīng)有了AQE;到了spark 2.x版本瓶您，intel大數(shù)據(jù)團(tuán)隊(duì)進(jìn)...
-
Pands導(dǎo)出excel
本文介紹使用Pandas導(dǎo)出Excel，并添加一些簡單的格式 1 dataframe.to_excel導(dǎo)出Excel 在一個(gè)excel中寫入多個(gè)sheet頁纲仍，必須使用Exce...
-
PG的Upsert語法多種實(shí)現(xiàn)
本文使用以下表做測試?yán)?1 版本9.5 之后 insert on conflict do）呀袱。當(dāng)插入遇到約束錯(cuò)誤時(shí)，直接返回或者改為執(zhí)行UPDATE郑叠。 如果希望在插入沖突之后...
-
Spark源碼[7]-Task結(jié)構(gòu)1 Task抽象類 org.apache.spark.scheduler.Task提供的抽象方法有： Task中有一個(gè)重要的已實(shí)現(xiàn)方法Run夜赵，會(huì)先調(diào)用BlockManager...
-
Spark源碼[6]-Task內(nèi)存位于spark-core模塊的org.apache.spark.memory.TaskMemoryManager 1 簡介 TaskMemoryManager用于管理單個(gè)任務(wù)...
-
Spark源碼[5]-BlockManager
在Spark中，只要涉及到非Partition級(jí)別的數(shù)據(jù)乡革，都會(huì)有一個(gè)Block的概念寇僧，而這里的Block并不是HDFS的Block，而是Spark內(nèi)部為了數(shù)據(jù)存儲(chǔ)而設(shè)立的一個(gè)...
-
Flink檢查點(diǎn)（checkpoint）沸版、保存點(diǎn)（savepoint）的區(qū)別與聯(lián)系今天聽同事做關(guān)于Docker的技術(shù)分享嘁傀，結(jié)束時(shí)已經(jīng)有點(diǎn)晚了，沒法仔細(xì)選題视粮，所以就寫一個(gè)所有人都知道的小知識(shí)點(diǎn)吧细办。 checkpoint（檢查點(diǎn)）和savepoint（保存點(diǎn)）...
-
你怎么不去知乎洗？
38歲謝娜曬美照蕾殴，十八姑娘一枝花笑撞，和張杰夫妻相十足
4月6日岛啸，謝娜曬出自己十八歲的美照，發(fā)文感嘆：“哇茴肥！十八滴菇?jīng)鲆欢浠岵龋齻冋f有點(diǎn)像，是么瓤狐？”謝娜表達(dá)了與杰哥結(jié)婚這些年來瞬铸，兩人恩愛甜蜜，越來越有夫妻相了芬首。 謝娜在2007年赴捞，...
-
Elasticsearch數(shù)據(jù)類型及其屬性
Elasticsearch數(shù)據(jù)類型及其屬性 一、數(shù)據(jù)類型 字段類型概述 核心類型 1郁稍、字符串類型string類型: 在ElasticSearch 舊版本中使用較多赦政，從Elas...
-
這什么水文？耀怜？恢着？？财破？
當(dāng)微信變成操作系統(tǒng)的那一天,?蘋果和谷歌才知道,?騰訊有多可怕?
一旦沒有天敵掰派，人們就會(huì)變得松懈。澳洲的兔子之所以泛濫成災(zāi)左痢，或許就是因?yàn)榘闹逈]有翱翔天際的雄鷹靡羡。而在操作系統(tǒng)領(lǐng)域，蘋果公司和谷歌公司二分天下俊性，井水不犯河水略步，日子過得倒也瀟灑。 ...
個(gè)人介紹