發(fā)簡信
IP屬地：北京
-
Ownership與事情推動的能力模型在中等規(guī)模以上公司中劲件，跨團隊協(xié)作是非常常見的事情掸哑，這種協(xié)作中，總會需要一個owner來全局把控零远，推動事情不斷取得進展苗分。 一般情況下，這個角色會由...
-
Spark Join優(yōu)化-BucketJoin實現(xiàn)偶然讀取到了字節(jié)跳動關于Spark做的一些優(yōu)化牵辣，發(fā)現(xiàn)其中一項被稱為BuckedtJoin的優(yōu)化項 傳送門:Spark SQL 在字節(jié)跳動數(shù)據(jù)倉庫...
-
ES:reindex中的坑
吐槽一個ES-reindex遷移的大坑 在做ES跨集群遷移的時候摔癣，用到了ES的reindex進行數(shù)據(jù)遷移，查了很多資料纬向，包括官方文檔择浊，比如： h...
-
金融筆記-美元潮汐
最近老比登不顧他國的死活，給自己整了個1.9萬億救助計劃及4萬億的基建激勵計劃逾条。相當于變相贏錢琢岩，可能會帶來通貨膨脹。 而我完全看不懂师脂，也不知道對...
-
Kafka-百萬級吞吐量的秘密担孔？Kafka作為一款分布式的消息隊列，是如何做到百萬級TPS呢吃警？糕篇，用了哪些黑科技才能做到如此這般獨孤求敗呢？ 1 頁緩存 將磁盤的數(shù)據(jù)緩存到內存中...
-
Spark-Broadcast的生命周期
事情起因是一位同事寫的SparkStreaming程序酌心，總會出現(xiàn)部分Executor上請求broadcast不成功的錯誤拌消，鑒于此，我專門走讀了一...
-
Spark-窗口函數(shù)實現(xiàn)原理及各種寫法
平時使用窗口函數(shù)最多的情況就是-根據(jù)某個字段分組安券，取組內的TopN(也可能是隨機取N條)墩崩，在沒接觸窗口函數(shù)之前，使用的是groupByKey+f...
-
Spark3-AQE-數(shù)據(jù)傾斜Join優(yōu)化
Adaptive Query Exection(自適應查詢計劃)簡稱AQE完疫，在最早在spark 1.6版本就已經有了AQE;到了spark 2....
-
Pands導出excel
本文介紹使用Pandas導出Excel泰鸡，并添加一些簡單的格式 1 dataframe.to_excel導出Excel 在一個excel中寫入多個...