MergedBeanDefinitionPostProcessor MergedBeanDefinitionPostProcessor[#mergedbeandefiniti...
IP屬地：北京
-
MergedBeanDefinitionPostProcessor源碼分析
-
深入理解 Python yield
yield的英文單詞意思是生產(chǎn)腔召，剛接觸Python的時候感到非常困惑，一直沒弄明白yield的用法矛渴。一直到稀里糊涂的看完了廖雪峰的python博客也沒徹底明白摆尝。有一次不小心看...
-
其中spark shuffle和MR shuffle最大的區(qū)別其實(shí)是烟很，spark的reducer端是被調(diào)度在線程池中執(zhí)行的卿吐，而MR的reducer端是執(zhí)行在進(jìn)程中的富弦，spark的任務(wù)執(zhí)行開銷要比MR的小很多灵嫌。
Spark--Hadoop與Spark在Shuffle的區(qū)別
本文基于Hadoop 2.7.x Spark 2.2.x進(jìn)行學(xué)習(xí)分析發(fā)現(xiàn)網(wǎng)上沒有詳細(xì)和規(guī)整的對比說明壹罚，面試的時候又會在很大程度上問到，也是因?yàn)樽约好嬖嚨臅r候碰到這個問題醒第，所以...
-
Spark--Hadoop與Spark在Shuffle的區(qū)別
本文基于Hadoop 2.7.x Spark 2.2.x進(jìn)行學(xué)習(xí)分析發(fā)現(xiàn)網(wǎng)上沒有詳細(xì)和規(guī)整的對比說明渔嚷，面試的時候又會在很大程度上問到，也是因?yàn)樽约好嬖嚨臅r候碰到這個問題稠曼，所以...
-
Hbase——Region拆分與合并一形病、Hbase的Region介紹 Region類似于數(shù)據(jù)庫的分片和分區(qū)的概念，每個Region負(fù)責(zé)一小部分Rowkey范圍的數(shù)據(jù)的讀寫和維護(hù)霞幅，Region包含了對應(yīng)的起始行到...
-
Spark_性能調(diào)優(yōu)及Spark3.0新特性
1.spark_shuffle_分區(qū)數(shù) spark_sql aqe 優(yōu)化SparkSQL中漠吻，基于SQL分析或者DSL分析，執(zhí)行Job時司恳，如果產(chǎn)生Shuffle途乃，默認(rèn)分區(qū)數(shù)：...
-
Kafka中的 Segment 設(shè)計
一、設(shè)計思想將一個分區(qū)中的數(shù)據(jù)劃分到不同的文件當(dāng)中去扔傅，每一個文件按順序存儲一部分?jǐn)?shù)據(jù)耍共，所有分區(qū)的第一個Segment就是用20位0來編號的Segment文件。該文件達(dá)到一定條...
-
Kafka_讀寫流程kafka集群 寫 生產(chǎn)者和kafka集群之間的流程 1.生產(chǎn)者將數(shù)據(jù)封裝到ProducerRecord中,將ProducerRecord放到一個 中,當(dāng)該batch達(dá)到一定...
-
沒明白這里的未實(shí)例化子類是啥意思傲匀试读？？大佬能解釋下嗎荠耽？
Java 泛型擦除的理解及如何獲取泛型的實(shí)際類型
泛型 泛型是JDK1.5之后的一項(xiàng)新增特性钩骇， 它的本質(zhì)是參數(shù)化類型（Parametersized Type）的應(yīng)用，即所操作的數(shù)據(jù)類型被指定為一個參數(shù)，這種參數(shù)類型可以用在類...
-
Java 泛型擦除的理解及如何獲取泛型的實(shí)際類型
泛型 泛型是JDK1.5之后的一項(xiàng)新增特性倘屹， 它的本質(zhì)是參數(shù)化類型（Parametersized Type）的應(yīng)用银亲，即所操作的數(shù)據(jù)類型被指定為一個參數(shù)，這種參數(shù)類型可以用在類...
-
-
Calcite中定制自已SQL解析器
不想看文章直接訪問https://github.com/yuqi1129/schema/tree/master/mysql-protocol(Java版本的Mysql)、ht...
-
flink1.12.1擴(kuò)展flink-sql 支持寫入到sqlserver
目前業(yè)務(wù)上有同步數(shù)據(jù)到sqlServer的需求哄辣，但是flink1.12.1版本的JdbcDialects不支持SqlServerDialect,科學(xué)上網(wǎng)后發(fā)現(xiàn)袋鼠云的flin...
-
-
使用python執(zhí)行excel的VBA（宏）1力穗、將excel表格的操作流程指定宏名稱錄制成宏，復(fù)雜操作可以錄制多個宏气嫁，以不同的宏名稱保存当窗。 錄制宏，在菜單中找到宏功能區(qū)寸宵，本人的宏放在視圖菜單里image.png 開始錄...
-
這個Rocksdb的內(nèi)存超用崖面，是不是會占用JVM Overhead的那部分內(nèi)存啊梯影？
Flink RocksDB托管內(nèi)存機(jī)制的幕后——Cache & Write Buffer Manager
前言 為了解決Flink作業(yè)使用RocksDB狀態(tài)后端時的內(nèi)存超用問題巫员，F(xiàn)link早在1.10版本就實(shí)現(xiàn)了RocksDB的托管內(nèi)存（managed memory）機(jī)制。用戶只...
-
Flink RocksDB托管內(nèi)存機(jī)制的幕后——Cache & Write Buffer Manager前言 為了解決Flink作業(yè)使用RocksDB狀態(tài)后端時的內(nèi)存超用問題甲棍，F(xiàn)link早在1.10版本就實(shí)現(xiàn)了RocksDB的托管內(nèi)存（managed memory）機(jī)制简识。用戶只...
-
Presto/Trino權(quán)威指南及官方設(shè)計文檔解讀官網(wǎng)地址：https://trino.io/docs/current/[https://trino.io/docs/current/]參閱書目《Trino: The defi...
-
FlinkSQL 語法擴(kuò)展
FlinkSQL 語法擴(kuò)展 參考flink-sql-parser模塊了解下Flink如何擴(kuò)展Calcite語法，創(chuàng)建空項(xiàng)目進(jìn)行語法擴(kuò)展感猛。首先七扰，拷貝codegen文件夾下的內(nèi)容...
