介紹 Hive的分析函數(shù)又叫窗口函數(shù)嘶居， 在oracle中就有這樣的分析函數(shù)，主要用來做數(shù)據(jù)統(tǒng)計(jì)分析的氛驮。Lag和Lead分析函數(shù)可以在同一次查詢中取出同一字段的前N行的數(shù)據(jù)【L...
發(fā)簡信
IP屬地：四川
-
Hive分析函數(shù)LAG和LEAD詳解
-
flink checkpoint/savepoint的metadata文件格式詳解源頭 flink的checkpoint和savepoint用于恢復(fù)作業(yè)狀態(tài)恋日，在恢復(fù)作業(yè)時(shí)，如果存在多個(gè)checkpoint毯焕，將獲取最新的checkpoint來進(jìn)行恢復(fù)衍腥，沒有c...
-
Hive Grouping Sets多維分析
介紹 GROUPING SETS,GROUPING__ID,CUBE,ROLLUP：這幾個(gè)函數(shù)通常用于OLAP中，不能累加纳猫，而且需要根據(jù)不同維度上鉆和下鉆的指標(biāo)統(tǒng)計(jì)婆咸。 GRO...
-
IDEA拉取Git出現(xiàn)0x80092013問題解決
發(fā)生原因 更新了IDEA到2020.2后，發(fā)現(xiàn)git pull或者push都會(huì)報(bào)這個(gè)錯(cuò)誤芜辕。 過程 因在2020.1中并沒有發(fā)生這種錯(cuò)誤尚骄，在git bash中也不會(huì)有，只存在于...
-
git fork項(xiàng)目更新介紹 當(dāng)我們從其他的開源項(xiàng)目中fork了項(xiàng)目到我們自己的倉庫后侵续，如果源倉庫有更新乖仇，我們?cè)趺磳⒏峦轿覀冏约簜}庫中已fork項(xiàng)目呢。下面就以incubator-dolphin...
-
Spark3.0系列(一)IDEA編譯Spark源碼閱讀源碼的第一步是下載Spark源碼询兴，并導(dǎo)入到工具中閱讀乃沙。 下載 進(jìn)入http://spark.apache.org/downloads.html頁面，點(diǎn)擊download箭...
-
Spark3.0系列（二）Master啟動(dòng)流程源碼解析問題 在Spark的standalone 模式中Master是如何啟動(dòng)诗舰？ 在Master啟動(dòng)后又做了哪些操作警儒？ Master啟動(dòng)流程 從Spark2.0開始就以及刪除了akk...
-
-
Kafka新版本API特性
在kafka中记劝，新版本api主要是針對(duì)java版本的producer和consumer。 Producer新版本的Producer族扰，相對(duì)于舊版本而言厌丑，在設(shè)計(jì)理念上具有以下優(yōu)勢(shì)...
-
kafka集群規(guī)劃
kafka的集群規(guī)劃主要需要考慮以下幾個(gè)方面： 操作系統(tǒng)：最好選擇Lunix系統(tǒng)，因Linux提供的epoll模型使用的是I/O多路復(fù)用+信號(hào)驅(qū)動(dòng)I/O的結(jié)合渔呵；且Linux可...
-
kafka調(diào)優(yōu)參數(shù)設(shè)置
下面將以Kafka集群設(shè)計(jì)的各方面參數(shù)進(jìn)行說明：broker端口參數(shù)topic級(jí)別參數(shù)GC配置參數(shù)JVM參數(shù)OS參數(shù) broker端參數(shù)Kafka目前尚不支持動(dòng)態(tài)參數(shù)修改怒竿，也...
-
Producer主要參數(shù)
除了bootstrap.servers、key.serializer和value.serializer三個(gè)必須參數(shù)之外扩氢，Java版本的Producer還提供了很多其他重要的參...
-
Consumer主要參數(shù)
consumer除里指定的4個(gè)必要參數(shù)（bootstrap.servers耕驰、group.id、key.deserializer录豺、value.deserializer）外朦肘，Ja...
-
自定義udtf函數(shù)輸出多列
介紹 在hive中饭弓，可以對(duì)其進(jìn)行添加自定義的函數(shù)來滿足自己的特定場(chǎng)景的功能，hive中可以提供三種自定義函數(shù)： 普通函數(shù)：一進(jìn)一出 UDAF函數(shù)：多進(jìn)一出 UDTF函數(shù)：一進(jìn)...
-
有一種幽默冲秽，叫性騷擾！
文| 九妹來源 |國館 （ID：guoguan5000） 01. 曾在網(wǎng)上矩父，看到有網(wǎng)友吐槽過這樣一個(gè)事： 她大學(xué)剛畢業(yè)工作時(shí)锉桑，參加了一個(gè)公司新人破冰活動(dòng)。 在一個(gè)問答環(huán)節(jié)中窍株，...
-
zookeeper的FastLeaderElection選舉算法
在zookeeper中主要有3中選舉算法： LeaderElection(UDP版本) AuthFastLeaderElection(UDP版本民轴，這個(gè)選舉算法包含2種，1/不...
-
zookeeper配置介紹
zookeeper的默認(rèn)配置文件為zookeeper/conf/zoo_sample.cfg球订，需要將其修改為zoo.cfg后裸。其中各配置項(xiàng)的含義，解釋如下： tickTime：...
個(gè)人介紹