生成一個(gè)parquet文件 下載 編譯 運(yùn)行 準(zhǔn)備csv文件 生成parquet文件 可見(jiàn)目錄下多了一個(gè)sample.parquet文件遍膜。這里沒(méi)有指定avsc格式的schem...
IP屬地：陜西
-
Parquet 實(shí)踐和基本原理 -
從零實(shí)現(xiàn)一個(gè)高性能網(wǎng)絡(luò)爬蟲(chóng)（二）應(yīng)對(duì)反爬蟲(chóng)之前端數(shù)據(jù)混淆摘要 上一篇以知乎網(wǎng)為例簡(jiǎn)單分享網(wǎng)絡(luò)請(qǐng)求分析椿访。這一篇主要分享一種應(yīng)對(duì)反爬蟲(chóng)的方法怠晴，前端數(shù)據(jù)混淆遮怜。 目的 之前寫(xiě)https://github.com/wycm/zhihu-cr...
-
Flink Checkpoint機(jī)制checkpoint是啥 簡(jiǎn)單點(diǎn)說(shuō)，就是將正在運(yùn)行的任務(wù)的狀態(tài)保存下來(lái)。這個(gè)狀態(tài)包括任務(wù)中每個(gè)算子的state，緩存的數(shù)據(jù)（比如processFunction）等菠红。可以保存在...
-
Flink狀態(tài)機(jī)制
什么是狀態(tài) 首先要知道难菌，狀態(tài)指的是算子的狀態(tài)。為什么算子需要狀態(tài)蔑滓，狀態(tài)的用處無(wú)非兩點(diǎn)： 實(shí)現(xiàn)算子的邏輯（作為一種中間狀態(tài)） 錯(cuò)誤恢復(fù) 實(shí)現(xiàn)算子的邏輯 用官網(wǎng)的例子郊酒，假設(shè)一段數(shù)...
-
源碼分析JDK動(dòng)態(tài)代理的本質(zhì)
jdk動(dòng)態(tài)代理 一般的代碼套路定義接口 定義接口實(shí)現(xiàn)類(lèi) 自定義handler，完成自定義代理的業(yè)務(wù)邏輯 核心代碼一共做了以下幾件事 在ProxyHandler中的invoke...
-
kylin簡(jiǎn)介
kylin介紹 Apache Kylin is an open source Distributed Analytics Engine designed to provide...
-
為什么是Flink键袱？本篇講講Flink燎窘，主要有 基于事件時(shí)間的消息處理機(jī)制 flink的容錯(cuò)機(jī)制 都說(shuō)flink很火，那么它到底有什么過(guò)人之處呢蹄咖『纸。看了《Flink基礎(chǔ)教程》，總結(jié)一下澜汤。 flin...
-
深入理解JDK動(dòng)態(tài)代理機(jī)制本文是基于jdk1.8來(lái)對(duì)動(dòng)態(tài)代理的底層機(jī)制進(jìn)行探究的 Java中代理的實(shí)現(xiàn)一般分為三種：JDK靜態(tài)代理蚜迅、JDK動(dòng)態(tài)代理以及CGLIB動(dòng)態(tài)代理。在Spring的AOP實(shí)現(xiàn)中俊抵，...
-
mac下終端iTerm2配置本文主要介紹mac下iTerm2的基本配置谁不，包括兩方面內(nèi)容：主題和快捷鍵。寫(xiě)這篇的目的是為自己電腦的配置做個(gè)記錄徽诲，以備不時(shí)之需刹帕。 主題 在配置完主題后，當(dāng)你打開(kāi)iTerm2時(shí)...
