生成一個parquet文件 下載 編譯 運行 準備csv文件 生成parquet文件 可見目錄下多了一個sample.parquet文件钾怔。這里沒有指定avsc格式的schem...
IP屬地：陜西
-
Parquet 實踐和基本原理 -
數(shù)倉建奈醪簦基本類型
主要的建模思想大致有三類，三范式牍汹，緯度建模稠项，還有datavalt漂坏。 三范式 熟悉關系型數(shù)據(jù)庫的都知道夺欲，三范式建模主要可以避免數(shù)據(jù)冗余。如果數(shù)據(jù)倉庫中采用這種建模方式描函，還有另外...
-
從零實現(xiàn)一個高性能網(wǎng)絡爬蟲（二）應對反爬蟲之前端數(shù)據(jù)混淆摘要 上一篇以知乎網(wǎng)為例簡單分享網(wǎng)絡請求分析崎苗。這一篇主要分享一種應對反爬蟲的方法，前端數(shù)據(jù)混淆舀寓。 目的 之前寫https://github.com/wycm/zhihu-cr...
-
設計模式--創(chuàng)建型模式
簡單工廠模式 概念： 工廠類對你傳入的參數(shù)判斷（可以寫在配置文件中）胆数，動態(tài)決定new 一個什么對象給你。（類似switch）互墓。 缺點： 如果要新增一個對象必尼，需要在工廠類里面修...
-
Flink Checkpoint機制checkpoint是啥 簡單點說，就是將正在運行的任務的狀態(tài)保存下來。這個狀態(tài)包括任務中每個算子的state判莉，緩存的數(shù)據(jù)（比如processFunction）等豆挽。可以保存在...
-
Flink狀態(tài)機制
什么是狀態(tài) 首先要知道券盅，狀態(tài)指的是算子的狀態(tài)帮哈。為什么算子需要狀態(tài)，狀態(tài)的用處無非兩點： 實現(xiàn)算子的邏輯（作為一種中間狀態(tài)） 錯誤恢復 實現(xiàn)算子的邏輯 用官網(wǎng)的例子锰镀，假設一段數(shù)...
-
Flink帶有狀態(tài)的轉換操作
本篇是對一篇Flink文章的翻譯：https://training.ververica.com/lessons/stateful.html實現(xiàn)一個場景：我們需要輸出每個傳感器...
-
為什么是Flink娘侍？本篇講講Flink，主要有 基于事件時間的消息處理機制 flink的容錯機制 都說flink很火泳炉，那么它到底有什么過人之處呢憾筏。看了《Flink基礎教程》花鹅，總結一下氧腰。 flin...
-
源碼分析JDK動態(tài)代理的本質(zhì)
jdk動態(tài)代理 一般的代碼套路定義接口 定義接口實現(xiàn)類 自定義handler容贝，完成自定義代理的業(yè)務邏輯 核心代碼一共做了以下幾件事 在ProxyHandler中的invoke...
-
深入理解JDK動態(tài)代理機制本文是基于jdk1.8來對動態(tài)代理的底層機制進行探究的 Java中代理的實現(xiàn)一般分為三種：JDK靜態(tài)代理自脯、JDK動態(tài)代理以及CGLIB動態(tài)代理之景。在Spring的AOP實現(xiàn)中，...
-
mac下終端iTerm2配置本文主要介紹mac下iTerm2的基本配置，包括兩方面內(nèi)容：主題和快捷鍵焕参。寫這篇的目的是為自己電腦的配置做個記錄轻纪，以備不時之需。 主題 在配置完主題后叠纷，當你打開iTerm2時...
-
Groovy 語言快速入門前言 由于項目需要用到 Groovy 語言刻帚，這兩天對其進行了粗略的學習，本文是對學習做的一個簡單總結涩嚣，主要內(nèi)容參考于官方文檔（Groovy 的官方文檔還是非常不錯的崇众，強烈推薦...
-
Python 3 入門，最全面的基礎看這篇就夠了航厚！
基礎語法 運行 Python 交互式解釋器 在命令行窗口執(zhí)行python后顷歌，進入 Python 的交互式解釋器。 exit()或Ctrl + D組合鍵退出交互式解釋器幔睬。 命令...
-
《利用Python進行數(shù)據(jù)分析·第2版》第2章 Python語法基礎眯漩，IPython和Jupyter Notebooks第1章 準備工作第2章 Python語法基礎，IPython和Jupyter Notebooks第3章 Python的數(shù)據(jù)結構麻顶、函數(shù)和文件第4章 NumPy基礎：數(shù)組和矢量計...
