七十年代凛驮，我們村東頭有個毛筆廠掺栅，做各種各樣的毛筆，遠銷很多地方剥懒。做毛筆要用到兔毛，所以遠近有很多養(yǎng)兔子薅兔毛的人家。但上好的毛筆，要用狼毫來做键袱，狼毫筆是黃鼠狼尾巴上的毛做的，...
發(fā)簡信
IP屬地：北京
-
Flink詳解系列之九--反壓機制和處理反壓是什么 反壓是在實時數(shù)據(jù)處理中摹闽，數(shù)據(jù)管道某個節(jié)點上游產(chǎn)生數(shù)據(jù)的速度大于該節(jié)點處理數(shù)據(jù)速度的一種現(xiàn)象蹄咖。反壓會從該節(jié)點向上游傳遞，一直到數(shù)據(jù)源付鹿，并降低數(shù)據(jù)源的攝入速度澜汤。這在流...
-
Flink詳解系列之八--Checkpoint和Savepoint一、Checkpoint 獲取分布式數(shù)據(jù)流和算子狀態(tài)的一致性快照是Flink容錯機制的核心舵匾，這些快照在Flink作業(yè)恢復時作為一致性檢查點存在俊抵。 1.1 原理 1.1.1 B...
-
Flink詳解之七--狀態(tài)管理
一、概念 實時處理中的很多操作都是一次對單個事件做處理坐梯，也有一些操作需要歷史事件的信息务蝠，這些操作被稱為有狀態(tài)的。也就是說烛缔，所謂的狀態(tài)就是由歷史事件處理供后續(xù)操作使用的信息馏段。 ...
-
flink算子：union和connect
在合并數(shù)據(jù)流時，可以使用union和connect兩種算子践瓷，兩者的使用方式如下院喜。 union 1、可以合并兩個以上的數(shù)據(jù)流晕翠；2喷舀、合并的各實時流數(shù)據(jù)類型必須相同；3淋肾、合并的結(jié)果...
-
Flink詳解系列之六--窗口機制窗口是flink處理無限流的核心,窗口將流拆分為有限大小的“桶”硫麻，我們可以在這些桶上進行計算。 1樊卓、Keyed vs Non-Keyed Windows 根據(jù)上游數(shù)據(jù)是否為K...
-
Flink詳解系列之五--水位線（watermark）1拿愧、概念 在Flink中，水位線是一種衡量Event Time進展的機制碌尔，用來處理實時數(shù)據(jù)中的亂序問題的浇辜，通常是水位線和窗口結(jié)合使用來實現(xiàn)。 從設(shè)備生成實時流事件唾戚，到Flin...
-
Flink詳解系列之四--時間在流處理場景中柳洋，處理的是持續(xù)到達且可能是無窮的事件流，時間在這樣的應(yīng)用中是最核心的要素叹坦。Flink定義了三種時間類型： 事件時間（Event Time） 事件時間是數(shù)據(jù)流中事...
-
Flink詳解系列之二--核心概念一熊镣、流處理 在自然環(huán)境中，數(shù)據(jù)的產(chǎn)生原本就是流式的。無論是來自 Web 服務(wù)器的事件數(shù)據(jù)绪囱，證券交易所的交易數(shù)據(jù)测蹲，還是來自工廠車間機器上的傳感器數(shù)據(jù)，其數(shù)據(jù)都是流式的毕箍。但是當你...
-
Flink詳解之一--概述近段時間，由于公司項目的相關(guān)需求道盏，需要對Flink做詳細的梳理而柑，我把學習過程整理成Flink詳解系列的10篇左右的總結(jié)，供大家參考荷逞。 大數(shù)據(jù)計算引擎的發(fā)展 近年來隨著大數(shù)據(jù)的...
-
如何培養(yǎng)孩子的閱讀習慣
閱讀的重要性是不言而喻的媒咳，想讓孩子養(yǎng)成自主閱讀的習慣，并不是一件非常難的事情种远，我就以我家孩子為例（目前6歲）涩澡，簡單介紹下我的感觸，希望對會有大家有幫助坠敷。 首先妙同，要培養(yǎng)孩子的閱...
-
python上下文管理器(context manager)
首先限次，什么是上下文管理器芒涡？上下文管理器就是實現(xiàn)了上下文管理協(xié)議的對象。主要用于保存和恢復各種全局狀態(tài)卖漫，關(guān)閉文件等费尽，上下文管理器本身就是一種裝飾器。下面我們就通過一下幾個部分羊始，...
-
python匿名函數(shù)(lambda function)
在python中旱幼，除了一般使用def定義的函數(shù)外，還有一種使用lambda定義的匿名函數(shù)突委。這種函數(shù)可以用在任何普通函數(shù)可以使用的地方速警，但在定義時被嚴格限定為單一表達式。從語義...
-
誠招管理員！聯(lián)系我~ 本專題專注于大數(shù)據(jù)技術(shù)里初，包括但不限于：分布式系統(tǒng)啃勉，hadoop，spark双妨，storm淮阐，mesos，hbase刁品，zookeeper泣特。。挑随。 Tips:如果是自己學習這些技術(shù)状您，通過社區(qū)學習是一個不錯的方式。 JIRA:https://issues.apache.org/jira/browse/SPARK/?selectedTab=com.atlassian.jira.jira-projects-plugin:summary-panel
-
python描述器(Descriptor)
描述器協(xié)議 描述器協(xié)議包括以下3個方法： object.__get__(self, instance, owner)調(diào)用時得到類的屬性（類屬性訪問控制）或者類的實例的屬性(實...
-
python裝飾器(Decorator)
裝飾器是一種設(shè)計模式，它提供了強大的復用非業(yè)務(wù)邏輯的能力拌汇，經(jīng)典的應(yīng)用場景有日志記錄骆莹、性能測試、事務(wù)處理等担猛。下面分幾個部分逐步介紹python中的裝飾器幕垦。 1、python如何...
