1. 概述 Airflow是airbnb開源的基于DAG(有向無環(huán)圖)的用Python開發(fā)的任務管理系統(tǒng)父能。最簡單的理解就是一個高級版的crontab,它解決了crontab無...
![240](https://upload.jianshu.io/users/upload_avatars/19676609/9f2273a6-1c8b-4cb4-8d62-c0df2595cdec.jpg?imageMogr2/auto-orient/strip|imageView2/1/w/240/h/240)
1. 概述 Airflow是airbnb開源的基于DAG(有向無環(huán)圖)的用Python開發(fā)的任務管理系統(tǒng)父能。最簡單的理解就是一個高級版的crontab,它解決了crontab無...
在 Doris 中,數據都以表(Table)的形式進行邏輯上的描述。 名詞解釋 數據分布:數據分布是將數據劃分為子集, 按一定規(guī)則, 均衡地分布在不同節(jié)點上岔乔,以期最大限度地利...
1.概述 Apache Doris 是一個基于MPP架構的高性能實時分析 OLAP 引擎,以其極快的速度和易用性而聞名滚躯。 它只需要亞秒的響應時間即可在海量數據下返回查詢結果雏门,...
以下文章來源于談數據 ,作者石秀峰 1哀九、找癥狀剿配,明確目標 任何企業(yè)實施數據治理都不是為了治理數據而治理數據,其背后都是管理和業(yè)務目標的驅動阅束。企業(yè)中普遍存在的數據質量問題有:數...
數據治理學習及梳理呼胚,理解不算深刻。丟失一次全部內容息裸,心態(tài)炸裂情況下先粗略寫了一般蝇更。后續(xù)充分結合地址數據治理進行理解沪编。 一、什么是數據治理為提高數據質量而展開的業(yè)務年扩、技術和管理...
1. DevOps簡介 DevOps 就是開發(fā)(Development)相嵌、測試(QA)、運維(Operations)這三個領域的合并况脆。 為什么要合并這三個領域饭宾?主要是開發(fā)和運...
IaC的概述 由于現在的一切都致力實現數字化格了,尤其是在發(fā)生冠狀病毒疫情之后看铆,現在正確管理組織的IT基礎設施變得尤為重要。 在此之前盛末,對IT基礎設施的管理都是由組織的系統(tǒng)管理員...
現在對Zookeeper的注冊中心原理再深入研究一下悄但,主要學習它的設計思想棠隐。一文帶你了解Zookeeper的注冊中心流程、探活機制檐嚣、Watch機制和CP模型宵荒。 注冊中心基本概...
這里需要學習Linux常用的快捷鍵: 終端命令格式 command [-options] [parameter]第一個是命令名,第二個是選項净嘀,對命令進行控制报咳,也可以省略;第三...
這本書有8個章節(jié)宵膨,從基礎逐漸展開架谎,但是書籍總共也只有236頁,還包含了Hadoop辟躏、spark和Flink三個知識點谷扣。所以感覺講得可能不太會很深入。這里畢竟是書籍的閱讀部分捎琐,...
1.命名規(guī)范 數據庫表名会涎、字段名裹匙、索引名等都需要命名規(guī)范,可讀性高(一般要求用英文)末秃,讓別人一看命名概页,就知道這個字段表示什么意思。 比如一個表的賬號字段练慕,反例如下: 正例: ...
利用JAVA向Mysql插入一億數量級數據—效率測評 這幾天研究mysql優(yōu)化中查詢效率時,發(fā)現測試的數據太少(10萬級別)麸塞,利用 EXPLAIN 比較不同的 SQL 語句,...
前言 最近有幾個讀者私信給我哪工,問我他們的業(yè)務場景,要用什么樣的定時任務弧哎。確實雁比,在不用的業(yè)務場景下要用不同的定時任務,其實我們的選擇還是挺多的撤嫩。我今天給大家總結10種非常實用的...
本系列文章記錄本人從剛接觸airflow到在實際項目中使用airflow的學習筆記偎捎,一則記錄airflow的相關筆記加深自我理解;二則分享出來跟大伙一起討論進步序攘。 airfl...