一惧磺、azkaban介紹 Azkaban是由Linkedin開(kāi)源的一個(gè)批處理工作流任務(wù)調(diào)度器。用于在一個(gè)工作流內(nèi)以一個(gè)特定的順序運(yùn)行一組工作和流程丧失。Azkaban定義了一種KV...
發(fā)簡(jiǎn)信
IP屬地：寧夏
-
大數(shù)據(jù)技術(shù)之a(chǎn)zkaban -
數(shù)據(jù)倉(cāng)庫(kù)問(wèn)題整理的數(shù)倉(cāng)的一些基本問(wèn)題豺妓，不定期更新 0x01 什么是數(shù)據(jù)倉(cāng)庫(kù) 數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)面向主題的、集成的布讹、相對(duì)穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合 數(shù)據(jù)倉(cāng)庫(kù)是將源系統(tǒng)數(shù)據(jù)抽取训堆、轉(zhuǎn)化描验、清洗，...
-
Sublime 3 HiveQL 語(yǔ)法高亮
按照 https://packagecontrol.io/installation 上的說(shuō)明打開(kāi) sublime 的 package control 功能坑鱼。 在頂部導(dǎo)航欄里找...
-
Apache Flume 入門(mén)教程
概要 Apache Flume 是一個(gè)分布式膘流，可靠且可用的系統(tǒng)，用于有效地從許多不同的源收集鲁沥、聚合和移動(dòng)大量日志數(shù)據(jù)到一個(gè)集中式的數(shù)據(jù)存儲(chǔ)區(qū)呼股。 Flume 的使用不只限于日志...
-
idea用maven開(kāi)發(fā)hive的udf詳細(xì)過(guò)程創(chuàng)建maven項(xiàng)目file>new>project2.添加依賴(lài)的jar包，第一次添加可能有點(diǎn)慢 導(dǎo)入完畢后左邊多出很多jar包画恰，右邊則沒(méi)有紅色橫杠 3.開(kāi)始開(kāi)發(fā)在java下新...
-
vscode配置成 sublime text3 風(fēng)格 主題
配置方法 很簡(jiǎn)單： 依次打開(kāi) 文件-首選項(xiàng)-顏色主題彭谁，選擇 Monokai 主題即可： 如果 覺(jué)得 字體不好看，可以自己 配置字體允扇。 如果對(duì) 自帶的顏色主題不滿(mǎn)意 缠局，可以自...
-
異常：sqoop，hbase考润，NoSuchMethodError狭园，HTableDescriptor，addFamily
場(chǎng)景 Sqoop 1.4.6 Mysql 5.6 Hadoop 2.6.4 HBase 1.2.2 將mysql的數(shù)據(jù)導(dǎo)入到hbase中 Commond Error Solu...
-
pandas從mysql讀寫(xiě)數(shù)據(jù)
讀取數(shù)據(jù) 用python從數(shù)據(jù)庫(kù)讀取數(shù)據(jù)糊治，一般都會(huì)使用專(zhuān)門(mén)的數(shù)據(jù)庫(kù)連接包唱矛，然后使用 cursor，比如連接mysql： 然后再將 result 通過(guò) pd.DataFrame...
