ORC文件--包含snappy幽纷、zlib兩種壓縮格式模闲，不需要配置compress參數(shù) CREATE EXTERNAL TABLE tbl_orc_snappy_comma(s...
發(fā)簡信
IP屬地：山西
-
hive建表-指定文件類型和壓縮類型以及字段分隔符
-
關(guān)于是否在intellij idea 的工程下的resources目錄下添加core-site.xml 的區(qū)別查剖？
hadoop core-site.xml 中通常有核心的配置項贯被，比如： 如圖沟于，當resources目錄下添加了Hadoop core-site.xml 且包含配置項“fs.d...
-
datax字段轉(zhuǎn)換
通用轉(zhuǎn)換 針對通用的轉(zhuǎn)換咳胃，如加密等很多表同步都使用到的，可以加入插件旷太≌剐福可以參考com.alibaba.datax.core.transport.transformer下面的插...
-
傳遞文字存崖，結(jié)交喜愛文字的朋友冻记，用一個思想換取另外一個思想，讓我們的世界充滿正能量来惧！
-
Kafka 入門1：系統(tǒng)架構(gòu)冗栗、基本概念以及偽集群搭建方法一、Kafka 是什么供搀？ Apache Kafka 本質(zhì)上是一種消息中間件隅居，用來可靠傳遞消息事件，用來管理消息隊列（Message Queue）葛虐，具有如下特點： 分布式的胎源，支...
-
Redis 高級功能
一、Redis 管道技術(shù) 1.1 背景 想象一下屿脐，現(xiàn)在需要向 Redis 中添加大量的 KV 對涕蚤，可以通過直接調(diào)用大量的 set 命令來完成，比如： 然而這種方法存在一個問題...
-
解決 hive 建表注釋中文亂碼問題
有時在 hive 中創(chuàng)建表之后的诵，在查看表結(jié)構(gòu)（describe TABLE_NAME）或者建表語句（show create table TABLE_NAME）時會遇到注釋中的...
-
Spark 中 RDD 算子 ReduceByKey 和 GroupByKey 使用方法和區(qū)別在對RDDPair（一種特殊的 RDD万栅，即RDD[(key, Row)]）進行操作時經(jīng)常會用到 reduceByKey() 和 groupByKey() 兩個算子。下面看看兩...
-
HDFS讀寫文件流程https://www.cnblogs.com/laowangc/p/8949850.html 一奢驯、HDFS讀取文件流程： 詳解讀取流程： Client調(diào)用FileSyste...
-
Flink 入門（一）：Flink 背景申钩、架構(gòu)以及基本知識點今年 Flink 火的一塌糊涂，一些大廠比如阿里巴巴也都開始使用 Flink 構(gòu)建實時數(shù)據(jù)倉庫瘪阁。 一撒遣、什么是 Flink ？ 1.1 批處理和流處理 數(shù)據(jù)集分為有界數(shù)據(jù)集和無...
-
Flink 入門（二）：Mac 上搭建 Flink & Flink 配置項Flink V1.9 官方中文文檔地址：https://ci.apache.org/projects/flink/flink-docs-release-1.9/zh/管跺。 一义黎、...
-
學習筆記總結(jié)<br><br>github:<a href="https://links.jianshu.com/go?to=https%3A%2F%2Fgithub.com%2Fxy2953396112" target="_blank">https://github.com/xy2953396112</a><br><br><br><br><br>
