首先牵咙，寫入動(dòng)態(tài)分區(qū)表橙弱，要設(shè)置一些嚴(yán)格模式的參數(shù)焙格，將其設(shè)置為非嚴(yán)格模式 插入非分區(qū) Hive 表 對(duì)于插入 Hive 表來說辅辩，這個(gè)重分區(qū)不是必須的...

SparkSQL 有著強(qiáng)大的與其他存儲(chǔ)介質(zhì)交互的功能拣展，其中就包括MySQL左电，這里簡(jiǎn)單介紹一下我在工作中用到的使用 PySpark 讀寫 MySQ...

剛做了一個(gè)小需求柿扣，對(duì)文件系統(tǒng)有一些操作，記錄一下祥绞，鞏固記憶非洲。 獲取文件自己所在的路徑： 創(chuàng)建文件夾： 刪除文件： 下載hdfs 文件本地: 讀取...

背景：表中有一個(gè)降水強(qiáng)度字段，但是并不是真實(shí)的降雨量蜕径，后來數(shù)據(jù)模型的同事給了一個(gè)python腳本两踏，按照腳本可以大體轉(zhuǎn)換成降雨量。思路：1.想過用...

需求： 1.從hive 表中獲取數(shù)據(jù)兜喻。 2.計(jì)算各個(gè)指標(biāo)與主分析指標(biāo)間的相關(guān)系數(shù)梦染。 3.將計(jì)算出來的相關(guān)系數(shù)，放入csv 文件虹统，待使用弓坞。 首先，...

經(jīng)常使用mysql 的查詢功能车荔，比較少使用刪除渡冻。最近在網(wǎng)上做了幾個(gè)sql題，有一個(gè)刪除的問題忧便，本以為挺簡(jiǎn)單族吻，確報(bào)出如題目的錯(cuò)誤帽借，在網(wǎng)上一搜索才發(fā)...