首先瘫寝，寫入動態(tài)分區(qū)表，要設置一些嚴格模式的參數(shù)仅讽，將其設置為非嚴格模式 插入非分區(qū) Hive 表 對于插入 Hive 表來說，這個重分區(qū)不是必須的...

SparkSQL 有著強大的與其他存儲介質(zhì)交互的功能钾挟，其中就包括MySQL洁灵，這里簡單介紹一下我在工作中用到的使用 PySpark 讀寫 MySQ...

剛做了一個小需求，對文件系統(tǒng)有一些操作掺出，記錄一下徽千，鞏固記憶。 獲取文件自己所在的路徑： 創(chuàng)建文件夾： 刪除文件： 下載hdfs 文件本地: 讀取...

背景：表中有一個降水強度字段汤锨，但是并不是真實的降雨量罐栈，后來數(shù)據(jù)模型的同事給了一個python腳本，按照腳本可以大體轉(zhuǎn)換成降雨量泥畅。思路：1.想過用...

需求： 1.從hive 表中獲取數(shù)據(jù)荠诬。 2.計算各個指標與主分析指標間的相關(guān)系數(shù)琅翻。 3.將計算出來的相關(guān)系數(shù)，放入csv 文件柑贞，待使用方椎。 首先，...

經(jīng)常使用mysql 的查詢功能钧嘶，比較少使用刪除棠众。最近在網(wǎng)上做了幾個sql題，有一個刪除的問題有决，本以為挺簡單闸拿，確報出如題目的錯誤，在網(wǎng)上一搜索才發(fā)...