發(fā)簡(jiǎn)信
IP屬地：北京
-
-
Hi紧唱，很高興在@IT·互聯(lián)網(wǎng)專(zhuān)題遇見(jiàn)你兼丰。 收錄范圍：收錄IT&互聯(lián)網(wǎng)行業(yè)觀察與思考柔纵，數(shù)碼產(chǎn)品極客體驗(yàn)分析等類(lèi)型文章 投稿須知：http://www.reibang.com/p/4edc76104c27 專(zhuān)題主編：@若錦 http://www.reibang.com/u/e4c63b354a77 官方社群：可聯(lián)系添加 @若錦 加入專(zhuān)題官方社群交流氯窍、學(xué)習(xí)饲常，添加時(shí)備注簡(jiǎn)書(shū)ID。
-
PySpark寫(xiě)數(shù)到 Hive 動(dòng)態(tài)分區(qū)
首先狼讨，寫(xiě)入動(dòng)態(tài)分區(qū)表贝淤，要設(shè)置一些嚴(yán)格模式的參數(shù)，將其設(shè)置為非嚴(yán)格模式 插入非分區(qū) Hive 表 對(duì)于插入 Hive 表來(lái)說(shuō)政供，這個(gè)重分區(qū)不是必須的播聪，但是建議使用朽基，這樣可以控制插...
-
PySpark 讀寫(xiě) MySQL
SparkSQL 有著強(qiáng)大的與其他存儲(chǔ)介質(zhì)交互的功能，其中就包括MySQL离陶，這里簡(jiǎn)單介紹一下我在工作中用到的使用 PySpark 讀寫(xiě) MySQL 的使用稼虎。 寫(xiě)出到 MySQ...
-
感謝，可能我的版本比較老了招刨。
MySQL按條件刪除報(bào)錯(cuò)You can't specify target table 'xxx' for update in FROM clause
經(jīng)常使用mysql 的查詢功能霎俩，比較少使用刪除。最近在網(wǎng)上做了幾個(gè)sql題沉眶，有一個(gè)刪除的問(wèn)題打却，本以為挺簡(jiǎn)單，確報(bào)出如題目的錯(cuò)誤谎倔，在網(wǎng)上一搜索才發(fā)現(xiàn)了這個(gè)問(wèn)題学密。謹(jǐn)以此作為自己的...
-
Python對(duì)文件系統(tǒng)的幾個(gè)操作
剛做了一個(gè)小需求，對(duì)文件系統(tǒng)有一些操作传藏，記錄一下腻暮，鞏固記憶。 獲取文件自己所在的路徑： 創(chuàng)建文件夾： 刪除文件： 下載hdfs 文件本地: 讀取本地日志文件毯侦，去掉 _SUCC...
-
-
Hive中使用Python文件實(shí)現(xiàn)UDF
背景：表中有一個(gè)降水強(qiáng)度字段侈离，但是并不是真實(shí)的降雨量试幽，后來(lái)數(shù)據(jù)模型的同事給了一個(gè)python腳本，按照腳本可以大體轉(zhuǎn)換成降雨量卦碾。思路：1.想過(guò)用 python 現(xiàn)將表中的數(shù)查...
-
Python獲取Hive數(shù)據(jù)計(jì)算相關(guān)性系數(shù)
需求： 1.從hive 表中獲取數(shù)據(jù)铺坞。 2.計(jì)算各個(gè)指標(biāo)與主分析指標(biāo)間的相關(guān)系數(shù)。 3.將計(jì)算出來(lái)的相關(guān)系數(shù)洲胖，放入csv 文件济榨，待使用。 首先绿映，相關(guān)系數(shù)我們選擇了皮爾遜相關(guān)系...
-
sparkstreaming將offset存到hbase
之前一直將offset存到zookeeper擒滑，由于streaming程序會(huì)對(duì)zk有大量的讀取操作，故將offset存到zk不太好叉弦，現(xiàn)已將offset都改到hbase中 kaf...
-
MySQL按條件刪除報(bào)錯(cuò)You can't specify target table 'xxx' for update in FROM clause
經(jīng)常使用mysql 的查詢功能丐一，比較少使用刪除。最近在網(wǎng)上做了幾個(gè)sql題淹冰，有一個(gè)刪除的問(wèn)題库车，本以為挺簡(jiǎn)單，確報(bào)出如題目的錯(cuò)誤樱拴，在網(wǎng)上一搜索才發(fā)現(xiàn)了這個(gè)問(wèn)題柠衍。謹(jǐn)以此作為自己的...
-
HikariCP數(shù)據(jù)庫(kù)連接池
快速潘拱，簡(jiǎn)單，可靠拧略。HikariCP是一個(gè)“零開(kāi)銷(xiāo)”生產(chǎn)就緒JDBC連接池。大約130Kb,它的性能幾乎是C3P0瘪弓、DBCP的25倍垫蛆，十分強(qiáng)悍引用大話數(shù)據(jù)庫(kù)連接池 配置也是十分...
-
kafka刪除topic
刪除kafka topic及其數(shù)據(jù)，嚴(yán)格來(lái)說(shuō)并不是很難的操作腺怯。但是袱饭，往往給kafka 使用者帶來(lái)諸多問(wèn)題，發(fā)現(xiàn)都會(huì)偶然出現(xiàn)無(wú)法徹底刪除kafka的情況呛占。前提：kafka必須配...
-
Hive的性能優(yōu)化以及數(shù)據(jù)傾斜
hive性能優(yōu)化 一虑乖、Map階段的優(yōu)化： （控制hive任務(wù)中的map數(shù)，確定合適的map數(shù)晾虑，以及每個(gè)map處理合適的數(shù)據(jù)量）疹味。 map個(gè)數(shù)影響因子： input目錄中文件總...
-
flume監(jiān)控inode變化的文件由于要實(shí)時(shí)讀取redis的AOF文件，但是flume的taildir source在監(jiān)控文件的時(shí)候帜篇，如果文件的inode變化了糙捺，那么會(huì)出現(xiàn)重復(fù)讀取數(shù)據(jù)的情況，這里可以通過(guò)修改...
-
感謝樓主，網(wǎng)上見(jiàn)過(guò)的寫(xiě)的最詳細(xì)的關(guān)于hbase 的文章了竟痰！
Hbase技術(shù)詳細(xì)學(xué)習(xí)筆記
最近在逐步跟進(jìn)Hbase的相關(guān)工作签钩，由于之前對(duì)Hbase并不怎么了解，因此系統(tǒng)地學(xué)習(xí)了下Hbase坏快，為了加深對(duì)Hbase的理解铅檩，對(duì)相關(guān)知識(shí)點(diǎn)做了筆記，并在組內(nèi)進(jìn)行了Hbase...
-
Hbase技術(shù)詳細(xì)學(xué)習(xí)筆記最近在逐步跟進(jìn)Hbase的相關(guān)工作莽鸿，由于之前對(duì)Hbase并不怎么了解柠并，因此系統(tǒng)地學(xué)習(xí)了下Hbase，為了加深對(duì)Hbase的理解富拗，對(duì)相關(guān)知識(shí)點(diǎn)做了筆記臼予，并在組內(nèi)進(jìn)行了Hbase...
