離別 晚上突然的消息打斷了我的睡眠，原來是媽媽發(fā)來的消息，竟然是噩耗蚕愤，我的姥姥走了帖渠。真是驚坐起啊艺谆。離別棵红，第二次離別胀糜。第一次離別是在上大學的時候祟昭，我都不知道就發(fā)生了缕坎。那是我姥爺...
發(fā)簡信
IP屬地：北京
-
寫作的原則總結(jié)
## 寫作技巧總結(jié) 先總結(jié)一下，后面再舉例子. 1. 使用對話的方式說明問題叉谜，有很強的帶入感旗吁。 2. 使用列表的方式總結(jié)問題，從形式上看調(diào)理比較清晰停局。 3. 結(jié)合圖片文字的方...
-
一次溝通的翻車現(xiàn)場翻車現(xiàn)場還原 事情是這樣的很钓，我和愛數(shù)據(jù)學院的一個年輕人（剛畢業(yè)）在群里面溝通了一些事情。但是節(jié)奏完全帶偏了董栽。情況這樣的： 我已經(jīng)把課程錄完了码倦，等著愛數(shù)據(jù)學院的小伙伴給反饋，但...
-
-
手把手教你用Python實現(xiàn)分布式爬蟲(四) - scrapy爬取技術(shù)文章網(wǎng)站相關(guān)源碼 搭建scrapy的開發(fā)環(huán)境擒抛，本文介紹scrapy的常用命令以及工程目錄結(jié)構(gòu)分析推汽，本文中也會詳細的講解xpath和css選擇器的使用。然后通過scrapy提供的spi...
-
MapReduce過程詳解及其性能優(yōu)化MapReduce過程詳解及其性能優(yōu)化 [toc] 轉(zhuǎn)載：MapReduce過程詳解及其性能優(yōu)化 總結(jié) 詳情 從JVM的角度看Map和Reduce： 1. Map階段包括 ...
-
數(shù)據(jù)同步利器 - canal
前言 大約兩年以前撵孤，筆者在一個項目中遇到了數(shù)據(jù)同步的難題迈着。 當時，系統(tǒng)部署了幾十個實例早直，分為1個中心平臺和N個分中心平臺寥假，而每一個系統(tǒng)都對應(yīng)一個單獨的數(shù)據(jù)庫實例。 在數(shù)據(jù)庫層...
-
項目管理--反思自己
事必躬親 要做為什么做有能力做 監(jiān)工思維 明確目標制度驅(qū)動 胡子眉毛一把抓 把自己當錘子浪册。哪里都是釘子 戴明環(huán) Plan -> Do -> Check -> Act
-
繼續(xù)詳細寫啊
數(shù)據(jù)報告的制作方法
制作數(shù)據(jù)報告的流程 1.確定目標2.數(shù)據(jù)獲取3.數(shù)據(jù)清洗4.數(shù)據(jù)整理5.描述分析 數(shù)據(jù)描述：用來對數(shù)據(jù)進行基本情況的刻畫扫腺，包括：數(shù)據(jù)總數(shù)、時間跨度村象、時間粒度笆环、空間范圍、空間粒...
-
HIVE：小文件合并
HDFS非常容易存儲大數(shù)據(jù)文件库菲，如果Hive中存在過多的小文件會給namecode帶來巨大的性能壓力账忘。同時小文件過多會影響JOB的執(zhí)行，hadoop會將一個job轉(zhuǎn)換成多個t...
-
kafka監(jiān)聽mysql實時數(shù)據(jù)變更在做報表數(shù)據(jù)統(tǒng)計時熙宇，我們用的是mysql + kafka + Spark Streaming方案闪萄，kafka監(jiān)聽mysql訂單表中訂單狀態(tài)，然后發(fā)送到spark stream...
-
Hive 企業(yè)級調(diào)優(yōu)總結(jié)(一)1.開啟Fetch抓取 Fetch抓取是指奇颠，Hive中對某些情況的查詢可以不必使用MapReduce計算。例如：SELECT * FROM employees;在這種情況下放航，...
-
