發(fā)簡信
IP屬地：遼寧
-
從Kylin入門到大數(shù)據(jù)老司機一、UML基礎(chǔ) 為什么要使用UML 對象是面向?qū)ο笫澜绲暮诵摹Ｃ嫦驅(qū)ο筌浖治龊驮O(shè)計，最基本的需求是高效的識別對象,完成對象識別之后，賦予每個對...
-
開源數(shù)據(jù)流管道-Luigi vs Azkaban vs Oozie vs Airflow
隨著企業(yè)的發(fā)展，他們的工作流程變得更加復(fù)雜，越來越多的有著錯綜復(fù)雜依賴關(guān)系的工作流需要增加監(jiān)控追迟，故障排除。如果沒有明確的血緣關(guān)系伐坏。就可能出現(xiàn)問責(zé)...
-
由一條SQL分析SparkSQL執(zhí)行過程（三）對于下面一段SQL 在由一條SQL分析SparkSQL執(zhí)行過程（二）中怔匣，我們分析到Spark如何封裝SessionState，使得用戶只需要通過...
-
由一條SQL分析SparkSQL執(zhí)行過程（二）對于下面一段SQL 在上一部分，我們分析了SparkSQL的建議執(zhí)行流程圖每瞒。我們知道一條SQL在Spark執(zhí)行要經(jīng)歷以下幾步： 用戶提交SQL文...
-
由一條SQL分析SparkSQL執(zhí)行流程(一)現(xiàn)有下面這段SQL語句 這段SQL是從日志表中拿出用戶點擊PV（clk_pv）金闽，再去和用戶表關(guān)聯(lián)，按照用戶分組剿骨，再對點擊pv求和代芜，同時，還過濾了...
-
根據(jù)分子運動預(yù)測雙色球走勢（三）-數(shù)據(jù)清洗和機器學(xué)習(xí)一浓利、問題 在爬取到雙色球開獎的歷史數(shù)據(jù)和開獎當(dāng)日20-22點的氣候數(shù)據(jù)之后挤庇，我們面臨的問題是： 選擇什么樣的算法尋找天氣數(shù)據(jù)和雙色球開獎結(jié)果的關(guān)...
-
Spark On ElasticSearch初探
一、寫在前面 ElasticSearch 是一個快速索引檢索的庫贷掖。在實踐中嫡秕，我們用Hbase 存儲海量業(yè)務(wù)數(shù)據(jù)，再通過ES存儲索引苹威，以這種相互結(jié)...
-
Hbase-Spark BulkLoad 解析
一昆咽、背景 項目中有需求，要頻繁地牙甫、快速地向一個表中初始化數(shù)據(jù)掷酗。因此如何加載數(shù)據(jù)，如何提高速度是需要解決的問題窟哺。一般來說泻轰，作為數(shù)據(jù)存儲系統(tǒng)會分為檢...
-
Scala爬蟲刷博客閱讀量
一、寫在前面 最近嘗試在簡書上寫一些技術(shù)博客且轨。每天看著可憐的閱讀量很是著急浮声。剛好最近接觸爬蟲，有需求就有辦法殖告。因此想到能否用爬蟲刷閱讀量呢阿蝶？答案...