發(fā)簡信
IP屬地：浙江
-
spark-mongodb簡單上手
Spark提供的所有計算矾睦，不管是批處理秽褒，Spark SQL坐搔，Spark Streaming還是Spark ML拳氢，它們底層都是通過RDD計算瓶蝴。所以...
-
Spark Structured Streaming2.3兩種計算模式micro-batches Processing & Continuous Processing Structured Streaming 在A...
-
spark 源碼閱讀及調(diào)試環(huán)境搭建開發(fā)工具 scala 2.11.8 jdk8 intellij idea 2017(scala plugin) maven(3.3.9) 導(dǎo)入...
-
大數(shù)據(jù)存儲引擎筆記大數(shù)據(jù)存儲引擎之哈希 數(shù)據(jù)結(jié)構(gòu)就是鍵值對 優(yōu)點：檢索快 缺點：不支持范圍掃描 如果數(shù)據(jù)都在內(nèi)存中孝偎，那就很快的，比如常用redis 作為緩存組件（...
-
spark on yarn集群搭建Hadoop yarn集群搭建 1. 修改host 主節(jié)點：192.168.3.187 L-AP-3-187從節(jié)點：192.168.3.18...
-
java 查找最長連續(xù)子序列
背景： 最近工作需要挤聘，要給銀行查看報關(guān)業(yè)務(wù)持續(xù)時間最長的企業(yè)轰枝，并求出連續(xù)年均漲幅，因此需要找出連續(xù)的年份组去，就自己寫了個方法： 1鞍陨，對list排序...
-
mongo spark加載數(shù)據(jù)不全的bug fix最近開始做大數(shù)據(jù)，數(shù)據(jù)庫mongodb,計算用的spark,加載數(shù)據(jù)用的mongo-spark connector官方連接器从隆，mongo 在加載...
-
mongodb double 精度解決方案mongodb double精度問題所學(xué)到的知識 背景介紹： 由于目前本人在做一個涉及計費的一個項目诚撵，中間有統(tǒng)計計費，比如一個公司合同下 每個賬...
-
常見設(shè)計模式
簡單工廠 工廠方法 抽象工廠 單例模式 策略模式 觀察者模式 責任鏈模式 裝飾者模式 適配器模式 代理模式 門面模式 狀態(tài)模式 命令模式 模板方法模式