研究背景： 微軟亞研院目代，鄭宇（關(guān)于LBS歸納的博客） 1劝评、Geolife項目，2007环疼，分享個人軌跡到地圖上娩井，識別用戶交通模式，挖掘位置興趣點和經(jīng)典旅行序列锦茁，基于歷史軌跡推斷...
發(fā)簡信
IP屬地：澳門
-
基于GPS軌跡數(shù)據(jù)的檢索茴她、分析和挖掘
-
Spark Structured Streaming 與Kafka的整合
Structured Streaming 與0.10及以上版本的Kafka整合來對Kafka中的讀書進(jìn)行讀取和寫入操作攘轩。 Linking 對于使用SBT/Maven定義的Sc...
-
-
echarts結(jié)合百度地圖使用--熱力圖公司的項目要做一個熱力圖，本來想著是用百度地圖直接搞定码俩，但是完成之后度帮，產(chǎn)品經(jīng)理說要有一個標(biāo)尺，根據(jù)顏色不同來區(qū)分熱力程度稿存，然后我就一直找插件笨篷，但是找了很久，也沒有找到瓣履，于是就...
-
SparkStreaming之讀取Kafka數(shù)據(jù)本文主要記錄使用SparkStreaming從Kafka里讀取數(shù)據(jù)冕屯，并計算WordCount 主要內(nèi)容： 1.本地模式運行SparkStreaming 2.yarn-clie...
-
Spark Streaming WebUI監(jiān)控，查看Streaming Statistics拂苹，Batch（job stage task）摘要：Spark Streaming安聘，yarn，Streaming Statistics瓢棒，Active Batches浴韭，Completed Batches總結(jié)一下Spark ...
-
Mac 更新node版本
MAC升級Nodejs和Npm到最新版 第一步，先查看本機node.js版本： node -v 第二步脯宿，清除node.js的cache： sudo npm cache cle...
-
Apache Camel 調(diào)研什么是Camel念颈？ Camel框架的核心是一個路由引擎，或者更確切地說是一個路由引擎構(gòu)建器连霉。它允許您定義自己的路由規(guī)則榴芳，決定從哪個源接收消息，并確定如何處理這些消息并將其發(fā)送...
-
Robot Framework官方教程（一）入門
Robot Framework官方教程（一）入門Robot Framework官方教程（二）測試數(shù)據(jù)語法Robot Framework官方教程（三）創(chuàng)建測試用例Robot F...
-
liquibase數(shù)據(jù)庫工具使用
liquibase安裝 [liquibase下載](https://download.liquibase.org/ liquibase) 解壓 下載slf4j-api-1.7...
-
Spark 操作hbase(構(gòu)建一個支持更新和快速檢索的數(shù)據(jù)庫)
一跺撼、背景 在用戶畫像的系統(tǒng)中窟感，需要將用戶ID的拉通結(jié)果表和用戶標(biāo)簽的結(jié)果表存入Hbase中。組件如下： 因而提出以下幾個問題： Spark 作為內(nèi)存計算引擎強于計算歉井，Hbas...
-
Spark+ignite實現(xiàn)海量數(shù)據(jù)高性能OLAP海量數(shù)據(jù)多維分析我這里指的是通過數(shù)據(jù)庫柿祈，然后通過某種專業(yè)olap工具（例如cognos等）進(jìn)行靈活查詢的行為，這種查詢具有以下特定： 1、行為不可控躏嚎，在模型范圍內(nèi)隨意...
-
Spark的那些事(四) java操作kudu全示例(含sparksql)
上文提到蜜自，使用kudu等列式存儲將數(shù)據(jù)以update模式寫入kudu.下面說一下java操作kudu的相關(guān)demo。java操作kudu在git上有相關(guān)demo卢佣，而spark...
-
單元測試之embedded-kafka
在項目中重荠，團(tuán)隊也使用了Kafka作為消息中間件。 經(jīng)過了嵌入式redis選型的問題之后虚茶，筆者在嵌入式kafka選型時就更傾向于還在持續(xù)更新戈鲁，并且維護(hù)人員是一個團(tuán)隊而不是個人或...
-
Centos7下安裝kudu簡介 kudu官網(wǎng)https://kudu.apache.org/ 準(zhǔn)備 直接通過yum install是找不到kudu的源的，在官網(wǎng)安裝的頁面詳細(xì)介紹了怎么在各種系統(tǒng)下安裝...
-
實現(xiàn)自己的 JDBC 驅(qū)動
本文可能是全網(wǎng)最全面最詳細(xì)的 JDBC 驅(qū)動開發(fā)教程媳危，轉(zhuǎn)載請注明出處 要自己實現(xiàn)一個 JDBC 驅(qū)動無疑是較為困難的荞彼，在此之前我查閱了很多資料，也查到了許多正在提問的帖子待笑，最...
-
Rxjava使用詳解鸣皂，強烈推薦最近項目里面有用到Rxjava框架，感覺很強大的巨作暮蹂，所以在網(wǎng)上搜了很多相關(guān)文章寞缝，發(fā)現(xiàn)一片文章很不錯，今天把這篇文章分享給大家仰泻，感謝原作者的傾心貢獻(xiàn)荆陆，那么下面大家來看看這篇文...
-
[Spring Cloud Task]4 Spring Batch批處理探究
概述 本文是Spring Cloud Task系列的第四篇文章，如果你尚未使用過Spring Cloud Task集侯，請 移步spring cloud task1 簡介與示例被啼。...
-
服務(wù)編排層設(shè)計方案
服務(wù)編排層涉及到以下內(nèi)容 多個編排層本地get post請求；多個原子服務(wù)棠枉；每個原子服務(wù)多個get post請求浓体； 不同場景實施方案 單個遠(yuǎn)程原子服務(wù)調(diào)用 不采用服務(wù)編排機制...
-
微服務(wù)核心研究之--編排目錄：一、微服務(wù)編排的必要性二：3種常見的微服務(wù)編排方式1辈讶、Orchestration（編制）2命浴、Choreography（編排）3、API網(wǎng)關(guān)三贱除、微服務(wù)編排的框架（Orch...