什么是標(biāo)簽？ 標(biāo)簽是一種數(shù)據(jù)特征。比如用戶的年齡椭赋、性別、地區(qū)等带膜。 這些特征在數(shù)據(jù)中具有一定的通用性和價值玖雁。 為什么說是“一種”數(shù)據(jù)特征呢，因為針對的目標(biāo)不同翰铡，會有不同的標(biāo)簽，...
發(fā)簡信
IP屬地：上海
-
大數(shù)據(jù)標(biāo)簽系統(tǒng)看這一篇就夠了（建議收藏）
-
本人李導(dǎo)996 <br>
-
-
Kafka線上消息堆積問題
一迷捧、已知 二、猜測 首先定位到代碼如下： 1.首先排查是否代碼有更新看git提交記錄胀葱，發(fā)現(xiàn)代碼最近一次更新是在2016年漠秋。所以不可能是更新代碼導(dǎo)致的。 2.懷疑是重啟過后巡社，消...
-
ClickHouse概述
一．概述 隨著物聯(lián)網(wǎng)IOT時代的來臨膛堤，IOT設(shè)備感知和報警存儲的數(shù)據(jù)越來越大手趣，有用的價值數(shù)據(jù)需要數(shù)據(jù)分析師去分析晌该。大數(shù)據(jù)分析成了非常重要的環(huán)節(jié)。當(dāng)然近兩年開啟的開源大潮绿渣，為大...
-
Redis 從入門到精通：redis的數(shù)據(jù)結(jié)構(gòu)朝群、redis指令大全、SpringBoot整合redis中符、redis面試問題詳解
一姜胖、Redis基礎(chǔ)簡介 1、Redis官方介紹 Redis是一個開源（BSD許可）淀散，內(nèi)存數(shù)據(jù)結(jié)構(gòu)存儲右莱，用作數(shù)據(jù)庫，緩存和消息代理档插。它支持?jǐn)?shù)據(jù)結(jié)構(gòu)慢蜓，如字符串，散列郭膛，列表晨抡，集合，...
-
第八篇|Spark SQL百萬級數(shù)據(jù)批量讀寫入MySQL
Spark SQL讀取MySQL的方式 Spark SQL還包括一個可以使用JDBC從其他數(shù)據(jù)庫讀取數(shù)據(jù)的數(shù)據(jù)源。與使用JdbcRDD相比耘柱，應(yīng)優(yōu)先使用此功能如捅。這是因為結(jié)果作為...
-
第十篇SparkStreaming手動維護(hù)Kafka Offset的幾種方式
Spark Streaming No Receivers 方式的createDirectStream 方法不使用接收器，而是創(chuàng)建輸入流直接從Kafka 集群節(jié)點拉取消息调煎。輸入...
-
Hive自定義函數(shù)
一镜遣、hive為我們提供的函數(shù) hive給我們提供了一些內(nèi)置函數(shù)，比如截取字符串士袄，大小寫轉(zhuǎn)換此處距離substr 1烈涮、首先模仿sql建立一個偽表dual 2、準(zhǔn)備數(shù)據(jù) 在本地創(chuàng)...
-
關(guān)注公眾號「大數(shù)據(jù)技術(shù)與數(shù)倉」<br>回復(fù)【資料】領(lǐng)取大數(shù)據(jù)視頻與書籍
-
Spark常見問題解決辦法以下是在學(xué)習(xí)和使用spark過程中遇到的一些問題，記錄下來西土。 1讶舰、首先來說說spark任務(wù)運(yùn)行完后查錯最常用的一個命令，那就是把任務(wù)運(yùn)行日志down下來需了。 程序存在錯誤跳昼，將日...
-
shell - $() 和 ${}
1、在 bash shell 中肋乍，$()是將括號內(nèi)命令的執(zhí)行結(jié)果賦值給變量： 2鹅颊、${} 是用來作變量替換。一般情況下墓造，$var 與 ${var} 并沒有啥不一樣堪伍。但是用 $...
-
Flink--Checkpoint機(jī)制原理基于flink-1.8.1 本文轉(zhuǎn)載自一文搞懂Flink內(nèi)部的Exactly Once和At Least Once 如何理解flink中state(狀態(tài)) state泛指 s...
-
-
LSM帝雇、B 樹、B+樹蛉拙、B*對比[TOC] 參考 B樹尸闸、B+樹、LSM樹以及其典型應(yīng)用場景B樹和B+樹的插入孕锄、刪除圖文詳解BTree vs LSM 0. 前言 動態(tài)查找樹主要有：二叉查找樹吮廉、平衡二叉樹、紅黑...
-
入門HBase畸肆，看這一篇就夠了團(tuán)隊內(nèi)部要分享HBase的知識宦芦，之前研究了一段時間，知識比較零散恼除，這一次就系統(tǒng)化的整理一番踪旷，之后在想到Hbase的時候曼氛，看著一篇就夠了。 阿里陶系技術(shù)部招人令野，目前大把機(jī)會舀患，H...
-
Scala中Method方法和Function函數(shù)的區(qū)別
本文將列出一些常見的區(qū)別與聯(lián)系基本的區(qū)別 在Scala中方法不是值，而函數(shù)是气破。所以一個方法不能賦值給一個val變量聊浅，而函數(shù)可以。 在這個例子中定義了一個方法increment...
-
專注于大數(shù)據(jù)實時流開發(fā),spark,flink,kafka,歡迎感興趣的小伙伴一起交流,成長,共同進(jìn)步
