什么是標(biāo)簽报强？ 標(biāo)簽是一種數(shù)據(jù)特征董饰。比如用戶的年齡、性別蜗搔、地區(qū)等存炮。 這些特征在數(shù)據(jù)中具有一定的通用性和價(jià)值氯窍。 為什么說是“一種”數(shù)據(jù)特征呢唆缴，因?yàn)獒槍?duì)的目標(biāo)不同，會(huì)有不同的標(biāo)簽涯呻，...
發(fā)簡(jiǎn)信
IP屬地：上海
-
大數(shù)據(jù)標(biāo)簽系統(tǒng)看這一篇就夠了（建議收藏）
-
本人李導(dǎo)996 <br>
-
-
Kafka線上消息堆積問題
一、已知 二效诅、猜測(cè) 首先定位到代碼如下： 1.首先排查是否代碼有更新看git提交記錄胀滚，發(fā)現(xiàn)代碼最近一次更新是在2016年。所以不可能是更新代碼導(dǎo)致的乱投。 2.懷疑是重啟過后蛛淋，消...
-
ClickHouse概述
一．概述 隨著物聯(lián)網(wǎng)IOT時(shí)代的來(lái)臨，IOT設(shè)備感知和報(bào)警存儲(chǔ)的數(shù)據(jù)越來(lái)越大篡腌，有用的價(jià)值數(shù)據(jù)需要數(shù)據(jù)分析師去分析。大數(shù)據(jù)分析成了非常重要的環(huán)節(jié)勾效。當(dāng)然近兩年開啟的開源大潮嘹悼，為大...
-
Redis 從入門到精通：redis的數(shù)據(jù)結(jié)構(gòu)、redis指令大全层宫、SpringBoot整合redis杨伙、redis面試問題詳解
一、Redis基礎(chǔ)簡(jiǎn)介 1萌腿、Redis官方介紹 Redis是一個(gè)開源（BSD許可）限匣，內(nèi)存數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)，用作數(shù)據(jù)庫(kù)毁菱，緩存和消息代理米死。它支持?jǐn)?shù)據(jù)結(jié)構(gòu)锌历，如字符串，散列峦筒，列表究西，集合，...
-
第八篇|Spark SQL百萬(wàn)級(jí)數(shù)據(jù)批量讀寫入MySQL
Spark SQL讀取MySQL的方式 Spark SQL還包括一個(gè)可以使用JDBC從其他數(shù)據(jù)庫(kù)讀取數(shù)據(jù)的數(shù)據(jù)源物喷。與使用JdbcRDD相比卤材，應(yīng)優(yōu)先使用此功能。這是因?yàn)榻Y(jié)果作為...
-
第十篇SparkStreaming手動(dòng)維護(hù)Kafka Offset的幾種方式
Spark Streaming No Receivers 方式的createDirectStream 方法不使用接收器峦失，而是創(chuàng)建輸入流直接從Kafka 集群節(jié)點(diǎn)拉取消息扇丛。輸入...
-
Hive自定義函數(shù)
一、hive為我們提供的函數(shù) hive給我們提供了一些內(nèi)置函數(shù)尉辑，比如截取字符串帆精，大小寫轉(zhuǎn)換此處距離substr 1、首先模仿sql建立一個(gè)偽表dual 2材蹬、準(zhǔn)備數(shù)據(jù) 在本地創(chuàng)...
-
關(guān)注公眾號(hào)「大數(shù)據(jù)技術(shù)與數(shù)倉(cāng)」<br>回復(fù)【資料】領(lǐng)取大數(shù)據(jù)視頻與書籍
-
Spark常見問題解決辦法以下是在學(xué)習(xí)和使用spark過程中遇到的一些問題堤器，記錄下來(lái)昆庇。 1、首先來(lái)說說spark任務(wù)運(yùn)行完后查錯(cuò)最常用的一個(gè)命令闸溃，那就是把任務(wù)運(yùn)行日志down下來(lái)整吆。 程序存在錯(cuò)誤，將日...
-
shell - $() 和 ${}
1辉川、在 bash shell 中表蝙，$()是將括號(hào)內(nèi)命令的執(zhí)行結(jié)果賦值給變量： 2、${} 是用來(lái)作變量替換乓旗。一般情況下府蛇，$var 與 ${var} 并沒有啥不一樣。但是用 $...
-
Flink--Checkpoint機(jī)制原理基于flink-1.8.1 本文轉(zhuǎn)載自一文搞懂Flink內(nèi)部的Exactly Once和At Least Once 如何理解flink中state(狀態(tài)) state泛指 s...
-
-
LSM、B 樹妆距、B+樹穷遂、B*對(duì)比[TOC] 參考 B樹、B+樹娱据、LSM樹以及其典型應(yīng)用場(chǎng)景B樹和B+樹的插入蚪黑、刪除圖文詳解BTree vs LSM 0. 前言 動(dòng)態(tài)查找樹主要有：二叉查找樹、平衡二叉樹、紅黑...
-
入門HBase忌穿，看這一篇就夠了團(tuán)隊(duì)內(nèi)部要分享HBase的知識(shí)抒寂，之前研究了一段時(shí)間，知識(shí)比較零散伴网，這一次就系統(tǒng)化的整理一番蓬推，之后在想到Hbase的時(shí)候，看著一篇就夠了澡腾。 阿里陶系技術(shù)部招人沸伏，目前大把機(jī)會(huì)，H...
-
Scala中Method方法和Function函數(shù)的區(qū)別
本文將列出一些常見的區(qū)別與聯(lián)系基本的區(qū)別 在Scala中方法不是值动分，而函數(shù)是毅糟。所以一個(gè)方法不能賦值給一個(gè)val變量，而函數(shù)可以澜公。 在這個(gè)例子中定義了一個(gè)方法increment...
-
專注于大數(shù)據(jù)實(shí)時(shí)流開發(fā),spark,flink,kafka,歡迎感興趣的小伙伴一起交流,成長(zhǎng),共同進(jìn)步
