什么是標(biāo)簽镰烧？ 標(biāo)簽是一種數(shù)據(jù)特征性昭。比如用戶的年齡、性別揭朝、地區(qū)等。 這些特征在數(shù)據(jù)中具有一定的通用性和價(jià)值。 為什么說是“一種”數(shù)據(jù)特征呢，因?yàn)獒槍?duì)的目標(biāo)不同涵亏，會(huì)有不同的標(biāo)簽，...
發(fā)簡(jiǎn)信
IP屬地：上海
-
大數(shù)據(jù)標(biāo)簽系統(tǒng)看這一篇就夠了（建議收藏）
-
Kafka線上消息堆積問題
一蛆楞、已知 二溯乒、猜測(cè) 首先定位到代碼如下： 1.首先排查是否代碼有更新看git提交記錄夹厌，發(fā)現(xiàn)代碼最近一次更新是在2016年豹爹。所以不可能是更新代碼導(dǎo)致的。 2.懷疑是重啟過后矛纹，消...
-
ClickHouse概述
一．概述 隨著物聯(lián)網(wǎng)IOT時(shí)代的來臨臂聋，IOT設(shè)備感知和報(bào)警存儲(chǔ)的數(shù)據(jù)越來越大，有用的價(jià)值數(shù)據(jù)需要數(shù)據(jù)分析師去分析或南。大數(shù)據(jù)分析成了非常重要的環(huán)節(jié)孩等。當(dāng)然近兩年開啟的開源大潮，為大...
-
Redis 從入門到精通：redis的數(shù)據(jù)結(jié)構(gòu)采够、redis指令大全肄方、SpringBoot整合redis、redis面試問題詳解
一蹬癌、Redis基礎(chǔ)簡(jiǎn)介 1权她、Redis官方介紹 Redis是一個(gè)開源（BSD許可），內(nèi)存數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)逝薪，用作數(shù)據(jù)庫隅要，緩存和消息代理。它支持?jǐn)?shù)據(jù)結(jié)構(gòu)董济，如字符串步清，散列，列表虏肾，集合廓啊，...
-
第八篇|Spark SQL百萬級(jí)數(shù)據(jù)批量讀寫入MySQL
Spark SQL讀取MySQL的方式 Spark SQL還包括一個(gè)可以使用JDBC從其他數(shù)據(jù)庫讀取數(shù)據(jù)的數(shù)據(jù)源。與使用JdbcRDD相比封豪，應(yīng)優(yōu)先使用此功能谴轮。這是因?yàn)榻Y(jié)果作為...
-
第十篇SparkStreaming手動(dòng)維護(hù)Kafka Offset的幾種方式
Spark Streaming No Receivers 方式的createDirectStream 方法不使用接收器，而是創(chuàng)建輸入流直接從Kafka 集群節(jié)點(diǎn)拉取消息撑毛。輸入...
-
Hive自定義函數(shù)
一书聚、hive為我們提供的函數(shù) hive給我們提供了一些內(nèi)置函數(shù)唧领，比如截取字符串，大小寫轉(zhuǎn)換此處距離substr 1雌续、首先模仿sql建立一個(gè)偽表dual 2斩个、準(zhǔn)備數(shù)據(jù) 在本地創(chuàng)...
-
Spark常見問題解決辦法以下是在學(xué)習(xí)和使用spark過程中遇到的一些問題，記錄下來驯杜。 1受啥、首先來說說spark任務(wù)運(yùn)行完后查錯(cuò)最常用的一個(gè)命令，那就是把任務(wù)運(yùn)行日志down下來鸽心。 程序存在錯(cuò)誤滚局，將日...
