發(fā)簡信
IP屬地：澳門
-
[Linux]文件傳輸技巧緣起 最近為了排查線上系統(tǒng)問題捂刺，讓運(yùn)維小哥導(dǎo)一份線上系統(tǒng)日志风宁，運(yùn)維小哥覺得線上導(dǎo)線下覺得十分麻煩，而我只需要在線上開發(fā)機(jī)可看就可以了磅崭，這個(gè)就把運(yùn)...
-
MLSQL實(shí)戰(zhàn)--利用docker快速搭建MLSQL運(yùn)行環(huán)境摘要 MLSQL依賴于Spark，而且算法模塊依賴于conda來管理python包。本文將介紹如何用docker快速搭建mlsql的運(yùn)行環(huán)境。 ...
-
spark sql 調(diào)試技巧--內(nèi)置udf查看
spark sql 調(diào)試技巧--內(nèi)置udf查看 Spark SQL內(nèi)置了許多常用的udf俺抽，我們該如何拿到用戶的udf和內(nèi)置的udf呢？ Data...
-
log4j2利用SocketAppender將日志寫入rsyslog
log4j2利用SocketAppender將日志寫入rsyslog 摘要：利用elk(elasticsearch/logstash/kiban...
-
推薦系統(tǒng)推薦系統(tǒng)是今年的主要工作之一 整體架構(gòu) 推薦系統(tǒng)可以說是一個(gè)閉環(huán)的生態(tài)系統(tǒng)了较曼。從整體架構(gòu)圖中磷斧，我們就可以看出來，推薦列表從RankServer產(chǎn)...
-
Spark源碼解析之Shuffle Writer摘要：Shuffle是MapReduce編程模型中最耗時(shí)的一個(gè)步驟诗芜，而Spark將Shuffle過程分解成了Shuffle Write和Shuf...
-
Java命令行工具學(xué)習(xí)--jps詳解
title: Java命令行使用 本文我們將對(duì)java內(nèi)置命令行使用分析瞳抓，這些命令行在java程序優(yōu)化中扮演著重要的角色埃疫。 Jps 功能 jps...
-
Spark高效數(shù)據(jù)結(jié)構(gòu)Spark Streaming在狀態(tài)管理時(shí)應(yīng)用了一些高效的數(shù)據(jù)結(jié)構(gòu)伏恐，本文我們就來看下這些數(shù)據(jù)結(jié)構(gòu)的實(shí)現(xiàn)。 BitSet OpenHashSet ...
-
YARN開啟Label Scheduler
Spark Streaming實(shí)時(shí)長時(shí)服務(wù)與MapRedue栓霜、Spark翠桦、Hive等批處理應(yīng)用共享YARN集群資源。在共享環(huán)境中胳蛮，經(jīng)常因一個(gè)批處...