發(fā)簡信
IP屬地：廣東
-
-
java 依賴包沖突，使用maven的Shade方式解決
java 依賴包沖突器钟，使用maven的Shade方式解決 [TOC] 問題描述 程序中同時(shí)使用了hadoop工具包與ElasticSearch工具導(dǎo)致jar包崇裁。程序報(bào)錯(cuò)： j...
-
Github中java語言中收獲最多star的前十個(gè)項(xiàng)目1. CyC2018/CS-Notes star: 59.3k 介紹: 技術(shù)面試必備基礎(chǔ)知識滓窍、Leetcode 題解、后端面試了赌、Java 面試墨榄、春招、秋招勿她、操作系統(tǒng)袄秩、計(jì)算機(jī)網(wǎng)...
-
Elasticsearch-5.6.0使用repository-hdfs快照（備份）數(shù)據(jù)到hdfs并恢復(fù)
背景 Elasticsearch的副本機(jī)制提供了可靠性，可以容忍個(gè)別節(jié)點(diǎn)丟失而不影響集群的對外服務(wù)玻蝌，但是并不能提供對災(zāi)難性故障的保護(hù)蟹肘，所以需要對ES集群數(shù)據(jù)做一個(gè)完整的備份词疼，...
-
ES集群狀態(tài)查看命令
Elasticsearch中信息很多，同時(shí)ES也有很多信息查看命令帘腹，可以幫助開發(fā)者快速查詢Elasticsearch的相關(guān)信息贰盗。 1. _cat 2. verbose 每個(gè)命...
-
ELK 6.3.2環(huán)境搭建最近把ELK生產(chǎn)環(huán)境從5.6.0升級到了6.3.2，在此記錄一下 基礎(chǔ)環(huán)境： 操作系統(tǒng)：Centos 6.7 64位ELK版本：6.3.2jdk版本：1.8ES用戶：elas...
-
sqoop job省略輸入mysql密碼
sqoop在創(chuàng)建job時(shí)阳欲，使用--password-file參數(shù)舵盈，可以避免輸入mysql密碼，如果使用--password將出現(xiàn)警告胸完，并且每次都要手動輸入密碼才能執(zhí)行job书释，...
-
sqoop定時(shí)增量導(dǎo)入mysql數(shù)據(jù)到hdfs(hive)
需求 有2張大的mysql表翘贮，量級分別是1億和4.5億（太大了赊窥，DBA的同學(xué)正在考慮分表），而且數(shù)據(jù)是增量的狸页，需要寫spark任務(wù)做處理锨能，直接讀取mysql有點(diǎn)吃力，想通過s...
-
Specified key was too long; max key length is 767 bytes芍耘。
問題：spark sql連接hive的元數(shù)據(jù)（mysql庫）時(shí)報(bào)錯(cuò)：Specified key was too long; max key length is 767 byt...
-
看了之后不再迷糊-Spark多種運(yùn)行模式早就想寫這章了址遇，一直懶得動筆，不過還好斋竞，總算靜下心來完成了倔约。 剛接觸Spark時(shí)，很希望能對它的運(yùn)行方式有個(gè)直觀的了解坝初，而Spark同時(shí)支持多種運(yùn)行模式浸剩，官網(wǎng)和書籍中對他們的...
-
centos6.5安裝postgresql9.3及數(shù)據(jù)遷移最近來了一批數(shù)據(jù)阅束，其中有一部分是一個(gè)從postgresql導(dǎo)出的sql文件惨篱，大概有7個(gè)多G，需要把數(shù)據(jù)整合到Mysql里邊做進(jìn)一步處理围俘，網(wǎng)上搜了一些方式好多是要修改這個(gè)sql...
-
Spark之thriftserver/beeline的使用
啟動thriftserver: 默認(rèn)端口是10000 砸讳，可以修改 啟動beelinebeeline -u jdbc:hive2://localhost:10000 -n ha...
-
es設(shè)置max_result_window
es設(shè)置index.max_result_window（就是from+size,默認(rèn)大小10000）琢融，可通過如下方式修改： curl -XPUT 192.168.40.31:...
-
elasticsearch通配符和正則表達(dá)式查詢
通配符（wildcard）和正則表達(dá)式查詢（regexp），相關(guān)的還有prefix前綴查詢(前綴查詢我們這里用不到簿寂，不做過多說明)漾抬，他們都是底層基于詞的查詢，注意事基于詞的常遂，...
-
Flume部署及使用Flume是一個(gè)分布式的纳令、高可靠的、高可用的用于高效收集克胳、聚合平绩、移動大量日志數(shù)據(jù)的框架（Flume is a distributed, reliable, and avail...
