JOB-STOP
發(fā)簡信
IP屬地：廣東
-
檢查配置文件路徑是否正確
Docker compose 快速構(gòu)建redis-cluster
前言：本環(huán)境為虛擬機(jī)搭建作為本地開發(fā)的redis-cluster 環(huán)境 (1)颊艳、軟件說明： 1、redis 版本為 5.0.122肋乍、docker network 為host ...
-
mysql優(yōu)化
索引優(yōu)化總結(jié)刑桑。 前言 下訴情況中如果沒有特別說明镜盯，都是默認(rèn)都是索引都是指復(fù)合索引别凤，查看索引長度 EXPLAIN + SQL語句結(jié)果 key_len似嗤。下表中創(chuàng)建了一個聯(lián)合索引和...
-
Google 被挾持 解決方案
Google 瀏覽器被挾持，各種百度各種殺毒軟件都沒用泉褐，對這些網(wǎng)站惡心的要死赐写，看到就想終身拉黑。在經(jīng)過一番摸索發(fā)現(xiàn)兴枯，只要把原來的谷歌瀏覽器復(fù)制一份同事修改復(fù)制后程序命名并將其...
-
-
Spark JDBC 自定義方言
前言 在大數(shù)據(jù)開發(fā)中癌淮，少不了有對各種數(shù)據(jù)庫的讀寫躺坟。經(jīng)常會出現(xiàn)一些字段類型與數(shù)據(jù)庫期望不一致報(bào)錯。Spark 默認(rèn)的方言對象都存放在org.apache.spark.sql.j...
-
Java 無頭瀏覽器 暴破網(wǎng)站登錄
登錄獲取token 可以說是爬蟲里面最難的點(diǎn)乳蓄，其他的只要能在瀏覽器上顯示的都可以用http工具獲取咪橙。只要稍微有點(diǎn)安全意識的網(wǎng)站登錄都比較復(fù)雜，JS混淆甚至可能密碼加密等等操作...
-
Spark 保存數(shù)據(jù)到MongoDB背景交代 由于我們應(yīng)用系統(tǒng)使用的是mongo,所以每次操作結(jié)果都要輸出到MongoDB方便使用 虚倒。 思路 1美侦、遇到這樣的情景我第一時(shí)間打開Spark官網(wǎng) Mongo數(shù)據(jù)源2、...
-
Spark 自定義聚合函數(shù)-求中位數(shù)
自定義聚合函數(shù)的場景 業(yè)務(wù)需要統(tǒng)計(jì)最接近兩年某商品在門店銷售價(jià)格的中位數(shù) 由于spark 原生并不支持這樣的聚合操作魂奥，所這個時(shí)候自定義聚合函數(shù)產(chǎn)生了菠剩。中位數(shù)：所有輸入數(shù)據(jù)排序...
-
Spark Sacla 程序打包與提交程序打包 注意1、打包前注意把本地模式配置去掉耻煤。2具壮、 Spark通過一系列的邏輯執(zhí)行計(jì)劃后編譯成物理執(zhí)行計(jì)劃准颓，離線作業(yè)在Spark On yran 模式中 Spark 最終會...
-
Spark 第一個scala 程序1、環(huán)境準(zhǔn)備 1棺妓、JDK配置攘已，Scala 配置 。目前教程環(huán)境用的是 hadopp2.6-CDH5.6.0怜跑、spark 2.1.0 样勃、jdk 1.7u51、scala2.11...
-
外網(wǎng)映射開了沒有
Docker最新Redis-cluster 集群配置
一性芬、安裝最新的redis客戶端彤灶。 默認(rèn)latest 版本最新 docker pull redis 查看鏡像時(shí)候安裝成功 docker images |grep "redis"...
-
Docker最新Redis-cluster 集群配置一、安裝最新的redis客戶端批旺。 默認(rèn)latest 版本最新 docker pull redis 查看鏡像時(shí)候安裝成功 docker images |grep "redis"...
