1. object ExtractEquiJoinKeys 一個(gè)模式匹配，官方注釋是： A pattern that finds joins w...

1. 文章開始之前 先附上一句SQL拜英，使用tpc-ds的表結(jié)構(gòu)静汤，我們圍繞這句SQL講。 SQL： SQL> selectavg(cs_ext_d...

無論是實(shí)時(shí)處理還是離線處理居凶，都會(huì)遇到一個(gè)不可避免的問題是虫给，失敗任務(wù)如何重做？Storm提供了一個(gè)ack機(jī)制侠碧。首先來看一下ISpout接口的方法抹估。...

本文首發(fā)：http://blog.orisonchan.cc/2018/08/16/44 記錄一下Python爬蟲常用庫BeautifulSou...

樹是許多成熟的項(xiàng)目所使用的基本數(shù)據(jù)結(jié)構(gòu)，也是面試秤叽玻考棋蚌、程序員必備的重中之重。 1 底層基礎(chǔ)概念 1.1 平衡樹 所謂平衡樹的平衡挨队，就是樹上某節(jié)點(diǎn)...

Spark原本預(yù)計(jì)在2.3版本實(shí)現(xiàn)聚合下推，雖然不知道是何原因最終沒有能夠在2.3版本最終實(shí)現(xiàn)蒿往，但是因?yàn)楣ぷ餍枰⒖眩仨氁獜木酆虾瘮?shù)下手優(yōu)化Spa...

參考文獻(xiàn)： http://www.infoq.com/cn/articles/hdfs-centralized-cache https://bl...

網(wǎng)上有太多此類帖子，然而本帖比他們?nèi)妗?背景 有一臺(tái)阿里云服務(wù)器A瓤漏，用作測(cè)試服務(wù)器腾夯，一臺(tái)華為服務(wù)器B，用作生產(chǎn)服務(wù)器蔬充。均搭建相同配置和版本Ap...

其實(shí)本來磁盤掛載這件事情已經(jīng)做過很多次了蝶俱，但是從來沒有一個(gè)詳細(xì)的記錄。借有次機(jī)會(huì)饥漫，做個(gè)記錄榨呆。 背景 因?yàn)樽鲆恍┳约旱捻?xiàng)目對(duì)服務(wù)器的依賴越來越大，...