簡(jiǎn)介 該插件提供了將工件打包成 Uber jar 的功能掖看，包括其依賴(lài)項(xiàng)层皱，并對(duì)某些依賴(lài)項(xiàng)的包進(jìn)行處理能真。Shade 插件只有一個(gè)目標(biāo)：shade:shade 綁定到 packag...
發(fā)簡(jiǎn)信
IP屬地：江蘇
-
Maven Shade 插件詳解
-
Spark學(xué)習(xí)記錄
RDD RDD的全稱(chēng)是：Resilient Distributed Dataset （彈性分布式數(shù)據(jù)集） 五個(gè)關(guān)鍵特性： 所有分區(qū)的列表 計(jì)算每個(gè)split的函數(shù) 對(duì)其他RD...
-
Presto源碼分析之?dāng)?shù)據(jù)類(lèi)型Presto作為一個(gè)計(jì)算引擎，除了支持一些常見(jiàn)的數(shù)字、字符串類(lèi)型的數(shù)據(jù)武翎，還支持一些別的系統(tǒng)里面比較少見(jiàn)的自定義的 IpAddress, Geometry 等等高級(jí)類(lèi)型，今天來(lái)...
-
死磕java中的volatile關(guān)鍵字
volatile簡(jiǎn)介 volatile在英語(yǔ)詞典中的釋義有：不穩(wěn)定的溶锭、反復(fù)無(wú)常的宝恶、易揮發(fā)的；簡(jiǎn)而言之，volatile就是表示某人或某物是不穩(wěn)定的易變的垫毙。 volatile作...
-
-
淺談?wù){(diào)度工具——Airflow本文將介紹 Airflow 這一款優(yōu)秀的調(diào)度工具综芥。主要包括 Airflow 的服務(wù)構(gòu)成丽蝎、Airflow 的 Web 界面、DAG 配置膀藐、常用配置以及 Airflow DAG ...
-
LSM-tree 基本原理及應(yīng)用
LSM-tree 在 NoSQL 系統(tǒng)里非常常見(jiàn)屠阻，基本已經(jīng)成為必選方案了。今天介紹一下 LSM-tree 的主要思想额各，再舉一個(gè) LevelDB 的例子国觉。 轉(zhuǎn)載自：https:...
-
python any all權(quán)威解釋
all(iterable)如果所有可迭代元素為true則返回true。如果可迭代元素為空虾啦，亦返回true麻诀。等價(jià)于Return True if all elements of ...
-
Zeppelin簡(jiǎn)單入門(mén)自我介紹 Apache Zeppelin Web-based notebook that enables data-driven,interactive data analy...
-
PySpark UDF 簡(jiǎn)要教程
最簡(jiǎn)單的注冊(cè)UDF ---- 直接將lambda表達(dá)式注冊(cè)成UDF下面是一個(gè)簡(jiǎn)單的清洗函數(shù) 結(jié)果 很多時(shí)候邏輯比較復(fù)雜，匿名函數(shù)不能完成工作缸逃，可以自己def一個(gè)函數(shù)针饥，將def...
-
ERROR 2 (HY000): File '...........................' not found (Errcode: 2)上面這段代碼在mysql中報(bào)錯(cuò) 解決方案： 文件權(quán)限問(wèn)題這個(gè)文件一定要能被mysql讀到，可以先chmod 777 文件所在路徑權(quán)限問(wèn)題同上 賬號(hào)權(quán)限問(wèn)題查看自己的權(quán)限 必須...
-
爬蟲(chóng)解析庫(kù)：XPath
XPath ????XPath需频，全稱(chēng) XML Path Language丁眼，即 XML 路徑語(yǔ)言，它是一門(mén)在 XML 文檔中查找信息的語(yǔ)言昭殉。最初是用來(lái)搜尋 XML 文檔的苞七，但同...
-
深入理解什么是RESTful API ？前言：最近兩年很火爆的網(wǎng)絡(luò)框架Retrofit挪丢，使用它的時(shí)候蹂风，查看文檔會(huì)告訴你，要求后臺(tái)的服務(wù)器哥們必須符合REST規(guī)范給你設(shè)計(jì)接口乾蓬，作為安卓開(kāi)發(fā)工程師來(lái)說(shuō)惠啄，我就很奇怪了，R...
-
HBase Java API 練習(xí)1 環(huán)境準(zhǔn)備 1）成功搭建Hadoop-2.2.0開(kāi)發(fā)環(huán)境2）成功啟動(dòng)HBase任内，通過(guò)HBase Shell進(jìn)行測(cè)試3）使用MyEclipse作為開(kāi)發(fā)工具4）使用Maven構(gòu)...
-
5分鐘讓你明白“軟鏈接”和“硬鏈接”的區(qū)別
今天在知乎上看到一篇十分有趣的問(wèn)題：如何評(píng)價(jià)微軟高級(jí)工程師癡迷于soft link這一linux常見(jiàn)概念撵渡？ 雖然又是知名撕逼王曾某的撕逼帖，但是我還是想就題目中鏈接的問(wèn)題簡(jiǎn)單...
