Parquet調(diào)研報(bào)告 1. 概述 1.1 簡(jiǎn)介 Apache Parquet是Hadoop生態(tài)圈中一種新型列式存儲(chǔ)格式，它可以兼容Hadoop生態(tài)圈中大多數(shù)計(jì)算框架(Had...
IP屬地：上海
-
列存儲(chǔ)格式Parquet淺析 -
hadoop 配置文件部分
1叠蝇、端口 9000端口：是fileSystem默認(rèn)的端口號(hào)：50070端口: 50070是hdfs的web管理頁(yè)面的端口 （50070端口也可以查看hdfs 的總存儲(chǔ) ...
-
Kerberos http身份認(rèn)證原理及例子相關(guān)概念說明 SPNEGO：簡(jiǎn)單且受保護(hù)的 GSS-API 協(xié)商機(jī)制中定義的一項(xiàng)標(biāo)準(zhǔn)規(guī)范璃岳。如果啟用SPNEGO Web 認(rèn)證，那么在處理第一個(gè)入站 HTTP 請(qǐng)求時(shí)會(huì)對(duì) SP...
-
HTTPS雙向認(rèn)證指南作者：黃湘龍 研究HTTPS的雙向認(rèn)證實(shí)現(xiàn)與原理悔捶，踩了不少坑矾睦，終于整個(gè)流程都跑通了，現(xiàn)在總結(jié)出一篇文檔來炎功，把一些心得枚冗，特別是容易踩坑的地方記錄下來。 1.原理 雙向認(rèn)證蛇损，顧名...
-
Hadoop Commands是怎樣被執(zhí)行的赁温？
在命令行執(zhí)行 hadoop fs -ls / 這種 Hadoop Commands 時(shí)，系統(tǒng)內(nèi)部是怎樣處理的呢淤齐？ 1. bash 處理 可以用 linux 的which和ll...
-
利用zookeeper構(gòu)建高可用的Spring服務(wù)
高可用是一個(gè)健壯的系統(tǒng)必備的特性股囊，實(shí)現(xiàn)高可用的方法有很多，這篇文章簡(jiǎn)要介紹了實(shí)現(xiàn)高可用的方法更啄，適合瀏覽一遍熟悉高可用的概況稚疹。我的這篇文章的主要目的是介紹如何用zookeepe...
-
篇二|什么是ClickHouse的表引擎?在上一篇分享中，我們介紹了ClickHouse的安裝部署和簡(jiǎn)單使用祭务。本文將介紹ClickHouse中一個(gè)非常重要的概念—表引擎(table engine)内狗。如果對(duì)MySQL熟...
-
Hibernate常見面試題
在Java J2EE方面進(jìn)行面試時(shí)，常被問起的Hibernate面試問題义锥，大多都是針對(duì)基于Web的企業(yè)級(jí)應(yīng)用開發(fā)者的角色的柳沙。Hibernate框架在Java界的成功和高度的可...
-
[譯]運(yùn)行在YARN上的Spark程序的Executor，Cores和Memory的分配
好久沒更新了拌倍，赂鲤。噪径。。太懶了数初。 在跑Spark-On-Yarn程序的時(shí)候找爱，往往會(huì)對(duì)幾個(gè)參數(shù)（num-executors，executor-cores泡孩，executor-memo...
