此簡(jiǎn)書用來發(fā)布Spark+AI的深夜學(xué)堂，每夜一更新！夜空中最亮的星：Spark秕脓！
發(fā)簡(jiǎn)信
IP屬地：臺(tái)灣
-
-
Hive LLAP && workload managementLLAP 起源 說workload management 就要先說LLAP。 LLAP 存在的必要性，為了解決什么問題才被設(shè)計(jì)出來的呢悯姊？ 這東西的由來其實(shí)是因?yàn)?每次一個(gè)查詢...
-
Hive Metastore Thrift客戶端?上篇文章介紹了Metastore Thrift服務(wù)端，接下來淺析一下Metastore Thrift客戶端叹阔。 1挠轴、IMetaStoreClient接口 ?IMetaStor...
-
Metastore格式和分隔符?Hive目前支持的數(shù)據(jù)格式包括Text File、SequenceFile耳幢、RCFile岸晦、Avro、ORC 和Parquet睛藻，同時(shí)可以自定義INPUTFORMAT和OUTP...
-
Metastore服務(wù)端架構(gòu)1启上、HiveMetastore ?HiveMetastore是Metastore的Thrift程序，Thrift文件為hive_metastore.thrift店印，Thrift...
-
如果讀完覺得有收獲的話按摘，歡迎關(guān)注我的公眾號(hào)：占小狼的博客 <a href="https://links.jianshu.com/go?to=https%3A%2F%2Fdwz.cn%2FD8Q1K7Ft" target="_blank">https://dwz.cn/D8Q1K7Ft</a><br><br><br>
-
Dispatcher類
Balancer.runOneIteration()--》Dispatcher.dispatchAndCheckContinue()Dispatcher.dispatchAn...
-
HDFS Balancer優(yōu)化參數(shù)
dfs.datanode.max.transfer.threads指定用于在DataNode間傳輸block數(shù)據(jù)的最大線程數(shù)包券，默認(rèn)值4096。 dfs.datanode.ba...
-
HDFS Balancer源碼閱讀
1. Dispatcher.init()方法 ?init方法首先會(huì)請(qǐng)求DataNode節(jié)點(diǎn)報(bào)告 2. Dispatcher.shouldIgnore()方法 ?Decommi...
-
Kyuubi服務(wù)源碼解析：OpenSession解析
??在Kyuubi服務(wù)源碼解析：FrontendService一文解析HiveConnection的構(gòu)造函數(shù)時(shí)炫贤，有一行代碼是openSession()溅固，現(xiàn)在來解析一下。 Cl...
-
Kerberos之Beeline客戶端參數(shù)解析??在Kerberos認(rèn)證體系下兰珍，Beeline客戶端連接HiveServer2的參數(shù)一般是這樣的：beeline -u "jdbc:hive2:// :10000/defa...
-
Spark多租戶場(chǎng)下的一些探討與實(shí)現(xiàn)
-
Kyuubi服務(wù)源碼解析：FrontendServiceFrontendService（Thrift服務(wù)Server端） ??FrontendService負(fù)責(zé)與客戶端進(jìn)行交互：維護(hù)與客戶端的連接，并將SQL執(zhí)行結(jié)果返回至客戶端唠摹。...
-
Kyuubi服務(wù)源碼解析：KyuubiServer
??Kyuubi服務(wù)與HiveServer2服務(wù)非常相似爆捞，在Kyuubi中很多類的設(shè)計(jì)和代碼邏輯都參照了HiveServer2（Spark SQL Thrift Server...
