Presto調(diào)度模塊源碼閱讀(1)-Client提交請(qǐng)求

? ? ? ?當(dāng)客戶端以控制臺(tái)Console革半、腳本--execute等方式提交SQL作業(yè)時(shí),Presto的Client會(huì)將作業(yè)相關(guān)的參數(shù)和腳本封裝成一個(gè)Restful請(qǐng)求洼怔,提交給PrestoServer端署惯。然后再進(jìn)行后續(xù)的諸如解析執(zhí)行計(jì)劃、拆分Stage镣隶、調(diào)度task到Worker端執(zhí)行等操作极谊。下面就介紹一下Client提交作業(yè)到服務(wù)端部分的源碼。

Main函數(shù)

? ? ? ?客戶端提交作業(yè)的代碼是從Presto的main函數(shù)開始的:

? ? ? ?在Console的run方法中安岂,如果入?yún)⒅泻?-execute轻猖,會(huì)直接將值取出作為待執(zhí)行的SQL語(yǔ)句。否則認(rèn)為是通過(guò)--file指定了SQL文件域那,此時(shí)會(huì)通過(guò)文件IO讀取該文件中的SQL腳本咙边。這種情況對(duì)應(yīng)著通過(guò)腳本提交作業(yè)的情況,而如果--execute和--file都沒(méi)有指定次员,則認(rèn)為是通過(guò)控制臺(tái)Console的方式提交SQL败许。

通過(guò)腳本提交作業(yè)

? ? ? ?通過(guò)腳本的方式會(huì)直接執(zhí)行Console類的executeCommand方法。按照“;”切分出SQL語(yǔ)句淑蔚,并依次調(diào)用Console類的process方法來(lái)提交作業(yè)市殷。

通過(guò)控制臺(tái)提交作業(yè)

? ? ? ?這種情況相對(duì)麻煩一些,他會(huì)執(zhí)行Console.runConsole方法處理客戶提交的請(qǐng)求刹衫。Presto為這種方式設(shè)置了一個(gè)AtomicBoolean existing變量來(lái)判斷Client是否存在醋寝,如果不存在則不再提交后續(xù)的SQL(對(duì)應(yīng)在控制臺(tái)中輸入了多條sql語(yǔ)句搞挣,并用;間隔,當(dāng)前邊的語(yǔ)句正在執(zhí)行時(shí)退出Console甥桂,此時(shí)后續(xù)的sql就不會(huì)被提交了)柿究。

? ? ? ?在runConsole方法中可以看到,他會(huì)有一個(gè)while循環(huán)不斷的循環(huán)處理LineReader對(duì)象讀取到的命令黄选,LineReader繼承自jline.console.ConsoleReader,是一個(gè)專門處理控制臺(tái)輸入的Java類庫(kù)(官方網(wǎng)址是https://jline.github.io/)婶肩。這個(gè)類每讀取一行輸入就會(huì)將值傳遞給一個(gè)名為buffer的StringBuilder對(duì)象办陷,然后根據(jù)“;”和“\\G”來(lái)識(shí)別一個(gè)完整的SQL,并將SQL交給process方法進(jìn)行調(diào)度律歼。最后會(huì)將剩下不完整的語(yǔ)句賦值給重新初始化的buffer對(duì)象作為下一條SQL的開頭民镜。

構(gòu)建請(qǐng)求并發(fā)送

? ? ? ?下面我們看一下process方法,這個(gè)方法中最重要的部分是他會(huì)在try with resources中調(diào)用QueryRunner的startQuery方法险毁,如下:

? ? ? ?這個(gè)語(yǔ)法表示小括號(hào)中創(chuàng)建的對(duì)象如果實(shí)現(xiàn)了closable接口制圈,則無(wú)論是否出現(xiàn)異常,都會(huì)在try catch結(jié)束后調(diào)用其close方法畔况。

? ? ? ?如下是startQuery方法:

? ? ? ?然后我們一路點(diǎn)進(jìn)去鲸鹦,經(jīng)過(guò)QueryRunner的startInernalQuery、StatementClientFactory的newStatementClient方法之后跷跪,我們來(lái)到了StatementClientV1的構(gòu)造函數(shù):

? ? ? ?在buildQueryRequest方法中馋嗜,會(huì)構(gòu)建一個(gè)目標(biāo)Rest地址為/v1/statement的請(qǐng)求,

? ? ? ?隨后在JsonResponse.execute中會(huì)發(fā)起這個(gè)請(qǐng)求吵瞻。

? ? ? ?然后我們搜索一下Rest地址/v1/statement葛菇,發(fā)現(xiàn)他的目標(biāo)服務(wù)類為StatementResouce。

? ? ? ?以上就是Client提交查詢請(qǐng)求橡羞,到PrestoServer端響應(yīng)的過(guò)程眯停。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市卿泽,隨后出現(xiàn)的幾起案子莺债,更是在濱河造成了極大的恐慌,老刑警劉巖又厉,帶你破解...
    沈念sama閱讀 211,561評(píng)論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件九府,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡覆致,警方通過(guò)查閱死者的電腦和手機(jī)侄旬,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,218評(píng)論 3 385
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)煌妈,“玉大人儡羔,你說(shuō)我怎么就攤上這事宣羊。” “怎么了汰蜘?”我有些...
    開封第一講書人閱讀 157,162評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵仇冯,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我族操,道長(zhǎng)苛坚,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 56,470評(píng)論 1 283
  • 正文 為了忘掉前任色难,我火速辦了婚禮泼舱,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘枷莉。我一直安慰自己娇昙,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,550評(píng)論 6 385
  • 文/花漫 我一把揭開白布笤妙。 她就那樣靜靜地躺著冒掌,像睡著了一般。 火紅的嫁衣襯著肌膚如雪蹲盘。 梳的紋絲不亂的頭發(fā)上股毫,一...
    開封第一講書人閱讀 49,806評(píng)論 1 290
  • 那天,我揣著相機(jī)與錄音辜限,去河邊找鬼皇拣。 笑死,一個(gè)胖子當(dāng)著我的面吹牛薄嫡,可吹牛的內(nèi)容都是我干的氧急。 我是一名探鬼主播,決...
    沈念sama閱讀 38,951評(píng)論 3 407
  • 文/蒼蘭香墨 我猛地睜開眼毫深,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼吩坝!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起哑蔫,我...
    開封第一講書人閱讀 37,712評(píng)論 0 266
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤钉寝,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后闸迷,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體嵌纲,經(jīng)...
    沈念sama閱讀 44,166評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,510評(píng)論 2 327
  • 正文 我和宋清朗相戀三年腥沽,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了逮走。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 38,643評(píng)論 1 340
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡今阳,死狀恐怖师溅,靈堂內(nèi)的尸體忽然破棺而出茅信,到底是詐尸還是另有隱情,我是刑警寧澤墓臭,帶...
    沈念sama閱讀 34,306評(píng)論 4 330
  • 正文 年R本政府宣布蘸鲸,位于F島的核電站,受9級(jí)特大地震影響窿锉,放射性物質(zhì)發(fā)生泄漏酌摇。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,930評(píng)論 3 313
  • 文/蒙蒙 一嗡载、第九天 我趴在偏房一處隱蔽的房頂上張望妙痹。 院中可真熱鬧,春花似錦鼻疮、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,745評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至崭篡,卻和暖如春挪哄,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背琉闪。 一陣腳步聲響...
    開封第一講書人閱讀 31,983評(píng)論 1 266
  • 我被黑心中介騙來(lái)泰國(guó)打工迹炼, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人颠毙。 一個(gè)月前我還...
    沈念sama閱讀 46,351評(píng)論 2 360
  • 正文 我出身青樓斯入,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親蛀蜜。 傳聞我的和親對(duì)象是個(gè)殘疾皇子刻两,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,509評(píng)論 2 348

推薦閱讀更多精彩內(nèi)容

  • Spring Cloud為開發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見模式的工具(例如配置管理,服務(wù)發(fā)現(xiàn)滴某,斷路器磅摹,智...
    卡卡羅2017閱讀 134,633評(píng)論 18 139
  • 關(guān)于Mongodb的全面總結(jié) MongoDB的內(nèi)部構(gòu)造《MongoDB The Definitive Guide》...
    中v中閱讀 31,906評(píng)論 2 89
  • 一、Python簡(jiǎn)介和環(huán)境搭建以及pip的安裝 4課時(shí)實(shí)驗(yàn)課主要內(nèi)容 【Python簡(jiǎn)介】: Python 是一個(gè)...
    _小老虎_閱讀 5,725評(píng)論 0 10
  • 最近一直在探索自己霎奢,包括喜歡什么户誓,不喜歡什么,想要什么生活幕侠,自己到底是個(gè)什么樣子的人帝美,看似具體,實(shí)則抽象橙依≈ぶ郏總覺(jué)得自...
    momentx零閱讀 113評(píng)論 0 0
  • 患者女性女责,60歲漆枚。因?yàn)榉磸?fù)的頭暈,心累氣短抵知,到處求醫(yī)問(wèn)藥墙基。從阿壩到成都,跑遍了各大醫(yī)院刷喜,做了所有的檢查都基本正常残制,...
    慈樸守中閱讀 561評(píng)論 0 0