? ? ? ?當(dāng)客戶端以控制臺(tái)Console革半、腳本--execute等方式提交SQL作業(yè)時(shí),Presto的Client會(huì)將作業(yè)相關(guān)的參數(shù)和腳本封裝成一個(gè)Restful請(qǐng)求洼怔,提交給PrestoServer端署惯。然后再進(jìn)行后續(xù)的諸如解析執(zhí)行計(jì)劃、拆分Stage镣隶、調(diào)度task到Worker端執(zhí)行等操作极谊。下面就介紹一下Client提交作業(yè)到服務(wù)端部分的源碼。
Main函數(shù)
? ? ? ?客戶端提交作業(yè)的代碼是從Presto的main函數(shù)開始的:
? ? ? ?在Console的run方法中安岂,如果入?yún)⒅泻?-execute轻猖,會(huì)直接將值取出作為待執(zhí)行的SQL語(yǔ)句。否則認(rèn)為是通過(guò)--file指定了SQL文件域那,此時(shí)會(huì)通過(guò)文件IO讀取該文件中的SQL腳本咙边。這種情況對(duì)應(yīng)著通過(guò)腳本提交作業(yè)的情況,而如果--execute和--file都沒(méi)有指定次员,則認(rèn)為是通過(guò)控制臺(tái)Console的方式提交SQL败许。
通過(guò)腳本提交作業(yè)
? ? ? ?通過(guò)腳本的方式會(huì)直接執(zhí)行Console類的executeCommand方法。按照“;”切分出SQL語(yǔ)句淑蔚,并依次調(diào)用Console類的process方法來(lái)提交作業(yè)市殷。
通過(guò)控制臺(tái)提交作業(yè)
? ? ? ?這種情況相對(duì)麻煩一些,他會(huì)執(zhí)行Console.runConsole方法處理客戶提交的請(qǐng)求刹衫。Presto為這種方式設(shè)置了一個(gè)AtomicBoolean existing變量來(lái)判斷Client是否存在醋寝,如果不存在則不再提交后續(xù)的SQL(對(duì)應(yīng)在控制臺(tái)中輸入了多條sql語(yǔ)句搞挣,并用;間隔,當(dāng)前邊的語(yǔ)句正在執(zhí)行時(shí)退出Console甥桂,此時(shí)后續(xù)的sql就不會(huì)被提交了)柿究。
? ? ? ?在runConsole方法中可以看到,他會(huì)有一個(gè)while循環(huán)不斷的循環(huán)處理LineReader對(duì)象讀取到的命令黄选,LineReader繼承自jline.console.ConsoleReader,是一個(gè)專門處理控制臺(tái)輸入的Java類庫(kù)(官方網(wǎng)址是https://jline.github.io/)婶肩。這個(gè)類每讀取一行輸入就會(huì)將值傳遞給一個(gè)名為buffer的StringBuilder對(duì)象办陷,然后根據(jù)“;”和“\\G”來(lái)識(shí)別一個(gè)完整的SQL,并將SQL交給process方法進(jìn)行調(diào)度律歼。最后會(huì)將剩下不完整的語(yǔ)句賦值給重新初始化的buffer對(duì)象作為下一條SQL的開頭民镜。
構(gòu)建請(qǐng)求并發(fā)送
? ? ? ?下面我們看一下process方法,這個(gè)方法中最重要的部分是他會(huì)在try with resources中調(diào)用QueryRunner的startQuery方法险毁,如下:
? ? ? ?這個(gè)語(yǔ)法表示小括號(hào)中創(chuàng)建的對(duì)象如果實(shí)現(xiàn)了closable接口制圈,則無(wú)論是否出現(xiàn)異常,都會(huì)在try catch結(jié)束后調(diào)用其close方法畔况。
? ? ? ?如下是startQuery方法:
? ? ? ?然后我們一路點(diǎn)進(jìn)去鲸鹦,經(jīng)過(guò)QueryRunner的startInernalQuery、StatementClientFactory的newStatementClient方法之后跷跪,我們來(lái)到了StatementClientV1的構(gòu)造函數(shù):
? ? ? ?在buildQueryRequest方法中馋嗜,會(huì)構(gòu)建一個(gè)目標(biāo)Rest地址為/v1/statement的請(qǐng)求,
? ? ? ?隨后在JsonResponse.execute中會(huì)發(fā)起這個(gè)請(qǐng)求吵瞻。
? ? ? ?然后我們搜索一下Rest地址/v1/statement葛菇,發(fā)現(xiàn)他的目標(biāo)服務(wù)類為StatementResouce。
? ? ? ?以上就是Client提交查詢請(qǐng)求橡羞,到PrestoServer端響應(yīng)的過(guò)程眯停。