記一次 Curl 調(diào)用偶爾超時問題排查

PHP 接口偶爾耗時 5s、10s模蜡,但 PHP 無復(fù)雜邏輯漠趁,都是直接通過 curl 調(diào)用 Java 服務(wù)返回相應(yīng)內(nèi)容。遂查看了對應(yīng) Java 服務(wù)忍疾,并無耗時 5s闯传、10s 的接口。

于是在 curl_exec() 后卤妒,通過 curl_getinfo() 獲取 curl 詳細信息甥绿,發(fā)現(xiàn)超時請求的 namelookup_time 時間剛好是 5s字币、10s。

字段 含義
namelookup_time 域名解析到 ip 所耗費的時間
connect_time 建立連接所消耗的時間
pretransfer_time 從建立連接到準備傳輸所使用的時間
starttransfer_time 從建立連接到傳輸開始所使用的時間
total_time 從開始到最后一次傳輸所消耗的時間

從返回的結(jié)果看共缕,是域名解析存在問題洗出。

登錄到測試服務(wù)器,通過 tcpdump -w curl_tcpdump.cap 記錄下一段時間內(nèi)的網(wǎng)絡(luò)請求數(shù)據(jù)图谷,并通過 wireshark 打開文件翩活,通過搜索 dns.time > 2 and dns.qry.name contains "youhostname" 查詢到指定域名解析耗時大于2s的 dns 請求,dns 請求耗時長的時候正好是接口訪問耗時的時候便贵。

但為什么 php 通過 curl 調(diào)用會發(fā)生域名解析慢菠镇,java 服務(wù)之間調(diào)用卻是正常的呢(網(wǎng)絡(luò)同事還是認為是開發(fā)同事原因)?

通過寫兩段測試程序承璃,放到測試服務(wù)器利耍,通過 strace -p pidtcpdump 繼續(xù)分析。

PHP 程序

<?php
set_time_limit(0);
error_reporting(E_ALL);

$url = "http://youhostname";

$start = date("y-m-d H:i:s");
$end = strtotime("+10 minutes", $start);
$count = 0;
while (true) {
    curlPost($url);
    sleep(0.001);
    if (strtotime() >= $end) {
        break;
    }
    $count;
}

function curlPost($url, $data = null)
{
    $ret = false;
    $ch = curl_init($url);
    curl_setopt($ch, CURLOPT_CUSTOMREQUEST, "POST");
    curl_setopt($ch, CURLOPT_POSTFIELDS, $data);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
    curl_setopt($ch, CURLOPT_TIMEOUT, 60);
    curl_setopt($ch, CURLOPT_IPRESOLVE, CURL_IPRESOLVE_V4);
    $headers = array(
        'Content-Type: application/json',
        'Content-Length: ' . strlen($data),
        'Expect:'
    );
    curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

    $ret = curl_exec($ch);
    $curl_info = curl_getinfo($ch);
    logInfo($curl_info);
    curl_close($ch); // 關(guān)閉CURL會話
    return $ret;
}

function logInfo($content) {
  $file = 'curl_info.txt';
  file_put_contents($file, date("y-m-d H:i:s").' '.json_encode($content).PHP_EOL, FILE_APPEND);
}

執(zhí)行/usr/local/bin/php curl.php 并查通過 strace -p php_pid 查看系統(tǒng)調(diào)用實際過程绸硕,可以看到系統(tǒng)發(fā)送 查詢 dns 請求后在 poll 等待事件階段超時了堂竟。

Java 程序

@Test
void useHttpClient() {
      httpClientService.useHttpClient("youhostname");
      httpClientService.useHttpClient("youhostname");
      httpClientService.useHttpClient("youhostname");
}

public void useHttpClient(String url){
        CloseableHttpClient closeableHttpClient = HttpClients.createDefault();
        HttpPost httpPost = new HttpPost(url);
        httpPost.setHeader("Content-Type","application/json");

        long startTimeMillis = System.currentTimeMillis();
        try {
            closeableHttpClient.execute(httpPost);
            long endTimeMillis = System.currentTimeMillis();
            long time = endTimeMillis - startTimeMillis;
            if (time > 2000) {
                log.error("耗時:{} {}", time + "ms", url);
            } else {
                log.info("耗時:{} {}", time + "ms", url);
            }
        } catch (Exception e) {
            long endTimeMillis = System.currentTimeMillis();
            log.error("耗時:{} {}, e:{}", (endTimeMillis - startTimeMillis) + "ms", url, e);
        }
    }

通過 stracetcpdump分析,雖然 httpclient 對象每次都初始化玻佩,但域名解析只發(fā)生了一次,也就是說域名解析成功后席楚,java 緩存了解析結(jié)果咬崔。
修改 java 程序,讓每 0.02 s 執(zhí)行一次遠程調(diào)用烦秩,通過 dns.qry.name contains "youhostname" 發(fā)現(xiàn)大概 30s 會重新域名解析一次垮斯。

結(jié)果

  1. 通過 curl_getinfo() 可以獲取到 curl 請求各階段的耗時
  2. 通過 strace 可以看到 php 和 java 遠程調(diào)用的系統(tǒng)調(diào)用都是一樣的,先域名解析只祠,然后連接連接兜蠕,發(fā)送數(shù)據(jù)
  3. php 的 curl 每次都會重新域名解析,沒有緩存抛寝,所以正常情況下會比 java 耗時熊杨。java 正常情況還會通過 http 連接池,這樣就省得更多了盗舰。
  4. 為什么域名解析會不穩(wěn)定晶府,偶爾用時 5s,還是沒找到钻趋。通過 time nslookup youhostname 也可以偶爾看到實際域名解析的時間川陆。
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市蛮位,隨后出現(xiàn)的幾起案子较沪,更是在濱河造成了極大的恐慌鳞绕,老刑警劉巖,帶你破解...
    沈念sama閱讀 211,194評論 6 490
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件尸曼,死亡現(xiàn)場離奇詭異们何,居然都是意外死亡,警方通過查閱死者的電腦和手機骡苞,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,058評論 2 385
  • 文/潘曉璐 我一進店門垂蜗,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人解幽,你說我怎么就攤上這事贴见。” “怎么了躲株?”我有些...
    開封第一講書人閱讀 156,780評論 0 346
  • 文/不壞的土叔 我叫張陵片部,是天一觀的道長。 經(jīng)常有香客問我霜定,道長档悠,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 56,388評論 1 283
  • 正文 為了忘掉前任望浩,我火速辦了婚禮辖所,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘磨德。我一直安慰自己缘回,他們只是感情好,可當我...
    茶點故事閱讀 65,430評論 5 384
  • 文/花漫 我一把揭開白布典挑。 她就那樣靜靜地躺著酥宴,像睡著了一般。 火紅的嫁衣襯著肌膚如雪您觉。 梳的紋絲不亂的頭發(fā)上拙寡,一...
    開封第一講書人閱讀 49,764評論 1 290
  • 那天,我揣著相機與錄音琳水,去河邊找鬼肆糕。 笑死,一個胖子當著我的面吹牛炫刷,可吹牛的內(nèi)容都是我干的擎宝。 我是一名探鬼主播,決...
    沈念sama閱讀 38,907評論 3 406
  • 文/蒼蘭香墨 我猛地睜開眼浑玛,長吁一口氣:“原來是場噩夢啊……” “哼绍申!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 37,679評論 0 266
  • 序言:老撾萬榮一對情侶失蹤极阅,失蹤者是張志新(化名)和其女友劉穎胃碾,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體筋搏,經(jīng)...
    沈念sama閱讀 44,122評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡仆百,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,459評論 2 325
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了奔脐。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片俄周。...
    茶點故事閱讀 38,605評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖髓迎,靈堂內(nèi)的尸體忽然破棺而出峦朗,到底是詐尸還是另有隱情,我是刑警寧澤排龄,帶...
    沈念sama閱讀 34,270評論 4 329
  • 正文 年R本政府宣布波势,位于F島的核電站,受9級特大地震影響橄维,放射性物質(zhì)發(fā)生泄漏尺铣。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 39,867評論 3 312
  • 文/蒙蒙 一争舞、第九天 我趴在偏房一處隱蔽的房頂上張望凛忿。 院中可真熱鬧,春花似錦竞川、人聲如沸侄非。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,734評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至者疤,卻和暖如春福澡,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背驹马。 一陣腳步聲響...
    開封第一講書人閱讀 31,961評論 1 265
  • 我被黑心中介騙來泰國打工革砸, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人糯累。 一個月前我還...
    沈念sama閱讀 46,297評論 2 360
  • 正文 我出身青樓算利,卻偏偏與公主長得像,于是被迫代替她去往敵國和親泳姐。 傳聞我的和親對象是個殘疾皇子效拭,可洞房花燭夜當晚...
    茶點故事閱讀 43,472評論 2 348

推薦閱讀更多精彩內(nèi)容