使用curl實現(xiàn)url的并發(fā)請求

    /*
 * @purpose: 使用curl并行處理url
 * @return: array 每個url獲取的數(shù)據(jù)
 * @param: $urls array url列表
 * @param: $callback string 需要進行內(nèi)容處理的回調(diào)函數(shù)陡蝇。示例:func(array)
 */
function curl($urls = array(), $callback = '')
{
    $response = array();
    if (empty($urls)) {
        return $response;
    }
    $chs = curl_multi_init();
    $map = array();
    foreach($urls as $url){
        $ch = curl_init();
        curl_setopt($ch, CURLOPT_URL, $url);
        curl_setopt($ch, CURLOPT_TIMEOUT, 1);
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
        curl_setopt($ch, CURLOPT_HEADER, 0);
        curl_setopt($ch, CURLOPT_NOSIGNAL, true);
        curl_multi_add_handle($chs, $ch);
        $map[strval($ch)] = $url;
    }
    do{
        if (($status = curl_multi_exec($chs, $active)) != CURLM_CALL_MULTI_PERFORM) {
            if ($status != CURLM_OK) { break; } //如果沒有準備就緒,就再次調(diào)用curl_multi_exec
            while ($done = curl_multi_info_read($chs)) {
                $info = curl_getinfo($done["handle"]);
                $error = curl_error($done["handle"]);
                $result = curl_multi_getcontent($done["handle"]);
                $url = $map[strval($done["handle"])];
                $rtn = compact('info', 'error', 'result', 'url');
                if (trim($callback)) {
                    $callback($rtn);
                }
                $response[$url] = $rtn;
                curl_multi_remove_handle($chs, $done['handle']);
                curl_close($done['handle']);
                //如果仍然有未處理完畢的句柄姚炕,那么就select
                if ($active > 0) {
                    curl_multi_select($chs, 0.5); //此處會導致阻塞大概0.5秒。
                }
            }
        }
    }
    while($active > 0); //還有句柄處理還在進行中
    curl_multi_close($chs);
    return $response;
}
 
//使用方法
function deal($data){
    if ($data["error"] == '') {
        echo $data["url"]." -- ".$data["info"]["http_code"]."\n";
    } else {
        echo $data["url"]." -- ".$data["error"]."\n";
    }
}
$urls = array();
for ($i = 0; $i < 10; $i++) {
    $urls[] = 'http://www.baidu.com/s?wd=etao_'.$i;
    $urls[] = 'http://www.so.com/s?q=etao_'.$i;
    $urls[] = 'http://www.soso.com/q?w=etao_'.$i;
}
curl($urls, "deal"); 
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末劫狠,一起剝皮案震驚了整個濱河市题暖,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌照棋,老刑警劉巖科贬,帶你破解...
    沈念sama閱讀 222,729評論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件泳梆,死亡現(xiàn)場離奇詭異,居然都是意外死亡榜掌,警方通過查閱死者的電腦和手機优妙,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,226評論 3 399
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來憎账,“玉大人套硼,你說我怎么就攤上這事“澹” “怎么了邪意?”我有些...
    開封第一講書人閱讀 169,461評論 0 362
  • 文/不壞的土叔 我叫張陵,是天一觀的道長反砌。 經(jīng)常有香客問我雾鬼,道長,這世上最難降的妖魔是什么宴树? 我笑而不...
    開封第一講書人閱讀 60,135評論 1 300
  • 正文 為了忘掉前任策菜,我火速辦了婚禮,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘做入。我一直安慰自己冒晰,他們只是感情好同衣,可當我...
    茶點故事閱讀 69,130評論 6 398
  • 文/花漫 我一把揭開白布竟块。 她就那樣靜靜地躺著,像睡著了一般耐齐。 火紅的嫁衣襯著肌膚如雪浪秘。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,736評論 1 312
  • 那天埠况,我揣著相機與錄音耸携,去河邊找鬼。 笑死辕翰,一個胖子當著我的面吹牛夺衍,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播喜命,決...
    沈念sama閱讀 41,179評論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼沟沙,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了壁榕?” 一聲冷哼從身側(cè)響起矛紫,我...
    開封第一講書人閱讀 40,124評論 0 277
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎牌里,沒想到半個月后颊咬,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,657評論 1 320
  • 正文 獨居荒郊野嶺守林人離奇死亡牡辽,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,723評論 3 342
  • 正文 我和宋清朗相戀三年喳篇,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片态辛。...
    茶點故事閱讀 40,872評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡麸澜,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出因妙,到底是詐尸還是另有隱情痰憎,我是刑警寧澤,帶...
    沈念sama閱讀 36,533評論 5 351
  • 正文 年R本政府宣布攀涵,位于F島的核電站铣耘,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏以故。R本人自食惡果不足惜蜗细,卻給世界環(huán)境...
    茶點故事閱讀 42,213評論 3 336
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧炉媒,春花似錦踪区、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,700評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至白粉,卻和暖如春传泊,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背鸭巴。 一陣腳步聲響...
    開封第一講書人閱讀 33,819評論 1 274
  • 我被黑心中介騙來泰國打工眷细, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人鹃祖。 一個月前我還...
    沈念sama閱讀 49,304評論 3 379
  • 正文 我出身青樓溪椎,卻偏偏與公主長得像,于是被迫代替她去往敵國和親恬口。 傳聞我的和親對象是個殘疾皇子校读,可洞房花燭夜當晚...
    茶點故事閱讀 45,876評論 2 361

推薦閱讀更多精彩內(nèi)容