php實戰(zhàn)開發(fā)網絡爬蟲氯析,實現(xiàn)采集功能

php實現(xiàn)實時獲取當天天氣小工具

//獲取天氣預報網站的網頁內容

$html = file_get_contents("http://www.weather.com.cn/weather1d/101210101.shtml");

//正則表達式

$reg = '#hour3data.+?\[".+?,.+?,(?<tianqi>.+?),(?<wendu>.+?),#';

//如果匹配成功锈至,就輸出溫度相關的信息

if(preg_match($reg, $html, $mat)){

? ? echo "今天".$mat['tianqi'].",溫度".$mat['wendu'];

}

從起點網采集指定的小說章節(jié)保存到txt文件

$url = "http://read.qidian.com/chapter/e3dzHPdshCDbhZU9AFSCzA2/JRRO4JeEqtFp4rPq4Fd4KQ2";

$html = file_get_contents($url);

$reg = '#<title>(?<title>.+?)</title>[\s\S]+?<div class="read-content j_readContent">(?<content>[\s\S]*?)</div>#';

if(preg_match($reg, $html, $mat)){

? ? //print_r($mat);

? ? $mat['content'] = preg_replace("#<.*?>#","\r\n",$mat['content']);

? ? echo $mat['title']."\n\n\n\n".$mat['content'];

? ? file_put_contents($mat['title'].".txt",$mat['content']);

}

根據qq號獲取昵稱和頭像

要求:根據qq賬號,在網頁中顯示出對應的昵稱和用戶頭像闻鉴。

提示:通過這個地址可以獲取到相關信息 http://r.pengyou.com/fcg-bin/cgi_get_portrait.fcg?uins=841116165

提示:此處顯示圖片有小坑炊昆。搜索關鍵詞 “防盜鏈”

$url = "http://r.pengyou.com/fcg-bin/cgi_get_portrait.fcg?uins=841116165";

$html = file_get_contents($url);

$reg = '#.+?\["(.+?)",.+?,.+?,.+?,.+?,.+?,"(.+?)"#';

if(preg_match($reg, $html, $mat)){

? ? //由于防盜鏈,無法直接使用騰訊的頭像鏈接贱田,所以要先下載到本地

? ? file_put_contents("1.jpg",file_get_contents($mat[1]));

? ? echo "<img src='./1.jpg' />".$mat[2];

}

根據ip獲取地址信息(作業(yè))

用戶輸入一個ip地址缅茉,顯示這個ip的地理位置信息。

提示:通過后面的地址即可獲取到地址信息 http://ip.chinaz.com/36.24.128.67

答案:

$ip = "36.84.128.67";

$html = file_get_contents("http://ip.chinaz.com/".$ip);

$regex = '#<p class="WhwtdWrap bor-b1s col-gray03">[\s\S]+?<span class="Whwtdhalf w50-0">(.+?)</span>[\s\S]+?</p>#';

if(preg_match($regex, $html, $mat)){

? ? echo $mat[1];

}

php獲取最近7天天氣預報信息(作業(yè))

從起點采集一本指定的小說所有的章節(jié)內容男摧,合并到一個txt文件蔬墩。(作業(yè))

提示:先采集列表的url译打,再循環(huán)采集每個章節(jié)的內容,追加到文件中拇颅。

//ini_set('max_execution_time','0');

$html = file_get_contents("http://book.qidian.com/info/1004608738");

$regex = '#<li data-rid="\d+?"><a href="(.+?)"[\s\S]+?>(.+?)</a>[\s\S]+?</li>#';

if(preg_match_all($regex, $html, $mats)){

? ? foreach($mats[1] as $k => $v){

? ? ? ? $html1 = file_get_contents("http:".$v);

? ? ? ? $regex1 = '#<div class="read-content j_readContent">([\s\S]+?)</div>#';

? ? ? ? //匹配內容

? ? ? ? if(preg_match($regex1, $html1, $mat)){

? ? ? ? ? ? $mat[1] = preg_replace('#<.+?>|\s+?#', "",$mat[1]);

? ? ? ? ? ? $content = "\r\n".$mats[2][$k]."\r\n".$mat[1];

? ? ? ? ? ? file_put_contents("1.txt", $content, FILE_APPEND);

? ? ? ? } else {

? ? ? ? ? ? echo "內容沒有匹配成功";

? ? ? ? }

? ? ? ? echo $mats[2][$k]."\n";

? ? }

}

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末奏司,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子樟插,更是在濱河造成了極大的恐慌结澄,老刑警劉巖,帶你破解...
    沈念sama閱讀 207,248評論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件岸夯,死亡現(xiàn)場離奇詭異麻献,居然都是意外死亡,警方通過查閱死者的電腦和手機猜扮,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,681評論 2 381
  • 文/潘曉璐 我一進店門勉吻,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人旅赢,你說我怎么就攤上這事齿桃。” “怎么了煮盼?”我有些...
    開封第一講書人閱讀 153,443評論 0 344
  • 文/不壞的土叔 我叫張陵短纵,是天一觀的道長。 經常有香客問我僵控,道長香到,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 55,475評論 1 279
  • 正文 為了忘掉前任报破,我火速辦了婚禮悠就,結果婚禮上,老公的妹妹穿的比我還像新娘充易。我一直安慰自己梗脾,他們只是感情好,可當我...
    茶點故事閱讀 64,458評論 5 374
  • 文/花漫 我一把揭開白布盹靴。 她就那樣靜靜地躺著炸茧,像睡著了一般。 火紅的嫁衣襯著肌膚如雪稿静。 梳的紋絲不亂的頭發(fā)上梭冠,一...
    開封第一講書人閱讀 49,185評論 1 284
  • 那天,我揣著相機與錄音自赔,去河邊找鬼妈嘹。 笑死柳琢,一個胖子當著我的面吹牛绍妨,可吹牛的內容都是我干的润脸。 我是一名探鬼主播,決...
    沈念sama閱讀 38,451評論 3 401
  • 文/蒼蘭香墨 我猛地睜開眼他去,長吁一口氣:“原來是場噩夢啊……” “哼毙驯!你這毒婦竟也來了?” 一聲冷哼從身側響起灾测,我...
    開封第一講書人閱讀 37,112評論 0 261
  • 序言:老撾萬榮一對情侶失蹤爆价,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后媳搪,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體铭段,經...
    沈念sama閱讀 43,609評論 1 300
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 36,083評論 2 325
  • 正文 我和宋清朗相戀三年秦爆,在試婚紗的時候發(fā)現(xiàn)自己被綠了序愚。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,163評論 1 334
  • 序言:一個原本活蹦亂跳的男人離奇死亡等限,死狀恐怖爸吮,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情望门,我是刑警寧澤形娇,帶...
    沈念sama閱讀 33,803評論 4 323
  • 正文 年R本政府宣布,位于F島的核電站筹误,受9級特大地震影響桐早,放射性物質發(fā)生泄漏。R本人自食惡果不足惜厨剪,卻給世界環(huán)境...
    茶點故事閱讀 39,357評論 3 307
  • 文/蒙蒙 一勘畔、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧丽惶,春花似錦炫七、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,357評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至抡秆,卻和暖如春奕巍,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背儒士。 一陣腳步聲響...
    開封第一講書人閱讀 31,590評論 1 261
  • 我被黑心中介騙來泰國打工的止, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人着撩。 一個月前我還...
    沈念sama閱讀 45,636評論 2 355
  • 正文 我出身青樓诅福,卻偏偏與公主長得像匾委,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子氓润,可洞房花燭夜當晚...
    茶點故事閱讀 42,925評論 2 344

推薦閱讀更多精彩內容

  • 網絡爬蟲簡介 按照一定的規(guī)則自動抓取網上的內容咖气。 php獲取指定網頁內容 file_get_contents函數(shù) ...
    尋夢xunm閱讀 1,293評論 1 1
  • 模板引擎其實就是將一個帶有自定義標簽的字符串挨措,通過相應的規(guī)則解析,返回php可以解析的字符串崩溪,這其中正則的運用是必...
    hopevow閱讀 1,337評論 0 10
  • Spring Cloud為開發(fā)人員提供了快速構建分布式系統(tǒng)中一些常見模式的工具(例如配置管理浅役,服務發(fā)現(xiàn),斷路器伶唯,智...
    卡卡羅2017閱讀 134,601評論 18 139
  • 常用函數(shù) var_dump() 函數(shù)返回數(shù)組的數(shù)據類型和值 unset() 釋放 bool define(stri...
    Scallions_閱讀 635評論 1 2
  • 要努力成為你最喜歡的那種人担租,就算不成功,至少你會喜歡這樣努力的自己抵怎。 今天是寫作團的最后一天奋救。時間過的真快,一個月...
    云漫步閱讀 915評論 2 4