__author__ = 'Lee'
from bs4 import BeautifulSoup
import requests
'''
用這個(gè)爬取58中二手的分欄
'''
start_url = 'http://bj.58.com/sale.shtml' #開(kāi)始的頁(yè)面
url_host = 'http://bj.58.com'
def get_channel_urls(url):
wb_data = requests.get(url)
soup = BeautifulSoup(wb_data.text,'lxml')
links = soup.select('ul.ym-submnu > li > b > a')
for link in links:
page_url = url_host + link.get('href')
print(page_url)
python mongodb爬取58網(wǎng)站
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
- 文/潘曉璐 我一進(jìn)店門另凌，熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)谱轨，“玉大人，你說(shuō)我怎么就攤上這事途茫〉欤” “怎么了？”我有些...
- 文/不壞的土叔 我叫張陵囊卜，是天一觀的道長(zhǎng)娜扇。 經(jīng)常有香客問(wèn)我，道長(zhǎng)栅组，這世上最難降的妖魔是什么雀瓢？ 我笑而不...
- 正文 為了忘掉前任，我火速辦了婚禮玉掸，結(jié)果婚禮上刃麸，老公的妹妹穿的比我還像新娘。我一直安慰自己司浪，他們只是感情好泊业，可當(dāng)我...
- 文/花漫 我一把揭開(kāi)白布把沼。 她就那樣靜靜地躺著，像睡著了一般吁伺。 火紅的嫁衣襯著肌膚如雪饮睬。 梳的紋絲不亂的頭發(fā)上，一...
- 那天篮奄，我揣著相機(jī)與錄音捆愁，去河邊找鬼。 笑死窟却，一個(gè)胖子當(dāng)著我的面吹牛昼丑，可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播夸赫，決...
- 文/蒼蘭香墨 我猛地睜開(kāi)眼菩帝，長(zhǎng)吁一口氣：“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼！你這毒婦竟也來(lái)了憔足？” 一聲冷哼從身側(cè)響起胁附，我...
- 序言：老撾萬(wàn)榮一對(duì)情侶失蹤，失蹤者是張志新（化名）和其女友劉穎滓彰，沒(méi)想到半個(gè)月后控妻，有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體，經(jīng)...
- 正文 獨(dú)居荒郊野嶺守林人離奇死亡揭绑，尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
- 正文 我和宋清朗相戀三年弓候，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片他匪。...
- 正文 年R本政府宣布悼沈，位于F島的核電站贱迟，受9級(jí)特大地震影響，放射性物質(zhì)發(fā)生泄漏絮供。R本人自食惡果不足惜衣吠，卻給世界環(huán)境...
- 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望壤靶。 院中可真熱鬧缚俏，春花似錦、人聲如沸。這莊子的主人今日做“春日...
- 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至包雀，卻和暖如春宿崭，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背才写。 一陣腳步聲響...
- 正文 我出身青樓吆鹤，卻偏偏與公主長(zhǎng)得像，于是被迫代替她去往敵國(guó)和親疑务。 傳聞我的和親對(duì)象是個(gè)殘疾皇子沾凄，可洞房花燭夜當(dāng)晚...
推薦閱讀更多精彩內(nèi)容
- 序 出于了解HTTP和爬蟲的目的知允，于是就有了一個(gè)自己動(dòng)手實(shí)現(xiàn)一個(gè)爬蟲，并在此之上做一些簡(jiǎn)單的數(shù)據(jù)分析的想法温鸽。有兩種...
- 今天是4.13號(hào)保屯。 昨天把會(huì)議論文算是完成任務(wù)的寫完然后提交了涤垫，而實(shí)習(xí)還沒(méi)有找上，所以最近一段時(shí)間應(yīng)該都會(huì)整天在實(shí)...
- 起因：學(xué)校項(xiàng)目實(shí)訓(xùn)蝠猬，要求我們爬取招聘網(wǎng)站信息并對(duì)其進(jìn)行分析切蟋，在此我和大家分享一下關(guān)于我爬取58同城招聘網(wǎng)站信息的過(guò)...
- 爬蟲學(xué)習(xí)記錄 獲取58同城上的招聘信息 爬蟲的意義 我們編寫爬蟲就是把網(wǎng)頁(yè)中的關(guān)鍵信息爬取下來(lái)榆芦，然后做分析柄粹，現(xiàn)在是...
- 如果快樂(lè)突然來(lái)臨，最好將快樂(lè)壓制在心里歧杏，再慢慢地釋放镰惦，只有這樣，快樂(lè)才會(huì)長(zhǎng)久犬绒，才會(huì)漸漸品味出滋味旺入。 一...
