學(xué)習(xí)Python爬蟲(chóng)

# -*- coding: utf-8 -*-

www.icourse163.org/learn/BIT-1001870001

"""

Created on Thu Dec 21 19:38:18 2017

@author: ququxi

"""

本文是我看MOOC公開(kāi)課上課丹诀,跟隨老師記下的CODE代碼砌溺!我希望我學(xué)習(xí)Python?這件事情能夠堅(jiān)持下來(lái),不要去做一些沒(méi)有意義的事情!總是在學(xué)習(xí)是好事提佣,雖然我快要畢業(yè)了……我希望我自己今后的人生,一直都在學(xué)校里……并不是說(shuō)我把自己裝在學(xué)校里荤崇,我希望我自己一直在學(xué)習(xí)拌屏!這只是一片前言。


import requests

import bs4

from bs4 import BeautifulSoup

def getHTMLText(url):

try:

r = requests.get(url,timeout = 30)

r.raise_for_status()

r.encode? = r.apparent_encoding

return r.text

except:

return ""

def fillUnivList(ulist,html):

soup = BeautifulSoup(html,'html.parser')

for tr in soup.find('tbody').children:

if isinstance(tr,bs4.element.Tag):

tds = tr('td')

ulist.append([tds[0].string,tds[1].string,tds[3].string])

def printUnivList(ulist,num):

tplt = "{0:^10}\t{1:{3}^10}\t{2:^10}"

print(tplt.format("排名","學(xué)校名稱(chēng)","總分",chr(12288)))

for i in range(num):

u = ulist[i]

print(tplt.format(u[0],u[1],u[2],chr(12288)))

print('Suc' + str(num))

def main():

uinfo = []

url = 'http://www.zuihaodaxue.com/zuihaodaxuepaiming2016.html'

html = getHTMLText(url)

fillUnivList(uinfo,html)

printUnivList(uinfo, 20) # 20 univs

main()

'''

Re庫(kù)主要功能函數(shù)


**re.search(pattern,string,flags = 0)

在一個(gè)字符串中搜索匹配正則表達(dá)式的第一個(gè)位置术荤,返回match對(duì)象

pattern:正則表達(dá)式的字符串或原生字符串表示

string:帶匹配的字符串

flags:正則表達(dá)式的控制標(biāo)記

re.I(re.IGNORECASE) 表示忽略正則表達(dá)式的大小寫(xiě)

re.M(re.MULTILINE)表示正則表達(dá)式中的^操作符能夠?qū)⒔o定的字符串的每行當(dāng)做匹配開(kāi)始

re.S(re.DOTALL) 表示正則表達(dá)式中的.操作符能夠匹配所有字符倚喂,默認(rèn)匹配除換行外的所有字符

**re.match(pattern,string,flags = 0)

**re.findall(pattern,string,flags = 0)

搜索字符串,以列表類(lèi)型返回全部能匹配的子串

** re.split(pattern,string,maxsplit = 0,flags = 0)

maxsplit 最大分割數(shù)瓣戚,剩余部分作為最后一個(gè)元素輸出

** re.finditer(pattern,string,flags = 0)

搜索字符串端圈,返回一個(gè)匹配結(jié)果的迭代類(lèi)型,每個(gè)迭代元素是match對(duì)象

** re.sub(pattern,repl,string,count = 0,flags = 0)

在一個(gè)字符串中替換所有匹配正則表達(dá)式的子串子库,返回替換后的字符串

repl 替換 匹配字符串的字符串

count 匹配的最大替換次數(shù)

'''

import re

match = re.search(r'[1-9]\d{5}','BIT 100081')

if match:

print(match.group(0))

match = re.match(r'[1-9]\d{5}','100081 BIT')

if match:

match.group(0)

ls = re.findall(r'[1-9]\d{5}','BIT100081 BIT100082')

print(ls)

re.split(r'[1-9]\d{5}','BIT100081 BIT100082')

re.split(r'[1-9]\d{5}','BIT100081 BIT100082',maxsplit = 1)

for m in re.finditer(r'[1-9]\d{5}','BIT100081 BIT100082'):

if m:

print(m.group(0))

re.sub(r'[1-9]\d{5}',':zipcode','BIT100081 BIT100082')

'''上述是函數(shù)式用法:一次性操作

Re庫(kù)的另一種等價(jià)用法舱权,是面向?qū)ο笥梅ǎ壕幾g后的多次操作

'''

pat = re.compile(r'[1-9]\d{5}')

rst = pat.search('BIT 100081')

'''

regx = re.compile(pattern,flags = 0)

將正則表達(dá)式的字符串形式編譯為正則表達(dá)式對(duì)象

pattern 正則表達(dá)式的字符串或原生字符串表示

flags:正則表達(dá)式的控制標(biāo)記

regx.search()

regx.match()

regx.findall()

regx.split()

regx.finditer()

regx.sub()



'''

rst.string? #待匹配的文本

rst.re? ? ? #匹配時(shí)使用的pattern對(duì)象(正則表達(dá)式)

rst.pos? ? ? #正則表達(dá)式搜索文本的開(kāi)始位置

rst.endpos? #正則表達(dá)式搜索文本的結(jié)束位置

rst.group(0)? #獲得匹配后的字符串

rst.start()? #匹配字符串在原始字符串的開(kāi)始位置

rst.end()? ? #匹配字符串在原始字符串的結(jié)束位置

rst.span()? #返回(.start(),.end())

import re

regex = re.compile(r'[1-9]\d{5}')

m = regex.search('BIT100081 TSU100084')

m.string

m.re

m.pos

m.endpos

m.group(0)

m.group(1) #?

m.start()

m.span()

match = re.search(r'PY.*N','PYANBNCNDN')

match.group(0)

match = re.search(r'PY.*?N','PYANBNCNDN')

match.group(0)



# 最小匹配操作符

'''

*? 前一個(gè)字符0次或無(wú)限次擴(kuò)展刚照,最小匹配

+? 前一個(gè)字符1次或無(wú)限次擴(kuò)展刑巧,最小匹配

?? 前一個(gè)字符0次或1次擴(kuò)展,最小匹配

{m,n}? 擴(kuò)展前一個(gè)字符m至n次无畔,最小匹配

'''

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市吠冤,隨后出現(xiàn)的幾起案子浑彰,更是在濱河造成了極大的恐慌,老刑警劉巖拯辙,帶你破解...
    沈念sama閱讀 222,252評(píng)論 6 516
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件郭变,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡涯保,警方通過(guò)查閱死者的電腦和手機(jī)诉濒,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,886評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門(mén),熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)夕春,“玉大人未荒,你說(shuō)我怎么就攤上這事〖爸荆” “怎么了片排?”我有些...
    開(kāi)封第一講書(shū)人閱讀 168,814評(píng)論 0 361
  • 文/不壞的土叔 我叫張陵寨腔,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我率寡,道長(zhǎng)迫卢,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 59,869評(píng)論 1 299
  • 正文 為了忘掉前任冶共,我火速辦了婚禮乾蛤,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘捅僵。我一直安慰自己幻捏,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 68,888評(píng)論 6 398
  • 文/花漫 我一把揭開(kāi)白布命咐。 她就那樣靜靜地躺著篡九,像睡著了一般。 火紅的嫁衣襯著肌膚如雪醋奠。 梳的紋絲不亂的頭發(fā)上榛臼,一...
    開(kāi)封第一講書(shū)人閱讀 52,475評(píng)論 1 312
  • 那天,我揣著相機(jī)與錄音窜司,去河邊找鬼沛善。 笑死,一個(gè)胖子當(dāng)著我的面吹牛塞祈,可吹牛的內(nèi)容都是我干的金刁。 我是一名探鬼主播,決...
    沈念sama閱讀 41,010評(píng)論 3 422
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼议薪,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼尤蛮!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起斯议,我...
    開(kāi)封第一講書(shū)人閱讀 39,924評(píng)論 0 277
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤产捞,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后哼御,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體坯临,經(jīng)...
    沈念sama閱讀 46,469評(píng)論 1 319
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,552評(píng)論 3 342
  • 正文 我和宋清朗相戀三年恋昼,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了看靠。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,680評(píng)論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡液肌,死狀恐怖挟炬,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤辟宗,帶...
    沈念sama閱讀 36,362評(píng)論 5 351
  • 正文 年R本政府宣布爵赵,位于F島的核電站,受9級(jí)特大地震影響泊脐,放射性物質(zhì)發(fā)生泄漏空幻。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,037評(píng)論 3 335
  • 文/蒙蒙 一容客、第九天 我趴在偏房一處隱蔽的房頂上張望秕铛。 院中可真熱鬧,春花似錦缩挑、人聲如沸但两。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 32,519評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)谨湘。三九已至,卻和暖如春芥丧,著一層夾襖步出監(jiān)牢的瞬間紧阔,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,621評(píng)論 1 274
  • 我被黑心中介騙來(lái)泰國(guó)打工续担, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留擅耽,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 49,099評(píng)論 3 378
  • 正文 我出身青樓物遇,卻偏偏與公主長(zhǎng)得像乖仇,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子询兴,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,691評(píng)論 2 361

推薦閱讀更多精彩內(nèi)容

  • re模塊手冊(cè) 本模塊提供了和Perl里的正則表達(dá)式類(lèi)似的功能乃沙,不關(guān)是正則表達(dá)式本身還是被搜索的字符串,都可以...
    喜歡吃栗子閱讀 4,012評(píng)論 0 13
  • Spring Cloud為開(kāi)發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見(jiàn)模式的工具(例如配置管理蕉朵,服務(wù)發(fā)現(xiàn)崔涂,斷路器,智...
    卡卡羅2017閱讀 134,711評(píng)論 18 139
  • 本文介紹了Python對(duì)于正則表達(dá)式的支持始衅,包括正則表達(dá)式基礎(chǔ)以及Python正則表達(dá)式標(biāo)準(zhǔn)庫(kù)的完整介紹及使用示例...
    Python程序媛閱讀 1,353評(píng)論 0 22
  • re模塊 開(kāi)始使用re Python通過(guò)re模塊提供對(duì)正則表達(dá)式的支持。使用re的一般步驟是先將正則表達(dá)式的字符串...
    Alex陌閱讀 1,296評(píng)論 0 0
  • “我去炸學(xué)校缭保,老師不知道汛闸,一拉線(xiàn)我就跑,轟的一聲學(xué)校不見(jiàn)鳥(niǎo)艺骂≈罾希”咱們可耐的蘇云染同鞋,哼著改編的小曲钳恕,開(kāi)心的上學(xué)去了...
    上官云曦閱讀 238評(píng)論 0 0