Python 爬蟲零基礎(chǔ)教程(4):獲取電影天堂最新電影名稱


效果圖



電影天堂


代碼:

#coding:utf-8
# Filename: print_movies_name.py
# 獲取電影天堂最新電影資源名稱

import re
import requests


user_agent='Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_1)'
headers={"User-Agent": user_agent}

# 定義函數(shù)
def get_name():
    url = 'https://www.dytt8.net/'
    data = requests.get(url, headers = headers).content
    # 把 data 轉(zhuǎn)碼
    data1 = data.decode('gbk','ignore').encode('utf-8')
    names = re.findall("最新電影下載</a>]<a href=.+?《(.+?)》", data1, re.S)
    return names  # 返回電影名列表 names

# 把函數(shù)的返回值賦值給變量 names
names = get_name()
for name in names:
    print('《' + name + '》')




知識點


函數(shù)

函數(shù)就是把一段代碼寫在一起,完成某項特定任務。給這段代碼起個名明未,之后調(diào)用這個函數(shù)名瞳别,就可以運行這段代碼征候。

函數(shù)的好處是一次編寫可反復使用。

函數(shù)的基本形式如下:

def 函數(shù)名(參數(shù)):
    函數(shù)體

Python 定義函數(shù)用 def 語句祟敛,依次寫出函數(shù)名疤坝、括號、括號中的參數(shù)和冒號 :馆铁,然后跑揉,在縮進塊中編寫函數(shù)體。函數(shù)可以沒有參數(shù)埠巨。示例:

# 沒參數(shù)的函數(shù)
def say_hello():
    print 'Hello World!'
    
# 有參數(shù)的函數(shù)
def say_hello2(name):
    print('hello ' + name)


函數(shù)的返回值

多數(shù)函數(shù)運行之后會返回一個結(jié)果历谍,這個結(jié)果就是返回值。函數(shù)的返回值用 return 語句返回乖订。

# 定義函數(shù)扮饶,函數(shù)名為 get_data
def get_data():
    url = 'https://www.dytt8.net/'
    data = requests.get(url, headers = headers).content
    # 返回網(wǎng)頁數(shù)據(jù) data
    return data


函數(shù)的調(diào)用

函數(shù)調(diào)用遵循先定義后調(diào)用的原則。

調(diào)用方法是在代碼中寫出 函數(shù)名+括號+參數(shù)乍构。示例:

# 運行函數(shù)get_name()
get_name()

# 運行函數(shù)get_name()甜无,把運行結(jié)果賦值給 names
names = get_name()


字符串的編碼

如果在 Python2 中使用中文,就需要在代碼首行或第2行寫上

#coding:utf-8

這行注釋是為了告訴Python解釋器哥遮,按照UTF-8編碼格式讀取源代碼岂丘。


我們還需要將 requests.get 得到的數(shù)據(jù)轉(zhuǎn)換為 utf-8 編碼格式

Python2 使用unicode類型作為編碼的基礎(chǔ)類型。因此在做編碼轉(zhuǎn)換時眠饮,通常需要以unicode作為中間編碼奥帘,即先將其他編碼格式的字符串解碼(decode)成unicode,再從unicode編碼(encode)成另一種編碼格式仪召。

     decode              encode
str ---------> unicode --------->str
data1 = data.decode('gbk','ignore').encode('utf-8')
# 字符集 GBK 兼容 GB2312
# 先將gbk型轉(zhuǎn)換為 unicode寨蹋,再將 nnicode 轉(zhuǎn)換為 utf-8
# 'ignore' 表示忽略有異常的編碼,僅顯示有效的編碼

轉(zhuǎn)碼的時候一定要先搞明白扔茅,字符串是什么編碼格式已旧。查看網(wǎng)頁編碼方式:

查看網(wǎng)頁源代碼,charset= 后面的就是召娜。




這是教程的第五篇了运褪,是不是感覺啰嗦且無趣。

剛開始我們以詳細為主,后面會加快速度秸讹,并增加有趣的東西檀咙。



教程目錄:
0.《簡介及準備》
1.《爬單個圖片》
2.《下載一組網(wǎng)頁上的圖片》
3.《輸出一個網(wǎng)頁上的文字》
4.《獲取電影天堂最新電影名稱》
5.《糗事百科爬蟲》

20181130

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市璃诀,隨后出現(xiàn)的幾起案子弧可,更是在濱河造成了極大的恐慌,老刑警劉巖文虏,帶你破解...
    沈念sama閱讀 222,729評論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件侣诺,死亡現(xiàn)場離奇詭異,居然都是意外死亡氧秘,警方通過查閱死者的電腦和手機年鸳,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,226評論 3 399
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來丸相,“玉大人搔确,你說我怎么就攤上這事∶鹬遥” “怎么了膳算?”我有些...
    開封第一講書人閱讀 169,461評論 0 362
  • 文/不壞的土叔 我叫張陵,是天一觀的道長弛作。 經(jīng)常有香客問我涕蜂,道長,這世上最難降的妖魔是什么映琳? 我笑而不...
    開封第一講書人閱讀 60,135評論 1 300
  • 正文 為了忘掉前任机隙,我火速辦了婚禮,結(jié)果婚禮上萨西,老公的妹妹穿的比我還像新娘有鹿。我一直安慰自己,他們只是感情好谎脯,可當我...
    茶點故事閱讀 69,130評論 6 398
  • 文/花漫 我一把揭開白布葱跋。 她就那樣靜靜地躺著,像睡著了一般源梭。 火紅的嫁衣襯著肌膚如雪娱俺。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,736評論 1 312
  • 那天废麻,我揣著相機與錄音矢否,去河邊找鬼。 笑死脑溢,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的低千。 我是一名探鬼主播红选,決...
    沈念sama閱讀 41,179評論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼囚聚,長吁一口氣:“原來是場噩夢啊……” “哼赠橙!你這毒婦竟也來了悲伶?” 一聲冷哼從身側(cè)響起莺丑,我...
    開封第一講書人閱讀 40,124評論 0 277
  • 序言:老撾萬榮一對情侶失蹤掘宪,失蹤者是張志新(化名)和其女友劉穎寇钉,沒想到半個月后搏恤,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體违寿,經(jīng)...
    沈念sama閱讀 46,657評論 1 320
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,723評論 3 342
  • 正文 我和宋清朗相戀三年熟空,在試婚紗的時候發(fā)現(xiàn)自己被綠了藤巢。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,872評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡息罗,死狀恐怖掂咒,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情迈喉,我是刑警寧澤绍刮,帶...
    沈念sama閱讀 36,533評論 5 351
  • 正文 年R本政府宣布,位于F島的核電站挨摸,受9級特大地震影響孩革,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜得运,卻給世界環(huán)境...
    茶點故事閱讀 42,213評論 3 336
  • 文/蒙蒙 一膝蜈、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧澈圈,春花似錦彬檀、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,700評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至诽偷,卻和暖如春坤学,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背报慕。 一陣腳步聲響...
    開封第一講書人閱讀 33,819評論 1 274
  • 我被黑心中介騙來泰國打工深浮, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人眠冈。 一個月前我還...
    沈念sama閱讀 49,304評論 3 379
  • 正文 我出身青樓飞苇,卻偏偏與公主長得像菌瘫,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子布卡,可洞房花燭夜當晚...
    茶點故事閱讀 45,876評論 2 361

推薦閱讀更多精彩內(nèi)容