python爬蟲(chóng)小技巧

Python基本數(shù)據(jù)類型

同步滾動(dòng):關(guān)

Python補(bǔ)充02 Python小技巧

在這里列舉一些我使用Python時(shí)積累的小技巧。這些技巧是我在使用Python過(guò)程中經(jīng)常使用的先嬉。之前很零碎的記在筆記本中单旁,現(xiàn)在整理出來(lái),和大家分享塘娶,也作為Python快速教程的一個(gè)補(bǔ)充。

import模塊

在Python經(jīng)常使用import聲明,以使用其他模塊(也就是其它.py文件)中定義的對(duì)象密任。

  1. 使用name
    當(dāng)我們編寫Python庫(kù)模塊的時(shí)候,我們往往運(yùn)行一些測(cè)試語(yǔ)句偷俭。當(dāng)這個(gè)程序作為庫(kù)被import的時(shí)候浪讳,我們并不需要運(yùn)行這些測(cè)試語(yǔ)句。一種解決方法是在import之前涌萤,將模塊中的測(cè)試語(yǔ)句注釋掉淹遵。Python有一種更優(yōu)美的解決方法,就是使用name负溪。
    下面是一個(gè)簡(jiǎn)單的庫(kù)程序TestLib.py透揣。當(dāng)直接運(yùn)行TestLib.py時(shí),name為"main"川抡。如果被import的話辐真,name為"TestLib"。
def lib_func(a):
return a + 10
def lib_func_another(b):
 return b + 20
if __name__ == '__main__':
test = 101
print(lib_func(test))

我們?cè)趗ser.py中import上面的TestLib猖腕。

import TestLib
print(TestLib.lib_func(120))

你可以嘗試不在TestLib.py中使用if name=='main'拆祈, 并對(duì)比運(yùn)行結(jié)果。

  1. 更多import使用方式
    import TestLib as test # 引用TestLib模塊倘感,并將它改名為t
    比如:
import TestLib as t
print(t.lib_func(120))

from TestLib import lib_func # 只引用TestLib中的lib_func對(duì)象放坏,并跳過(guò)TestLib引用字段
這樣的好處是減小所引用模塊的內(nèi)存占用。
比如:

from TestLib import lib_func
print(lib_func(120))

from TestLib import * # 引用所有TestLib中的對(duì)象老玛,并跳過(guò)TestLib引用字段
比如:

from TestLib import *
print(lib_func(120))

查詢

  1. 查詢函數(shù)的參數(shù)
    當(dāng)我們想要知道某個(gè)函數(shù)會(huì)接收哪些參數(shù)的時(shí)候淤年,可以使用下面方法查詢。
import inspect
print(inspect.getargspec(func))
  1. 查詢對(duì)象的屬性
    除了使用dir()來(lái)查詢對(duì)象的屬性之外蜡豹,我們可以使用下面內(nèi)置(built-in)函數(shù)來(lái)確認(rèn)一個(gè)對(duì)象是否具有某個(gè)屬性:
    hasattr(obj, attr_name) # attr_name是一個(gè)字符串
    例如:
a = [1,2,3]
print(hasattr(a,'append'))
  1. 查詢對(duì)象所屬的類和類名稱
a = [1, 2, 3]
print a.__class__
print a.__class__.__name__
  1. 查詢父類
    我們可以用base屬性來(lái)查詢某個(gè)類的父類:
    cls.base
    例如:
print(list.__base__)

使用中文(以及其它非ASCII編碼)

在Python程序的第一行加入#coding=utf8麸粮,例如:

#coding=utf8
print("你好嗎?")

也能用以下方式:

#-*- coding: UTF-8 -*-
print("你好嗎镜廉?")

表示2進(jìn)制弄诲,8進(jìn)制和16進(jìn)制數(shù)字

在2.6以上版本,以如下方式表示

print(0b1110)     # 二進(jìn)制,以0b開(kāi)頭
print(0o10)       # 八進(jìn)制齐遵,以0o開(kāi)頭
print(0x2A)       # 十六進(jìn)制寂玲,以0x開(kāi)頭

如果是更早版本,可以用如下方式:

"""
778570108 群里有志同道合的小伙伴梗摇,互幫互助拓哟。群里有視頻學(xué)習(xí)教程和PDF涵紊,一起學(xué)習(xí)腾誉,共同進(jìn)步!
加群免費(fèi)獲取數(shù)十套PDF資料拆挥,助力python學(xué)習(xí)
"""
print(int("1110", 2))
print(int("10", 8))
print(int("2A", 16))

注釋

一行內(nèi)的注釋可以以#開(kāi)始

多行的注釋可以以'''開(kāi)始糜烹,以'''結(jié)束违诗,比如

'''
This is demo
'''
def func():
# print something
print("Hello world!")  # use print() function
# main
func()

注釋應(yīng)該和所在的程序塊對(duì)齊。

搜索路徑

當(dāng)我們import的時(shí)候景图,Python會(huì)在搜索路徑中查找模塊(module)较雕。比如上面import TestLib,就要求TestLib.py在搜索路徑中挚币。
我們可以通過(guò)下面方法來(lái)查看搜索路徑:

import sys
print(sys.path)

我們可以在Python運(yùn)行的時(shí)候增加或者刪除sys.path中的元素亮蒋。另一方面,我們可以通過(guò)在shell中增加PYTHONPATH環(huán)境變量妆毕,來(lái)為Python增加搜索路徑慎玖。
下面我們?cè)黾?home/vamei/mylib到搜索路徑中:
[圖片上傳失敗...(image-c22894-1560848100431)]
PYTHONPATH:/home/vamei/mylib
你可以將正面的這行命令加入到~/.bashrc中。這樣笛粘,我們就長(zhǎng)期的改變了搜索路徑趁怔。

腳本與命令行結(jié)合

可以使用下面方法運(yùn)行一個(gè)Python腳本,在腳本運(yùn)行結(jié)束后薪前,直接進(jìn)入Python命令行润努。這樣做的好處是腳本的對(duì)象不會(huì)被清空,可以通過(guò)命令行直接調(diào)用示括。
$python -i script.py
安裝非標(biāo)準(zhǔn)包
Python的標(biāo)準(zhǔn)庫(kù)隨著Python一起安裝铺浇。當(dāng)我們需要非標(biāo)準(zhǔn)包時(shí),就要先安裝垛膝。

  1. 使用Linux repository (Linux環(huán)境)
    是安裝Python附加包的一個(gè)好的起點(diǎn)鳍侣。你可以在Linux repository中查找可能存在的Python包 (比如在Ubuntu Software Center中搜索matplot)。
  2. 使用pip吼拥。pip是Python自帶的包管理程序倚聚,它連接Python repository,并查找其中可能存在的包凿可。
    比如使用如下方法來(lái)安裝惑折、卸載或者升級(jí)web.py:
    pip install web.pypip uninstall web.py
    pip install --upgrade web.py 果你的Python安裝在一個(gè)非標(biāo)準(zhǔn)的路徑(使用which python來(lái)確認(rèn)python可執(zhí)行文件的路徑)中,比如/home/vamei/util/python/bin中,你可以使用下面方法設(shè)置pip的安裝包的路徑:
    pip install --install-option="--prefix=/home/vamei/util/" web.py
  3. 從源碼編譯
    如果上面方法都沒(méi)法找到你想要的庫(kù)唬复,你可能需要從源碼開(kāi)始編譯矗积。Google往往是最好的起點(diǎn)全肮。
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末敞咧,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子辜腺,更是在濱河造成了極大的恐慌休建,老刑警劉巖,帶你破解...
    沈念sama閱讀 219,589評(píng)論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件评疗,死亡現(xiàn)場(chǎng)離奇詭異测砂,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)百匆,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,615評(píng)論 3 396
  • 文/潘曉璐 我一進(jìn)店門砌些,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人加匈,你說(shuō)我怎么就攤上這事存璃。” “怎么了雕拼?”我有些...
    開(kāi)封第一講書(shū)人閱讀 165,933評(píng)論 0 356
  • 文/不壞的土叔 我叫張陵纵东,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我啥寇,道長(zhǎng)偎球,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,976評(píng)論 1 295
  • 正文 為了忘掉前任辑甜,我火速辦了婚禮衰絮,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘磷醋。我一直安慰自己猫牡,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,999評(píng)論 6 393
  • 文/花漫 我一把揭開(kāi)白布子檀。 她就那樣靜靜地躺著镊掖,像睡著了一般。 火紅的嫁衣襯著肌膚如雪褂痰。 梳的紋絲不亂的頭發(fā)上亩进,一...
    開(kāi)封第一講書(shū)人閱讀 51,775評(píng)論 1 307
  • 那天,我揣著相機(jī)與錄音缩歪,去河邊找鬼归薛。 笑死,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的主籍。 我是一名探鬼主播习贫,決...
    沈念sama閱讀 40,474評(píng)論 3 420
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼千元!你這毒婦竟也來(lái)了苫昌?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 39,359評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤幸海,失蹤者是張志新(化名)和其女友劉穎祟身,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體物独,經(jīng)...
    沈念sama閱讀 45,854評(píng)論 1 317
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡袜硫,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,007評(píng)論 3 338
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了挡篓。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片婉陷。...
    茶點(diǎn)故事閱讀 40,146評(píng)論 1 351
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖官研,靈堂內(nèi)的尸體忽然破棺而出秽澳,到底是詐尸還是另有隱情,我是刑警寧澤阀参,帶...
    沈念sama閱讀 35,826評(píng)論 5 346
  • 正文 年R本政府宣布肝集,位于F島的核電站,受9級(jí)特大地震影響蛛壳,放射性物質(zhì)發(fā)生泄漏杏瞻。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,484評(píng)論 3 331
  • 文/蒙蒙 一衙荐、第九天 我趴在偏房一處隱蔽的房頂上張望捞挥。 院中可真熱鬧,春花似錦忧吟、人聲如沸砌函。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 32,029評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)讹俊。三九已至,卻和暖如春煌抒,著一層夾襖步出監(jiān)牢的瞬間仍劈,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,153評(píng)論 1 272
  • 我被黑心中介騙來(lái)泰國(guó)打工寡壮, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留贩疙,地道東北人讹弯。 一個(gè)月前我還...
    沈念sama閱讀 48,420評(píng)論 3 373
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像这溅,于是被迫代替她去往敵國(guó)和親组民。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,107評(píng)論 2 356

推薦閱讀更多精彩內(nèi)容

  • 一悲靴、Python簡(jiǎn)介和環(huán)境搭建以及pip的安裝 4課時(shí)實(shí)驗(yàn)課主要內(nèi)容 【Python簡(jiǎn)介】: Python 是一個(gè)...
    _小老虎_閱讀 5,746評(píng)論 0 10
  • 作者:Vamei 出處:http://www.cnblogs.com/vamei 歡迎轉(zhuǎn)載臭胜,也請(qǐng)保留這段聲明。謝謝...
    龍皓晨閱讀 226評(píng)論 0 0
  • 有一些網(wǎng)站會(huì)設(shè)置訪問(wèn)閾值对竣,也就是說(shuō)庇楞,如果一個(gè)IP訪問(wèn)速度超過(guò)這個(gè)閾值,那么網(wǎng)站就會(huì)認(rèn)為否纬,這是一個(gè)爬蟲(chóng)程序,而不是用...
    NewForMe閱讀 4,018評(píng)論 0 3
  • [TOC] 最開(kāi)始寫程序的時(shí)候蛋褥,都是一個(gè)文件里輸入幾行源碼(python 的一個(gè) web 框架bottle就特別強(qiáng)...
    人世間閱讀 5,499評(píng)論 1 10
  • 模塊和包 一 模塊 1 什么是模塊烙心? 常見(jiàn)的場(chǎng)景:一個(gè)模塊就是一個(gè)包含了python定義和聲明的文件膜廊,文件名就是...
    go以恒閱讀 2,278評(píng)論 0 4