Python 3 網(wǎng)絡(luò)爬蟲學(xué)習(xí)建議泄伪?

我還是傾向于使用”在趨勢中將會越來越火”的版本, 而非”目前已經(jīng)很穩(wěn)定而且很成熟”的版本. 這是個人喜好, 而且預(yù)測不一定準(zhǔn)確. 但是如果Python3無法像Python2那么火, 那么整個Python語言就不可避免的隨著時間的推移越來越落后, 因此我想其實選哪個的最壞風(fēng)險都一樣, 但是最好回報卻是Python3的大. 其實兩者區(qū)別也可以說大也可以說不大, 最終都不是什么大問題. 我選擇的是Python 3.

在 Windows 下如果安裝了 Python3, 那么在 cmd 下直接可以通過 pip 來安裝這兩個模塊, 命令如下:

pip install requests

pip install beautifulsoup4

在 Ubuntu 下安裝方法如下:

sudo apt-get install python3-pip

sudo pip3 install requests

sudo pip3 install beautifulsoup4

然后我們運行 Python3, 試一下是否能把這兩個模塊 import 進來, 就知道是否安裝成功了:

C:\Users\Liu>python

Python 3.4.2 (v3.4.2:ab2c023a9432, Oc

Type "help", "copyright", "credits" o

>>> import requests

>>> from bs4 import BeautifulSoup

>>>

Requests Module

Requests 是 Python 界大名鼎鼎的一個網(wǎng)絡(luò)庫, 其設(shè)計哲學(xué)是為人類而設(shè)計, 所以他提供的功能都非常的人性化. 他的方便對我而言主要有兩大點:

對 GET 和 POST 方法的封裝做的很好, 自動處理了編碼等問題;

默認(rèn)開啟了 Cookies 處理, 在處理需要登錄的問題上面非常方便.

Requests 的方便之處不止這兩點, 還提供了諸如標(biāo)準(zhǔn)登錄接口之類的功能, 我們暫時用不上.

總而言之, 對于使用過 urllib 的我們來說, 用 requests 會感覺我們之前生活在石器時代. 第三方庫的強大就在于這里, 這也是 Python 這么火的重要原因.

BeautifulSoup Module

BeautifulSoup 大大方便了我們對抓取的 HTML 數(shù)據(jù)的解析, 可以用tag, class, id來定位我們想要的東西, 可以直接提取出正文信息, 可以全文搜索, 同樣也支持正則表達(dá)式, 相當(dāng)給力.

小試牛刀

我們隨便抓取一個頁面, 然后用 soup 來解析一下試試他的威力:

>>> import requests

>>> from bs4 import BeautifulSoup

>>> response = requests.get("http://jecvay.com")

>>> soup = BeautifulSoup(response.text)

>>> print(soup.title.text)

Jecvay Notes - Good luck & Have fun

>>> print(soup.body.text)

改版策略: 技術(shù)博客的真正索引

上周, 我換掉了我博客的主題, 使用 BootStrap 框架自己寫了一個. 在自己動手寫博客主題之前,

我時常時不時到后臺主題商店去翻一翻, 想要發(fā)現(xiàn)更好看的主題. 挑選有兩種:

在一大堆展示面前, 快速瀏覽, 看到亮眼的就仔細(xì)看一看是否滿意;

自己想好一個目標(biāo), 然后用篩選器(或者人肉)篩選出來.

閱讀全文 >> (...省略若干)

>>> for x in soup.findAll("a"):

...? print(x['href'])

...

http://jecvay.com/2015/02/the-real-index-of-tech-blog.html

http://jecvay.com/2015/02/the-real-index-of-tech-blog.html

http://jecvay.com/2015/01/wordpress-super-cache.html

http://jecvay.com/2015/01/learning-vps-3.html

http://jecvay.com/2015/01/nobot-anti-webspider.html

http://jecvay.com/2015/01/learning-vps-2.html

http://jecvay.com/2014/12/learning-vps-1.html

http://jecvay.com/2014/11/what-is-min-cut.html

http://jecvay.com/2014/11/compiler-makes-fast-build.html

/about-me

/archive


還有:What's IDE?

IDE 是什么鬼拯刁?這是很多人決定入門編程時候的一個問題,好不容易在電腦上安裝了語言,結(jié)果發(fā)現(xiàn)好需要配置一個 IDE蓝谨,往往為了搞個 IDE 太麻煩而直接放棄了編程的入門。今天我給大家介紹一種對于寫爬蟲程序最為簡單有效的 IDE 搭建方式青团。

IDE(集成開發(fā)環(huán)境)

一般 IDE 就是指一個開發(fā)環(huán)境譬巫,C++有 C++的特定開發(fā)環(huán)境,或者說特定的開發(fā)軟件督笆,python 也有 python 對應(yīng)的python IDE芦昔,不過目前網(wǎng)絡(luò)上的 IDE 非常多,有的又非常復(fù)雜娃肿。

一般來講一個 IDE 需要具備的幾項功能:

1. 編輯器 - 一個能讓你寫代碼咕缎、保存代碼的地方

2. 編譯 - 就是將編程語言轉(zhuǎn)化為計算機可以理解的匯編語言(把 python 轉(zhuǎn)化成二進制)

3. 調(diào)試 - 可以理解為在語法上將程序跑通珠十,并且能夠在出錯時,告訴你是哪里出錯凭豪,原因是什么

4. 運行 - 讓你的程序直接在 IDE 環(huán)境中運行

如何配置

廢話不多說了焙蹭,直接重磅推薦一個編輯器:sublime Text ,點擊直接下載嫂伞。

sublime特點

支持各種語言孔厉。sublime 其實就是一個編輯器,類似于電腦的上的記事本(txt 格式的)帖努,sublime 支持編輯各種類型的語言烟馅,php、python然磷、html等語言都可以在 sublime 上編輯郑趁。

輕。sublime 極為輕巧姿搜,幾乎不占多少內(nèi)存(最為難得)

易上手寡润。 沒有極為復(fù)雜的設(shè)置選項,界面親民

玩法強大舅柜。sublime 對于愛折騰的開發(fā)者來說梭纹,可謂擴展性極強。sublime 官方提供非常豐富的插件致份,可以讓你在編輯代碼時的效率大為提高(當(dāng)然對于初學(xué)者來說簡單了解下就好)变抽。

最后:


自己多問下為什么學(xué)python

如果一門語言沒有改變你的編程思維,那么它不值得你去學(xué)習(xí)”氮块。如果這么說绍载,我們大學(xué)的時候,學(xué)習(xí)了c滔蝉,c++击儡,java,C#蝠引,算是值得學(xué)習(xí)么阳谍?很多時候是不值得,我覺得我們大學(xué)的課程就是用java螃概,c#矫夯,c++把"C程序設(shè)計"又上了一遍.

這是因為,學(xué)校的老師會C和java之類的吊洼,所以要跟著規(guī)矩開這門課训貌,(這也就是為什么,許多學(xué)校還在教vb融蹂,),這也就是為什么旺订,你所以為的一樣就是大家都有For都有while弄企,都有switch..都有Class...都有int 都有float,所謂的不一樣就是用C有指針,java沒有区拳,這就是為什么教育是失敗的拘领,這也就是為什么,我目前認(rèn)識的幾個編程大牛

python的優(yōu)點:簡單 我所說的簡單樱调,是相比于象C和C++這樣的語言,你為了編程约素,要學(xué)習(xí)許多偏底層的東西.在比如,你在學(xué)習(xí)一個新的編程范式笆凌,或者想要馬上做個例子看看圣猎,試驗?zāi)硞€API,如果你是寫java的,你不得不去寫一個main乞而,寫一些構(gòu)造送悔,即使有IDE這樣的東西,能夠為你帶來代碼生成器爪模,而我做得就是寫一段“腳本”欠啤,或者打開python交互式解釋器就行了。

自己認(rèn)識的python朋友出去工作屋灌,工資比較高洁段,然后自己又剛剛好是會python所以選擇學(xué)習(xí)python,這樣的人比較危險但是也比較有激勵共郭,還有就是覺得python比其他開發(fā)語言好用祠丝。

學(xué)完python前景會咋樣

其實我個人是很看好python未來的就業(yè)前景的,因為我認(rèn)識太多的工程師都已經(jīng)在學(xué)python除嘹,很多都是月收入大幾萬的

我個人也并非一直用python写半。前些年主要用c/c++以及java開發(fā)一些通信,移動系統(tǒng)憾赁,互聯(lián)網(wǎng)通信污朽。近3年開始才轉(zhuǎn)向python。坦白的說龙考,這可能與你相處的公司以及環(huán)境不大一樣。隨便舉個例子矾睦,google的protocol buffer協(xié)議一出來就具有c++/python/java三種語言支持晦款。google的廣告系統(tǒng)早在03,04年左右就一并對python進行了webservice支持,大部分涉及基礎(chǔ)核心系統(tǒng)的公司枚冗,都開始對python進行了擴展支持缓溅。甚至開源社區(qū)的postgresql數(shù)據(jù)庫,除了自身的ansi SQL,pgsql,pg/TCL,PG/PERL之外對python進行了內(nèi)嵌支持赁温,唯獨卻沒有呼聲很高的java坛怪。在FREEBSD(MIT)/LINUX(GPL)平臺上淤齐,對java可能排斥性比較大,但綜合而言袜匿,目前python發(fā)展還沒有java那種普及更啄,主要是python大部分工作仍然是在較為深入地系統(tǒng)層和框架層做設(shè)計開發(fā),例如django,SQLAlchemy,fail2ban,mail郵件系統(tǒng),twisted等等居灯。這部分對于那種習(xí)慣應(yīng)用前輩們框架的編碼人員而言祭务,缺乏創(chuàng)造力的他們根本無法適用這種開發(fā)。尤其在python涉及一些系統(tǒng)層面需要有較強的c/c++能力怪嫌,這部分人在國內(nèi)要么就累得要死沒時間义锥,要么就啥都不會就會拷貝代碼,而國內(nèi)公司也鮮有主動去做這部分基礎(chǔ)勞動的岩灭,大多都是等別人做好了在直接拿來用拌倍,所以造就了任何技術(shù)性的東西出來,國內(nèi)都是先等等看噪径,然后抄襲應(yīng)用贰拿。

大環(huán)境如此,但千萬誤認(rèn)為先等等看吧熄云。對于一個技術(shù)人員而言膨更,缺乏對新技術(shù)的渴望與熱情,這是一種非常危險的事情缴允。我工作8年了荚守,按照國內(nèi)很多的人的說法早已不做代碼了,但又一次在聽一個老外的演講练般,他說他50多歲仍然每天堅持寫代碼矗漾,了解最新的動態(tài),所以他才能做到他們公司的首席科學(xué)家薄料,因此它才能時刻指導(dǎo)項目團隊前進并保證項目的質(zhì)量敞贡。他坦言對于一個不寫代碼并且不了解最新的技術(shù)動態(tài)的技術(shù)人員或者技術(shù)團隊的負(fù)責(zé)人而言,這種團隊也就足夠做作小項目摄职,一旦壓力和項目過大誊役,就會有很多問題漏出來。

對于新人而言谷市,無論學(xué)習(xí)什么技術(shù)蛔垢,都要以鼓勵的姿態(tài)出現(xiàn)。太多用薪水和你個人所看到的現(xiàn)狀去衡量一門技術(shù)迫悠,那絕對是欠缺眼光的鹏漆。任何一門技術(shù),一旦有人學(xué)習(xí),他有可能逐漸成為這個領(lǐng)域的專家艺玲,即便再濫再沒有人用的開發(fā)語言技術(shù)括蝠,他也有可能就是明日的奠基者或者大師。

自己如何確定目標(biāo)

在生活中學(xué)會不斷挖掘自己的潛力饭聚。我們都是一個普通人忌警,可能并不清楚自己到底在哪方面占有優(yōu)勢。所以若治,學(xué)著在生活中找到自己的優(yōu)勢慨蓝,并根據(jù)優(yōu)勢選擇一定的就業(yè)方向。

不隨波逐流端幼。不要看周圍的人做什么礼烈,自己就做什么,也許別人做的并不適合你婆跑。別人的優(yōu)勢很可能會成為你的劣勢此熬。所以,堅定自己的想法滑进,讓自己知道那些方面適合自己犀忱,自己可以勝任。

不斷嘗試可能成為自己的優(yōu)勢扶关。你不知道什么適合自己阴汇,所以才要大膽、勇敢地嘗試节槐。找到一種可以屬于你的獨特的優(yōu)勢搀庶。

堅定信念。一旦你堅定了自己的信念铜异,就不要被別人的意見或是諷刺或是嘲笑所干擾哥倔。別人不是你,不懂的你在想什么揍庄,不清楚你開始這件事的源頭咆蒿。你的事情,不了解你的人蚂子,沒有資格輕易評說沃测。

不茫然,不多想缆镣。別讓太多的事干擾到你奮斗下去的信念芽突。夢想不容許太多的雜念。那些雜念只會讓你的心愈來愈脆弱董瞻,多為一個人考慮,到頭來,傷害的還是自己钠糊。

選擇自己學(xué)習(xí)方法

每個人都有適合自己的方法挟秤,有的人去選擇自學(xué),有的人選擇看視頻學(xué)習(xí)抄伍,有的人選擇報名培訓(xùn)班艘刚,那在這個時候,你就要自己考慮清楚截珍,到底那樣對的幫助是最大的攀甚,個人覺得是跟著培訓(xùn)班最好的,畢竟人家的實戰(zhàn)項目多秋度,我們學(xué)軟件開發(fā)的都知道實戰(zhàn)項目對于學(xué)好一門語言是 很重要的。

學(xué)習(xí)python有那些誤區(qū)

具體里面的誤區(qū)非常的多钱床,那些就不需要我去寫出來荚斯,我給你說的一般都是心態(tài)的問題,首先一個覺得自己會java和c++查牌,然后我學(xué)習(xí)python就很牛事期,但是你要知道語言是有很多相同的地方,但是不是通用纸颜,一定要自己學(xué)習(xí)的仔細(xì)兽泣。還有一種就是覺得我不會英語,我要先去把英語學(xué)習(xí)好在來學(xué)python胁孙。因為自己想還壞主意然后學(xué)習(xí)唠倦,這樣的都是容易找進誤區(qū)的。

怎么樣才能學(xué)好python

學(xué)好python你需要一個良好的環(huán)境浊洞,一個優(yōu)質(zhì)的開發(fā)交流群牵敷,群里都是那種相互幫助的人才是可以的,我有建立一個python學(xué)習(xí)交流群法希,在群里我們相互幫助枷餐,相互關(guān)心,相互分享內(nèi)容苫亦,這樣出問題幫助你的人就比較多毛肋,群號是304050799,這樣就可以找到大神聚合的群屋剑,如果你只愿意別人幫助你润匙,不愿意分享或者幫助別人,那就請不要加了唉匾,你把你會的告訴別人這是一種分享孕讳。

感覺寫的好匠楚,對你有幫助,就點個贊唄厂财,別光只收藏哈.~( ̄▽ ̄)~

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末芋簿,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子璃饱,更是在濱河造成了極大的恐慌与斤,老刑警劉巖,帶你破解...
    沈念sama閱讀 211,561評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件荚恶,死亡現(xiàn)場離奇詭異撩穿,居然都是意外死亡,警方通過查閱死者的電腦和手機谒撼,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,218評論 3 385
  • 文/潘曉璐 我一進店門食寡,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人嗤栓,你說我怎么就攤上這事冻河。” “怎么了茉帅?”我有些...
    開封第一講書人閱讀 157,162評論 0 348
  • 文/不壞的土叔 我叫張陵叨叙,是天一觀的道長。 經(jīng)常有香客問我堪澎,道長擂错,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 56,470評論 1 283
  • 正文 為了忘掉前任樱蛤,我火速辦了婚禮钮呀,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘昨凡。我一直安慰自己爽醋,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 65,550評論 6 385
  • 文/花漫 我一把揭開白布便脊。 她就那樣靜靜地躺著蚂四,像睡著了一般。 火紅的嫁衣襯著肌膚如雪哪痰。 梳的紋絲不亂的頭發(fā)上遂赠,一...
    開封第一講書人閱讀 49,806評論 1 290
  • 那天,我揣著相機與錄音晌杰,去河邊找鬼跷睦。 笑死,一個胖子當(dāng)著我的面吹牛肋演,可吹牛的內(nèi)容都是我干的抑诸。 我是一名探鬼主播烂琴,決...
    沈念sama閱讀 38,951評論 3 407
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼哼鬓!你這毒婦竟也來了监右?” 一聲冷哼從身側(cè)響起边灭,我...
    開封第一講書人閱讀 37,712評論 0 266
  • 序言:老撾萬榮一對情侶失蹤异希,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后绒瘦,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體称簿,經(jīng)...
    沈念sama閱讀 44,166評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,510評論 2 327
  • 正文 我和宋清朗相戀三年惰帽,在試婚紗的時候發(fā)現(xiàn)自己被綠了憨降。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,643評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡该酗,死狀恐怖授药,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情呜魄,我是刑警寧澤悔叽,帶...
    沈念sama閱讀 34,306評論 4 330
  • 正文 年R本政府宣布,位于F島的核電站爵嗅,受9級特大地震影響娇澎,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜睹晒,卻給世界環(huán)境...
    茶點故事閱讀 39,930評論 3 313
  • 文/蒙蒙 一趟庄、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧伪很,春花似錦戚啥、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,745評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至键痛,卻和暖如春炫彩,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背絮短。 一陣腳步聲響...
    開封第一講書人閱讀 31,983評論 1 266
  • 我被黑心中介騙來泰國打工江兢, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人丁频。 一個月前我還...
    沈念sama閱讀 46,351評論 2 360
  • 正文 我出身青樓杉允,卻偏偏與公主長得像邑贴,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子叔磷,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 43,509評論 2 348

推薦閱讀更多精彩內(nèi)容

  • 你的想法再精彩改基,那是想法的價值 而你的價值繁疤,永遠(yuǎn)體現(xiàn)在行動之中 如果還停留在想的價值中,請趕快行動秕狰, 如果你學(xué)習(xí)還...
    蝴蝶蘭玫瑰閱讀 916評論 0 1
  • GitHub 上有一個 Awesome - XXX 系列的資源整理,資源非常豐富稠腊,涉及面非常廣。awesome-p...
    若與閱讀 18,629評論 4 418
  • # Python 資源大全中文版 我想很多程序員應(yīng)該記得 GitHub 上有一個 Awesome - XXX 系列...
    aimaile閱讀 26,451評論 6 428
  • 環(huán)境管理管理Python版本和環(huán)境的工具鸣哀。p–非常簡單的交互式python版本管理工具架忌。pyenv–簡單的Pyth...
    MrHamster閱讀 3,788評論 1 61
  • 沒想到這么快就到2016年了,6月我衬,我們將背上書包踏上征途叹放,面臨人生的分岔路,回過頭挠羔,他們卻早已消失在人海中井仰。 ...
    仲夏夜之興閱讀 322評論 1 1