最初學爬蟲都是用requests庫 + BeautifulSoup庫的技術(shù)路線井辜。對于一般的靜態(tài)網(wǎng)頁爬蟲而言，這兩個庫完全足夠應付愈捅。不過损同，寫代碼時比較麻煩的大概有兩點：一是如果涉及到翻頁奸忽，需要根據(jù)網(wǎng)址不斷構(gòu)造新的URL鏈接；二是如果不熟悉XPath或者CSS語法揖庄，要定位某個html標簽還是挺費時間的栗菜。
如果要爬取的網(wǎng)頁是動態(tài)的，也就是說我們實際需要的數(shù)據(jù)是異步加載的（嗯蹄梢，其實我也不懂這是個啥疙筹，反正就是這些數(shù)據(jù)在通過requests.get請求返回的網(wǎng)頁源代碼里說找不到的。）面對動態(tài)網(wǎng)頁禁炒，一般兩種路徑而咆，一曰selenium模擬瀏覽器訪問，一曰抓包幕袱。這幾日剛學了selenium模擬暴备，跑個代碼試試。
這次要爬取的是證監(jiān)會關于IPO企業(yè)預披露的網(wǎng)站
這么規(guī)整的數(shù)據(jù)们豌，直接ctrl+c加ctrl+v就行了呀涯捻，還寫什么爬蟲。但作為一個爬蟲小白望迎，本著不放過任何一個鍛（zi)煉（nue)的機會的氣質(zhì)障癌，一定要寫出來，哪怕再爛辩尊。
網(wǎng)頁的地址是這樣的：http://ipo.csrc.gov.cn/checkClick.action?choice=info#涛浙，一共需要爬67頁。而且，每一頁的網(wǎng)址都是一樣的轿亮，不管你怎么戳鼠標疮薇，它就在那里，依然如故我注。
這樣的網(wǎng)址設計對requests很不友好（其實是對爬蟲小白很不友好）按咒。另外，源代碼也毫無意外的沒有我所需要的公司信息仓手。數(shù)據(jù)藏在哪里了胖齐？
查找數(shù)據(jù)玻淑，知道switch frame
打開控制臺嗽冒，查找表格里的任意一個元素。很幸運补履，還是能找到的添坊。比如：
分析頁面元素，發(fā)現(xiàn)數(shù)據(jù)表格實際上是一個單獨完整的html文本箫锤，內(nèi)嵌在原來的外層網(wǎng)頁中贬蛙，而在源代碼網(wǎng)頁文件中，這個內(nèi)嵌的html文本是看不見的谚攒。
這種情況下阳准，就充分體現(xiàn)出selenium的強大了。利用driver.switch_to.frame('myframe)直接定位該內(nèi)嵌網(wǎng)頁馏臭，然后就可以輕松獲得html文件了野蝇，即html=driver.page_source。后面提取網(wǎng)頁數(shù)據(jù)就基本上是beautifulsoup的事情了括儒。
click()方法翻頁
在面對靜態(tài)網(wǎng)頁時绕沈，網(wǎng)址中會出現(xiàn)跟頁數(shù)有關的信息。比如帮寻，豆瓣評論的網(wǎng)址“https://movie.douban.com/subject/25837262/comments?start=20&limit=20&sort=new_score&status=P&percent_type=”乍狐，通過其中的start和limit參數(shù)就能確定頁碼。
如果是用selenium模擬瀏覽器訪問頁面固逗，就不需要再分析網(wǎng)址信息浅蚪，而是可以直接用find_element_by_class_name等函數(shù)定位到頁面上的“下一頁”按鈕，然后利用click()方法烫罩，就像是用鼠標點擊了一樣掘鄙，頁面就自動跳轉(zhuǎn)到下一頁了。
運行的時候嗡髓，我們就可以靜靜的看著網(wǎng)頁在自己的電腦屏幕上飛了操漠，感覺自己會了魔法哈哈哈哈！
控制好driver
當運行了clikc()方法導致翻頁之后，driver對象本身就會自動發(fā)生變化浊伙，那些與driver對象有關的變量也發(fā)生了變化撞秋，全部需要重新賦值，否則程序會報錯嚣鄙。
習慣用類寫代碼
用代碼完成一件任務吻贿，其實就是將任務拆分到不同的功能模塊。模塊最小的單位就是一個個的函數(shù)哑子。以前寫代碼舅列，直接寫各個函數(shù)就好了。接觸到scrapy框架等工程思維之后卧蜓，發(fā)現(xiàn)更多的人都是把函數(shù)封裝在類當中帐要。通過類，可以更方便函數(shù)以及模塊之間的調(diào)用弥奸。對于工程量稍大一些的項目榨惠，采用類的方式也能直觀。
爬這個網(wǎng)站最主要的目的
如果只是要得到像網(wǎng)站那樣的表格數(shù)據(jù)盛霎，直接復制粘貼確實更省時間赠橙，畢竟也就不到100頁的數(shù)據(jù)。但是愤炸，如果要把每家公司的預披露文件下載并按公司重命名呢期揪？
我爬網(wǎng)站最主要的目的就是獲取每份預披露文件的超鏈接地址。有了地址规个，就可以用urllib.request.urlretrieve方便的下載文檔了凤薛。盡管目前來講，這些文檔沒什么用了绰姻。不過枉侧，也算是達到練手的目的了。
（還是沒有插圖狂芋，作者太懶了）
