心理學專業(yè)的人學習爬蟲有很多困難杀餐，但是還是一點點艱難地學習干发，記錄下自己的學習成果。
學習爬蟲的目的：
（1）????獲得相應的資料史翘，可以方便爬取文章枉长、書籍、圖片琼讽、量表必峰，由于研究的原因經常去一些論壇，也可以批量獲取論壇的文字钻蹬、圖片吼蚁、視頻信息。
（2）????熟悉python的語法问欠。
（3）????熟悉后端的一些結構桂敛。
相關工具以及版本：
（1）?python 3.6.3 Anaconda
（2）????requests庫。發(fā)送http請求
（3）????BeautifulSoup 4.4溅潜。解析代碼,能夠得到一個BeautifulSoup?的對象,并能按照標準的縮進格式的結構輸出术唬。
（4）????操作系統(tǒng)：macOS 10.14
例子：爬取https://ibaotu.com/ui/15-91803-0-0-0-1.html的ui設計圖片。
截圖
結果
注：
1.????類似該例子的方法適合爬取html的內容滚澜，并且是在網頁上直接呈現(xiàn)的內容粗仓。
2.????不能獲取還沒有下拉加載的內容。
3.?Requests的get請求使用了headers參數(shù)设捐，這個是用來模擬瀏覽器的借浊。Chrome瀏覽器，按F12萝招，刷新蚂斤，network-request hearders-user agent。
