問題描述
Python自動下載文件，通用文件砸抛，包括但不限于壓縮文件评雌、圖片等。
解決方法
一般情況下直焙，Python下載文件的方式有以下幾種：
- 利用
urllib景东、urllib2，即Python爬蟲用的最多的庫箕般；
import urllib
import urllib2
import requests
url = "你的下載鏈接"
urllib.urlretrieve(url, demo.zip)
urllib.urlretrieve(url, demo.zip)這個函數(shù)還可以接受另外一個參數(shù)耐薯，比如這樣用：
urllib.urlretrieve(url,local,Schedule)，其中Schedule為：
def Schedule(a,b,c):
'''''
a:已經(jīng)下載的數(shù)據(jù)塊
b:數(shù)據(jù)塊的大小
c:遠程文件的大小
'''
per = 100.0 * a * b / c
if per > 100 :
per = 100
print '%.2f%%' % per
這樣程序可以即時打印出下載的進度丝里。
- 利用
urllib2.urlopen(url);
import urllib2
print downloading with urllib2
url = "您的鏈接"
f = urllib2.urlopen(url)
data = f.read()
with open ("demo2.zip", "wb" ) as code:
code.write(data)
- 利用
requests曲初，劃重點，我女神推薦的杯聚！
import requests
url = "您的鏈接"
r = requests.get(url)
with open ("demo3.zip", "wb") as code:
code.write(r.content)
這三種下載方式一般都可以臼婆，根據(jù)自己的喜好選擇。
問題升級
我推薦了第一種方法給女神幌绍，然后用她給我的鏈接試了下颁褂，鏈接為：https://n5eil01u.ecs.nsidc.org/DP5/MOST/MOD29P1D.006/2017.02.28/MOD29P1D.A2017059.h12v28.006.2017060080442.hdf，最后下載下來的文件發(fā)現(xiàn)為一個html文件：
第一次下載下來的文件
<div id="masthead-logo">
<h1><a class="ir" href="/">Earthdata Login</a></h1>
<span class="eui-badge badge daac">Earthdata Login</span>
</div>
于是手動復(fù)制地址到瀏覽器颁独，跳轉(zhuǎn)到EARTHDATA的登錄頁
跳轉(zhuǎn)到的登錄頁.png
問題解決伪冰，Python攜帶cookie下載文件
登錄之后誓酒，跳轉(zhuǎn)至下載鏈接，發(fā)現(xiàn)文件可以正常下載。
打開https://n5eil01u.ecs.nsidc.org靠柑，在頁面打開調(diào)試模式（F12）寨辩，選擇Console，輸入document.cookie歼冰，可以看到自己登錄之后的Cookie：
如何獲取網(wǎng)站的cookie.png
- 第一種
# --------------------第一種：使用headers攜帶cookie-----------------------------
# coding = utf-8
import requests
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64),
'Cookie':'_ga=GA1.2.1096053304.1523154394; googtrans=/en/zh-CN; _ceg.s=p6uhnx; _ceg.u=p6uhnx',
}
# 發(fā)起請求，獲取二進制數(shù)據(jù)
html_str = requests.get(url,headers=headers).content
# 寫入文件,采用二進制寫入文件
with open('路徑/文件名.后綴'隔嫡，'wb') as f:
f.write(html_str)
- 第二種
# --------------------第二種：在requests直接攜帶--------------------------------
# coding = utf-8
import requests
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64)'
}
# cookies = {你的cookies甸怕，這里必須是以鍵值對，也就是字典的形式}
cookies = {"_ga": "GA1.2.1096053304.1523154394", "googtrans": "/en/zh-CN", "_ceg.s": "p6uhnx", "_ceg.u": "p6uhnx", " CIsForCookie_OPS": "Wss4tcCozd0AANFW49YAAABM"}
# 發(fā)起請求畔勤，獲取二進制數(shù)據(jù)
html_str = requests.get(url,headers=headers,cookies = cookies).content
# 寫入文件,采用二進制寫入文件
with open('路徑/文件名.后綴'蕾各，'wb') as f:
f.write(html_str)
最后成功的下載了文件。
