參考:
我昨天用的正規(guī)有道API測試翻譯小說雳锋,結(jié)果很快就炸了。所以找了下怎么爬取有道翻譯主頁洲守。
主要步驟:
- chrome F12查看表單數(shù)據(jù)
- 查看網(wǎng)頁源代碼,找到類似這樣的js文件(因為可能經(jīng)常會變沾凄,比如參考資料中的第二個里面的js文件已經(jīng)找不到了):
<script type="text/javascript" src="http://shared.ydstatic.com/fanyi/newweb/v1.0.9/scripts/newweb/fanyi.min.js"></script>
- 復(fù)制js文件,格式化
- 在里面查找'salt'關(guān)鍵字知允,我找到的是這個:
function (e, t) {
var n = e("./jquery-1.7");
e("./md5");
e("./utils");
var r = null;
t.asyRequest = function (e) {
var t = e.i,
i = "" + ((new Date).getTime() + parseInt(10 * Math.random(), 10)),
o = n.md5("fanyideskweb" + t + i + "ebSeFb%=XZ%T[KZ)c(sy!");
r && r.abort(),
r = n.ajax({
type: "POST",
contentType: "application/x-www-form-urlencoded; charset=UTF-8",
url: "/bbk/translate_m.do",
data: {
i: e.i,
client: "fanyideskweb",
salt: i,
sign: o,
tgt: e.tgt,
from: e.from,
to: e.to,
doctype: "json",
version: "3.0",
cache: !0
},
dataType: "json",
success: function (t) {
t && 0 == t.errorCode ? e.success && e.success(t) : e.error && e.error(t)
},
error: function (e) {
}
})
}
}),
- 分析下它的加密算法撒蟀,其實很簡單,就是一個常量“fanyideskweb” + 要翻譯的內(nèi)容 + 時間戳和隨機數(shù) + 一個常量"ebSeFb%=XZ%T[KZ)c(sy!"(很顯然温鸽,這個常量可能會時不時的變)保屯,然后再把這整個字符串進行MD5就得到了sign
- 根據(jù)這個寫成python:
def translate(content):
url = "http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule"
S = "fanyideskweb"
n = content
r = str(int(time.time() * 1000) + random.randint(1, 10))
D = "ebSeFb%=XZ%T[KZ)c(sy!"
sign = hashlib.md5((S + n + r + D).encode('utf-8')).hexdigest()
data = {"i": content,
"from": "AUTO",
"to": "AUTO",
"smartresult": "dict",
"client": "fanyideskweb",
"salt": r,
"sign": sign,
"doctype": "json",
"version": "2.1",
"keyfrom": "fanyi.web",
"action": "FY_BY_CLICKBUTTION",
"typoResult": "false"}
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36",
"Referer": "http://fanyi.youdao.com/",
"Cookie": "OUTFOX_SEARCH_USER_ID=-1038070705@10.168.8.63; JSESSIONID=aaaP2Qy4ztAfyfZRXzktw; OUTFOX_SEARCH_USER_ID_NCOO=570232601.9713346; fanyi-ad-id=47865; fanyi-ad-closed=1; ___rl__test__cookies=1532406668184"}
response = requests.post(url, headers=headers, data=data).content.decode('utf-8')
logging.debug(response)
result = json.loads(response)['translateResult'][0][0]['tgt']
print(result)
其中的header部分是我直接從參考資料1里面拷下來的。好吧涤垫,其實大部分都是姑尺。。蝠猬。
但是這個函數(shù)還是有點問題的切蟋,因為它只返回了翻譯結(jié)果中的第一個數(shù)組。把json結(jié)果提取出來合并成一個字符串可以看這篇文章:Python 列表生成式解析json
順便說一句榆芦,使用未公開的API進行商業(yè)用途好像是違法的柄粹。所以這個最多只能用來學(xué)習(xí)測試用哦!