廢話少說(shuō)
從速賣(mài)通抓取了一些評(píng)論想進(jìn)行一些簡(jiǎn)單的文本分析，但是因?yàn)樗儋u(mài)通是一個(gè)跨境電商平臺(tái)诉濒，上邊的評(píng)論基本都是小語(yǔ)種，對(duì)夕春，小語(yǔ)種未荒，俄語(yǔ)，法語(yǔ)...英語(yǔ)還可以勉強(qiáng)應(yīng)付一下及志，但是其他真的是一個(gè)字母都不認(rèn)識(shí)啊片排，所以我就想能不能用python解決這個(gè)問(wèn)題。
知名的翻譯(我聽(tīng)說(shuō)的)就是谷歌速侈，百度率寡，有道，有道翻譯英語(yǔ)還行倚搬，小語(yǔ)種效果太差了冶共，直接放棄，經(jīng)過(guò)對(duì)比百度和谷歌，準(zhǔn)確率上還是谷歌更準(zhǔn)確一點(diǎn)捅僵，畢竟谷歌搜索是全世界的人為其提供訓(xùn)練語(yǔ)料家卖，而百度基本只有中國(guó)人在用。
但是，良心百度提供了翻譯API接口,而谷歌沒(méi)有，哎沒(méi)辦法爬骤，只能爬了...
正文
首先用chrome打開(kāi)谷歌搜翻譯，看看它是怎么請(qǐng)求數(shù)據(jù)的
右鍵 檢查 進(jìn)入開(kāi)發(fā)者工具
選擇network,如圖
先點(diǎn)擊一下這個(gè)clear,把原來(lái)的請(qǐng)求都clear(當(dāng)然是視覺(jué)上clear)
輸入測(cè)試翻譯內(nèi)容
我們很快得到了翻譯結(jié)果榛臼，同時(shí)得到了下面幾個(gè)新的請(qǐng)求，那么返回的結(jié)果肯定在下面這幾個(gè)請(qǐng)求窜司，因?yàn)橹耙呀?jīng)clear掉了沛善，所以新的請(qǐng)求并不多（測(cè)試前，先clear,這個(gè)技巧很重要塞祈，特別是對(duì)于那種電商網(wǎng)站金刁，請(qǐng)求分分鐘幾十上百，你不先clear掉的話议薪，要找到猴年馬月）
我們很快就可以發(fā)現(xiàn)是下面這個(gè)請(qǐng)求返回了翻譯結(jié)果
通過(guò)請(qǐng)求頭信息尤蛮，可以發(fā)現(xiàn)是get請(qǐng)求，請(qǐng)求翻譯的內(nèi)容是通過(guò)q這個(gè)參數(shù)傳遞的斯议，其它參數(shù)暫時(shí)不知道什么意思产捞。然后，我們就可以用requests庫(kù)模仿這個(gè)請(qǐng)求哼御，看看能否成功坯临。
import requests
res=requests.get('https://translate.google.cn/translate_a/single?client=t&sl=auto&tl=zh-CN&hl=zh-CN&dt=at&dt=bd&dt=ex&dt=ld&dt=md&dt=qca&dt=rw&dt=rm&dt=ss&dt=t&ie=UTF-8&oe=UTF-8&otf=1&ssel=0&tsel=0&kc=7&tk=272537.149261&q=oh%20shit')
print(res.text)
直接成功，谷歌翻譯這么好爬的嘛恋昼？感覺(jué)不靠譜看靠，把q后面的內(nèi)容換成hello,果然不行了，報(bào)了403液肌，服務(wù)器禁止了挟炬。哎，我還是太naive啊
那么嗦哆，肯定請(qǐng)求參數(shù)里還有一些參數(shù)是實(shí)時(shí)根據(jù)內(nèi)容變化的谤祖，很容易注意的tk這個(gè)參數(shù)。tk=272537.149261吝秕，一串?dāng)?shù)字泊脐，你在谷歌翻譯里換其它字符串測(cè)試，就會(huì)發(fā)現(xiàn)其它參數(shù)基本都一樣烁峭，只有這個(gè)tk不一樣.但是呢？以我目前這個(gè)水平，是沒(méi)有能力破解的约郁，于是百度之缩挑。果然有大神已經(jīng)破解了這個(gè)tk，但是因?yàn)閠k的生成是js生成的鬓梅，所以很多人直接選擇了node.js來(lái)實(shí)現(xiàn)這個(gè)爬蟲(chóng)供置，但是我已經(jīng)習(xí)慣了強(qiáng)大方便的python requests庫(kù)，所以還是選擇繼續(xù)用python,找了很久才找到python 版本绽快，現(xiàn)在分享出來(lái)芥丧。
import requests
import json
from bs4 import BeautifulSoup
import execjs #必須，需要先用pip 安裝坊罢，用來(lái)執(zhí)行js腳本
class Py4Js():
def __init__(self):
self.ctx = execjs.compile("""
function TL(a) {
var k = "";
var b = 406644;
var b1 = 3293161072;
var jd = ".";
var $b = "+-a^+6";
var Zb = "+-3^+b+-f";
for (var e = [], f = 0, g = 0; g < a.length; g++) {
var m = a.charCodeAt(g);
128 > m ? e[f++] = m : (2048 > m ? e[f++] = m >> 6 | 192 : (55296 == (m & 64512) && g + 1 < a.length && 56320 == (a.charCodeAt(g + 1) & 64512) ? (m = 65536 + ((m & 1023) << 10) + (a.charCodeAt(++g) & 1023),
e[f++] = m >> 18 | 240,
e[f++] = m >> 12 & 63 | 128) : e[f++] = m >> 12 | 224,
e[f++] = m >> 6 & 63 | 128),
e[f++] = m & 63 | 128)
}
a = b;
for (f = 0; f < e.length; f++) a += e[f],
a = RL(a, $b);
a = RL(a, Zb);
a ^= b1 || 0;
0 > a && (a = (a & 2147483647) + 2147483648);
a %= 1E6;
return a.toString() + jd + (a ^ b)
};
function RL(a, b) {
var t = "a";
var Yb = "+";
for (var c = 0; c < b.length - 2; c += 3) {
var d = b.charAt(c + 2),
d = d >= t ? d.charCodeAt(0) - 87 : Number(d),
d = b.charAt(c + 1) == Yb ? a >>> d: a << d;
a = b.charAt(c) == Yb ? a + d & 4294967295 : a ^ d
}
return a
}
""")
def getTk(self,text):
return self.ctx.call("TL",text)
def buildUrl(text,tk):
baseUrl='https://translate.google.cn/translate_a/single'
baseUrl+='?client=t&'
baseUrl+='s1=auto&'
baseUrl+='t1=zh-CN&'
baseUrl+='h1=zh-CN&'
baseUrl+='dt=at&'
baseUrl+='dt=bd&'
baseUrl+='dt=ex&'
baseUrl+='dt=ld&'
baseUrl+='dt=md&'
baseUrl+='dt=qca&'
baseUrl+='dt=rw&'
baseUrl+='dt=rm&'
baseUrl+='dt=ss&'
baseUrl+='dt=t&'
baseUrl+='ie=UTF-8&'
baseUrl+='oe=UTF-8&'
baseUrl+='otf=1&'
baseUrl+='pc=1&'
baseUrl+='ssel=0&'
baseUrl+='tsel=0&'
baseUrl+='kc=2&'
baseUrl+='tk='+str(tk)+'&'
baseUrl+='q='+text
return baseUrl
def translate(text):
header={
'authority':'translate.google.cn',
'method':'GET',
'path':'',
'scheme':'https',
'accept':'*/*',
'accept-encoding':'gzip, deflate, br',
'accept-language':'zh-CN,zh;q=0.9',
'cookie':'',
'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36',
'x-client-data':'CIa2yQEIpbbJAQjBtskBCPqcygEIqZ3KAQioo8oBGJGjygE='
}
url=buildUrl(text,js.getTk(text))
res=''
try:
r=requests.get(url)
result=json.loads(r.text)
if result[7]!=None:
# 如果我們文本輸錯(cuò)续担，提示你是不是要找xxx的話，那么重新把xxx正確的翻譯之后返回
try:
correctText=result[7][0].replace('<b><i>',' ').replace('</i></b>','')
print(correctText)
correctUrl=buildUrl(correctText,js.getTk(correctText))
correctR=requests.get(correctUrl)
newResult=json.loads(correctR.text)
res=newResult[0][0][0]
except Exception as e:
print(e)
res=result[0][0][0]
else:
res=result[0][0][0]
except Exception as e:
res=''
print(url)
print("翻譯"+text+"失敗")
print("錯(cuò)誤信息:")
print(e)
finally:
return res
if __name__ == '__main__':
js=Py4Js()
res=translate('Всё качественно и быстро!')
print(res)
最后
谷歌返回的結(jié)果是一個(gè)json格式的數(shù)據(jù)活孩，我們將其變成一個(gè)嵌套的list物遇，可以發(fā)現(xiàn)該list長(zhǎng)度為9，第零個(gè)元素就是翻譯結(jié)果,第七個(gè)結(jié)果是一些提示信息憾儒。如圖
當(dāng)有提示信息的時(shí)候询兴，我們將正確的信息重新翻譯一遍，返回起趾。
其次翻譯之前一定要先分句诗舰，因?yàn)槲覝y(cè)試這樣準(zhǔn)確率更高一點(diǎn)，直接一段翻譯有時(shí)候會(huì)面貌全非训裆，但是分開(kāi)一句句翻譯始衅，基本就是人話了。
我目前連續(xù)測(cè)試上千條語(yǔ)句還沒(méi)有問(wèn)題缭保，但是速度有快有慢汛闸，而且有時(shí)候，如果數(shù)據(jù)量太大的話艺骂，可以采用每翻譯一句sleep(1),或者使用代理IP
聲明
那段破解的腳本是直接從別人博客復(fù)制過(guò)來(lái)的诸老，但是忘了鏈接了，抱歉!
