轉自https://www.yuanrenxue.com/crawler/five-html-encode-method.html

今天偷個懶寫篇總結性的文章夹供，我們在寫爬蟲估灿，對網(wǎng)絡抓包或逆向一些token參數(shù)時常常遇到一長串的字符捎废，看到一長串不知其意義的字符串往往有點懵圈。如果你靠肉眼能從這一長串字符中看出一些特征或含義，那么會加快你寫爬蟲解析網(wǎng)絡參數(shù)的步伐，也能給你提供分析思路揍愁。

這篇文章就是總結一下常見的字符串編碼的格式和特征。

一杀饵、URL編碼

請求URL的時候通趁Ф冢看見以%開頭的字符串，這一般是對字符做了URL編碼處理切距。

http%3A%2F%2Fwww.yuanrenxue.com%2F

比如上面字符串朽缎，經(jīng)常看的話其實你就知道上面的含義谜悟，%3A是: %2F是/ 话肖。

解碼后的完整URL其實是：

http://www.yuanrenxue.com/

可以使用urllib.parse.quote做URL編碼，用urllib.parse.unquote做解碼赌躺。比如我們對 猿人學 三個字做一下URL編碼：

>>import urllib

>>st = '猿人學'
>>enc_st = urllib.parse.quote(st)
>>print(enc_st)
>>%E7%8C%BF%E4%BA%BA%E5%AD%A6
>>
>>urllib.parse.unquote(enc_st)
>>猿人學

%E7%8C%BF%E4%BA%BA%E5%AD%A6 這一串就是猿人學URL編碼

再用urllib.parse.unquote對這一串解碼就是猿人學三個字狼牺。

Python中做URL編碼一般是對特殊字符做編碼處理，你可以簡單認為對非英語字符做編碼處理礼患，實際上我們在寫爬蟲分析對方JS時是钥，你會發(fā)現(xiàn)對方把英語字符也做了編碼處理掠归。

同樣的 http://www.yuanrenxue.com/ 這串在Python一般編碼后是：

http%3A%2F%2Fwww.yuanrenxue.com%2F

在Javascript中可以是這樣：

%68%74%74%70%3A%2F%2F%77%77%77%2E%79%75%61%6E%72%65%6E%78%75%65%2E%63%6F%6D%2F

它是對所有字符都做了編碼。

二悄泥、Unicode轉義

有時你打開一張網(wǎng)頁虏冻，想分析下它的網(wǎng)頁結構，發(fā)現(xiàn)網(wǎng)頁里全都是密密麻麻的&#開頭的字符弹囚，完全不認識厨相，例如是這樣的：

unicode轉義的html

看得人頭暈，但是它有一個特征都是以&#開頭鸥鹉，以;結尾的蛮穿。這是HTML中一種Unicode轉義，在網(wǎng)頁中做Unicode編碼就是這樣子的毁渗。

我們來測試一下：

>>import html
>>
>>s = '''今天偷个懒写篇总结性的文章，我们在'''
>>
>>print(html.unescape(s))
>> 今天偷個懶寫篇總結性的文章践磅，我們在

如上代碼，我們使用html.unescape可以還原這些文字灸异，還原出來的文字是我這篇文章的開篇詞府适。

三、16進制Unicode轉義

上面的Unicode轉義是 這樣：

今天偷個懶

&#后面是的數(shù)字是10進制的肺樟，還有一種&#后面是16進制的檐春，比如：

>>import html
>>
>>s = '''今天偷个懒写篇总结性的文章，我们在'''
>>
>>print(html.unescape(s))
>>今天偷個懶寫篇總結性的文章，我們在

也是用html.unescape可以還原么伯。

四疟暖、UTF-8編碼

\u4eca\u5929\u5077\u4e2a\u61d2\u5199\u7bc7\u603b\u7ed3\u6027\u7684\u6587\u7ae0\uff0c\u6211\u4eec\u5728

\u后面加四個字符的是UTF-8編碼

轉換很簡單：

>>s = '\u4eca\u5929\u5077\u4e2a\u61d2\u5199\u7bc7\u603b\u7ed3\u6027\u7684\u6587\u7ae0\uff0c\u6211\u4eec\u5728'
>>print(s)
>> 天偷個懶寫篇總結性的文章，我們在

Python內(nèi)部會轉換蹦狂。

五誓篱、base64編碼

寫爬蟲抓取時朋贬，常常會看到token里帶有類似：eXVhbnJlbnh1ZS5jb20=

這樣的字符串凯楔，常常字符串后面以=結尾的，很可能就是base64編碼了的锦募。

>>import base64
>>str = 'yuanrenxue.com'
>>bytesStr = str.encode(encoding='utf-8')
>>b64str = base64.b64encode(bytesStr)
>>print(b64str)
>>b'eXVhbnJlbnh1ZS5jb20='

如上代碼摆屯，我們對yuanrenxue.com做base64編碼出來的是以=結尾的。

總結：

1.以%開頭的一般是做了URL編碼的糠亩，用urllib.parse.unquote()解碼虐骑。

2.以&#開頭的一般是做了Unicode轉義處理，html.unescape()做反轉義赎线。

3.以&#x開頭的是做了Unicode 16進制轉義廷没，也用html.unescape()做反轉義。

4.以\u開頭的是一般是UTF-8編碼垂寥。

5.字符串后面以=結尾的颠黎，通常是做了base64編碼處理的另锋。