本篇將介紹使用怨绣，更多內(nèi)容請(qǐng)參考：Python學(xué)習(xí)指南
數(shù)據(jù)提取之JSON與JsonPATH
JSON(JavaScript Object Notation)是一種輕量級(jí)的數(shù)據(jù)交換格式该编，它是的人們很容易的進(jìn)行閱讀和編寫柏锄。同時(shí)也方便了機(jī)器進(jìn)行解析和生成。適用于進(jìn)行數(shù)據(jù)交互的場(chǎng)景拉背，比如網(wǎng)站前臺(tái)與后臺(tái)之間的數(shù)據(jù)交互。
JSON和XML的比較可謂不相上下。
Python2.7中自帶了JSON模塊网棍，直接import json就可以使用了。
官方博客：http://docs.python.org/library/json.html
Json在線解析網(wǎng)站：http://www.json.cn/#
JSON
json簡(jiǎn)單說就是javascript中的對(duì)象和數(shù)組妇智，所以這兩種結(jié)構(gòu)就是對(duì)象和數(shù)據(jù)兩種結(jié)構(gòu)滥玷，通過這兩種結(jié)構(gòu)可以表示各種復(fù)雜的結(jié)構(gòu)。
- 對(duì)象：對(duì)象在js中表示為{}括起來的內(nèi)容巍棱，數(shù)據(jù)結(jié)構(gòu)為{key:value,key:value,...}的鍵值對(duì)的結(jié)構(gòu)惑畴，在面向?qū)ο蟮恼Z言中，key為對(duì)象的屬性航徙，value為對(duì)應(yīng)的屬性值如贷，所以很容易理解，取值方法為對(duì)象.key獲取屬性值到踏，這個(gè)屬性值的類型可以是數(shù)字杠袱、字符串、數(shù)組窝稿、對(duì)象這幾種楣富。
- 數(shù)組：數(shù)組在js中是中括號(hào)[]括起來的內(nèi)容，數(shù)據(jù)結(jié)構(gòu)為["Python", "javascript", "C++",..]讹躯，取值方式和所有語言中一樣菩彬，使用索引獲取，字段值的類型可以是數(shù)字潮梯、字符串骗灶、數(shù)組、對(duì)象幾種秉馏。
import json
json模塊提供了四個(gè)功能：dumps耙旦、dump、loads萝究、load,用于字符串和python數(shù)據(jù)類型鍵進(jìn)行轉(zhuǎn)換免都。
1锉罐、json.loads()
把json格式字符串解碼轉(zhuǎn)換成Python對(duì)象從json到Python的類型轉(zhuǎn)化對(duì)照如下：
#json_loads.py
import json
strList = '[1, 2, 3, 4]'
strDict = '{"city":"北京", "name":"大貓"}'
json.loads(strList)
for str in strList:
print(str)
#[1, 2, 3, 4]
json.loads(strDict) #json數(shù)據(jù)自動(dòng)按Unicode存儲(chǔ)
#{u'city': u'\u5317\u4eac', u'name': u'\u5927\u732b'}
2、json.dumps()
實(shí)現(xiàn)python類型轉(zhuǎn)化為json字符串绕娘，返回一個(gè)str對(duì)象脓规。把一個(gè)Python對(duì)象編碼轉(zhuǎn)換成Json字符串，從python原始類型向json類型轉(zhuǎn)化對(duì)照表如下：
#json_dumps.py
#-*- coding:utf-8 -*-
import json
import chardet
listStr = [1, 2, 3, 4]
tupleStr = (1, 2, 3, 4)
dictStr = {"city":"北京", "name":"大貓"}
print(type(json.dumps(listStr)))
# '[1, 2, 3, 4]'
print(type(json.dumps(tupleStr)))
# '[1, 2, 3, 4]'
#注意险领，json.dumps()序列化時(shí)默認(rèn)使用ascii編碼
#添加參數(shù) ensure_ascii = False,禁用ascii編碼侨舆，按utf-8編碼
#chardet.detect()返回字典，其中confidence是檢測(cè)精確度绢陌。
print(json.dumps(dictStr))
#'{"city":"\\u5317\\u4eac", "name":"\\u5927\\u5218"}'
print(chardet.detect(json.dumps(dictStr)))
print(json.dumps(dictStr, ensure_ascii=False))
print(chardet.detect(json.dumps(dictStr, ensure_ascii=False)))
chardet是一個(gè)非常優(yōu)秀的編碼識(shí)別模塊挨下，可通過pip安裝
3. json.dump()
將Python內(nèi)置類型序列化為json對(duì)象后寫入文件
#json_dump.py
import json
listStr = [{"city":"北京"}, {"name":"大劉"}]
json.dump(listStr, open("listStr.json", "w"), ensure_ascii=False)
dictStr = {"city":"北京", "name":"大劉"}
json.dump(dictStr.open("dictStr.json", "w"), ensure_ascii=False)
4.json.load()
讀取文件中json形式的字符串元素轉(zhuǎn)化成python類型
#-*- coding:utf-8 -*-
import json
strList = json.load(open("listStr.json"))
print strList
# [{u'city': u'\u5317\u4eac'}, {u'name': u'\u5927\u5218'}]
strDict = json.load(open("dictStr.json"))
print strDict
# {u'city': u'\u5317\u4eac', u'name': u'\u5927\u5218'}
JsonPath
JsonPath是一種信息抽取類庫，是從JSON文檔中抽取指定信息的工具脐湾，提供多種原因?qū)崿F(xiàn)保本：JavaScript/Python/PHP和Java
JsonPath對(duì)于JSON來說臭笆，相當(dāng)于XPATH對(duì)于XML
下載地址：https://pypi.python.org/pypi/jsonpath
安裝方法：點(diǎn)擊Download URL鏈接下載jsonpath,解壓之后執(zhí)行python setup.py install
官方文檔：http://goessner.net/articles/JsonPath
JsonPath與XPath語法對(duì)比：
Json結(jié)構(gòu)清晰，可讀性高秤掌，復(fù)雜度低愁铺，非常容易匹配，下表中對(duì)應(yīng)了XPath的用法机杜。
| Xpath | JSONPath | 描述 |
|---|---|---|
| / | $ | 跟節(jié)點(diǎn) |
| . | @ | 現(xiàn)行節(jié)點(diǎn) |
| / | . or [] | 取子節(jié)點(diǎn) |
| .. | n/a | 就是不管位置帜讲，選擇所有符合條件的條件 |
| * | * | 匹配所有元素節(jié)點(diǎn) |
| [] | [] | 迭代器標(biāo)示(可以在里面做簡(jiǎn)單的迭代操作，如數(shù)組下標(biāo)椒拗，根據(jù)內(nèi)容選值等) |
| | | [,] | 支持迭代器中做多選 |
| [] | ?() | 支持過濾操作 |
| n/a | () | 支持表達(dá)式計(jì)算 |
| () | n/a | 分組似将，JsonPath不支持 |
實(shí)例：
我們以拉勾網(wǎng)城市JSON文件http://www.lagou.com/lbs/getAllCitySearchLabels.json為例，獲取所有城市蚀苛。
#-*- coding:utf-8 -*-
import urllib2
import json
import jsonpath
import chardet
url = "http://www.lagou.com/lbs/getAllCitySearchLabels.json"
request = urllib2.Request(url)
response = urllib2.urlopen(request)
html = response.read()
#把json格式字符串轉(zhuǎn)換成python對(duì)象
jsonobj = json.loads(html)
#從根節(jié)點(diǎn)開始在验，匹配name節(jié)點(diǎn)
citylist = jsonpath.jsonpath(jsonobj, '$..name')
print citylist
print(type(citylist))
fp = open('city.json', 'w')
content = json.dumps(citylist, ensure_ascii=False)
print content
fp.write(content.encode('utf-8'))
fp.close()
注意事項(xiàng)：
json.loads()是把Json格式字符串解碼轉(zhuǎn)換成Python對(duì)象，如果在json.loads的時(shí)候出錯(cuò)堵未，要注意被解碼的Json字符的編碼腋舌。
如果傳入的字符串的編碼不是UTF-8的話，需要制定字符編碼的參數(shù):encoding
dataDict = json.loads(jsonStrGBK);
- dataJsonStr是JSON字符串渗蟹，假設(shè)其編碼本身是非UTF-8的話而是GBK的块饺，那么上述代碼會(huì)導(dǎo)致出錯(cuò)，改為對(duì)應(yīng)的雌芽。
dataDict = json.loads(jsonStrGBK, encoding="GBK")
- 如果dataJsonStr通過encoding指定了合適的編碼授艰，但是其中又包含了其它編碼的字符，則需要先去將dataJsonStr轉(zhuǎn)換為Unicode,然后再指定編碼格式調(diào)用json.loads()
dataJsonStrUni = data.JsonStr.decode("GB2312")
dataDict = json.loads(dataJsontrUni, encoding="GB2312")
字符串編碼轉(zhuǎn)換
這是程序員最苦逼的地方世落，什么亂碼之類的幾乎都是由漢字引起的淮腾。
其實(shí)編碼問題很好搞定，只要記住一點(diǎn)：
任何平臺(tái)的任何編碼，都能和Unicode互相轉(zhuǎn)換谷朝。
UTF-8與GBK互相轉(zhuǎn)換洲押，那就先把UTF-8轉(zhuǎn)換成Unicode，再從Unicode轉(zhuǎn)換成GBK圆凰，反之同理杈帐。
# 這是一個(gè) UTF-8 編碼的字符串
utf8Str = "你好地球"
# 1. 將 UTF-8 編碼的字符串 轉(zhuǎn)換成 Unicode 編碼
unicodeStr = utf8Str.decode("UTF-8")
# 2. 再將 Unicode 編碼格式字符串 轉(zhuǎn)換成 GBK 編碼
gbkData = unicodeStr.encode("GBK")
# 1. 再將 GBK 編碼格式字符串 轉(zhuǎn)化成 Unicode
unicodeStr = gbkData.decode("gbk")
# 2. 再將 Unicode 編碼格式字符串轉(zhuǎn)換成 UTF-8
utf8Str = unicodeStr.encode("UTF-8")
decode的作用是將其它編碼的字符串轉(zhuǎn)換成Unicode編碼
encode的作用是將Unicode編碼轉(zhuǎn)換成其他編碼的字符串
一句話：UTF-8是對(duì)Unicode字符集記性編碼的一種編碼格式
