一继控、正則表達式

?1. 提取數(shù)據(jù)

正則表達式是對字符串操作的一種邏輯公式械馆，就是用事先定義好的一些特定字符、及這些特定字符的組合武通，組成一個“規(guī)則字符串”霹崎，這個“規(guī)則字符串”用來表達對字符串的一種過濾邏輯。正則表達式是用來匹配字符串非常強大的工具冶忱，在其他編程語言中同樣有正則表達式的概念尾菇，Python同樣不例外，利用了正則表達式朗和，我們想要從返回的頁面內(nèi)容提取出我們想要的內(nèi)容就易如反掌了

**規(guī)則**：模式 | 描述 ? ? ? ? --|--

^ | 匹配字符串的開頭

$ | 匹配字符串的末尾

. | 匹配任意字符错沽，除了換行符，當(dāng)re.DOTALL標記被指定時眶拉，則可以匹配包括換行符的任意字符

[...] | 用來表示一組字符,單獨列出：[amk] 匹配 'a'，'m'或'k'

[^...] | 不在[]中的字符：[^abc] 匹配除了a,b,c之外的字符

re* | 匹配0個或多個的表達式

re+ | 匹配1個或多個的表達式

re? | 匹配0個或1個由前面的正則表達式定義的片段憔儿，非貪婪方式

re{ n} |

re{ n,} | 精確匹配n個前面表達式

re{ n, m} | 匹配 n 到 m 次由前面的正則表達式定義的片段忆植，貪婪方式

a |? b | 匹配a或b

(re) | G匹配括號內(nèi)的表達式，也表示一個組

(?imx) | 正則表達式包含三種可選標志：i, m, 或 x 谒臼。只影響括號中的區(qū)域

(?-imx) | 正則表達式關(guān)閉 i, m, 或 x 可選標志朝刊。只影響括號中的區(qū)域

(?: re) | 類似 (...), 但是不表示一個組

(?imx: re) | 在括號中使用i, m, 或 x 可選標志

(?-imx: re) | 在括號中不使用i, m, 或 x 可選標志

(?#...) | 注釋

(?= re) | 前向肯定界定符。如果所含正則表達式蜈缤，以 ... 表示拾氓，在當(dāng)前位置成功匹配時成功，否則失敗底哥。但一旦所含表達式已經(jīng)嘗試咙鞍，匹配引擎根本沒有提高；模式的剩余部分還要嘗試界定符的右邊趾徽。

(?! re) | 前向否定界定符续滋。與肯定界定符相反；當(dāng)所含表達式不能在字符串當(dāng)前位置匹配時成功

(?> re) | 匹配的獨立模式孵奶，省去回溯

\w | 匹配字母數(shù)字及下劃線

\W | 匹配非字母數(shù)字及下劃線

\s | 匹配任意空白字符疲酌，等價于 [\t\n\r\f].

\S | 匹配任意非空字符

\d | 匹配任意數(shù)字，等價于 [0-9]

\D | 匹配任意非數(shù)字

\A | 匹配字符串開始

\Z | 匹配字符串結(jié)束，如果是存在換行朗恳，只匹配到換行前的結(jié)束字符串湿颅。c

\z | 匹配字符串結(jié)束

\G | 匹配最后匹配完成的位置

\b | 匹配一個單詞邊界，也就是指單詞和空格間的位置粥诫。例如肖爵， 'er\b' 可以匹配"never" 中的 'er'，但不能匹配 "verb" 中的 'er'

\B | 匹配非單詞邊界臀脏。'er\B' 能匹配 "verb" 中的 'er'劝堪，但不能匹配 "never" 中的 'er'

\n, \t, 等. | 匹配一個換行符。匹配一個制表符揉稚。等

\1...\9 | 匹配第n個分組的內(nèi)容

\10 | 匹配第n個分組的內(nèi)容秒啦，如果它經(jīng)匹配。否則指的是八進制字符碼的表達式

[\u4e00-\u9fa5]|中文

2. 正則表達式相關(guān)注解

1）數(shù)量詞的貪婪模式與非貪婪模式

正則表達式通常用于在文本中查找匹配的字符串

Python里數(shù)量詞默認是貪婪的（在少數(shù)語言里也可能是默認非貪婪）搀玖，總是嘗試匹配盡可能多的字符余境；非貪婪的則相反，總是嘗試匹配盡可能少的字符

例如：正則表達式”ab*”如果用于查找”abbbc”灌诅，將找到”abbb”芳来。而如果使用非貪婪的數(shù)量詞”ab*?”，將找到”a”

2）常用方法

- re.match

? ? -? re.match 嘗試從字符串的起始位置匹配一個模式猜拾，如果不是起始位置匹配成功的話即舌，match()就返回none

? ? - 函數(shù)語法：

? ? re.match(pattern, string, flags=0)

- re.search

? ? - re.search 掃描整個字符串并返回第一個成功的匹配。

? ? - 函數(shù)語法：

? ? re.search(pattern, string, flags=0)

- re.sub

? ? - re.sub 替換字符串

? ? re.sub(pattern,replace,string)

- re.findall

? ? - re.findall 查找全部

? ? re.findall(pattern,string,flags=0)

?3. 正則表達式修飾符 - 可選標志

?正則表達式可以包含一些可選標志修飾符來控制匹配的模式挎袜。修飾符被指定為一個可選的標志顽聂。多個標志可以通過按位 OR(|) 它們來指定。如 re.I | re.M 被設(shè)置成 I 和 M 標志：

修飾符|描述 ? ? ? ?? --|--

re.I|使匹配對大小寫不敏感

re.L|做本地化識別（locale-aware）匹配

re.M||多行匹配盯仪，影響 ^ 和

re.S|使 . 匹配包括換行在內(nèi)的所有字符

re.U|根據(jù)Unicode字符集解析字符紊搪。這個標志影響 \w, \W, \b, \B

re.X|該標志通過給予你更靈活的格式以便你將正則表達式寫得更易于理解

二、beautiful soup
?1. Beautiful Soup的簡介

?Beautiful Soup提供一些簡單的全景、python式的函數(shù)用來處理導(dǎo)航耀石、搜索、修改分析樹等功能爸黄。它是一個工具箱滞伟，通過解析文檔為用戶提供需要抓取的數(shù)據(jù)，因為簡單馆纳，所以不需要多少代碼就可以寫出一個完整的應(yīng)用程序诗良。

?Beautiful Soup自動將輸入文檔轉(zhuǎn)換為Unicode編碼，輸出文檔轉(zhuǎn)換為utf-8編碼鲁驶。你不需要考慮編碼方式鉴裹，除非文檔沒有指定一個編碼方式，這時，Beautiful Soup就不能自動識別編碼方式了径荔。然后督禽，你僅僅需要說明一下原始編碼方式就可以了。

?Beautiful Soup已成為和lxml总处、html6lib一樣出色的python解釋器狈惫，為用戶靈活地提供不同的解析策略或強勁的速度

[官網(wǎng)](http://beautifulsoup.readthedocs.io/zh_CN/latest/)http://beautifulsoup.readthedocs.io/zh_CN/latest/

2. Beautiful Soup 安裝

> Beautiful Soup 3 目前已經(jīng)停止開發(fā)，推薦在現(xiàn)在的項目中使用Beautiful Soup 4鹦马，不過它已經(jīng)被移植到BS4了,也就是說導(dǎo)入時我們需要 import bs4

pip install beautifulsoup4

> Beautiful Soup支持Python標準庫中的HTML解析器,還支持一些第三方的解析器胧谈，如果我們不安裝它，則 Python 會使用 Python默認的解析器荸频，lxml 解析器更加強大菱肖，速度更快，推薦安裝

解析器 | 使用方法 | 優(yōu)勢? | 劣勢

--- | --- | --- | ---

Python標準庫 | BeautifulSoup(markup, “html.parser”)| 1. Python的內(nèi)置標準庫? 2. 執(zhí)行速度適中 3.文檔容錯能力強 |Python 2.7.3 or 3.2.2)前的版本中文檔容錯能力差

lxml HTML 解析器 | BeautifulSoup(markup, “l(fā)xml”) | 1. 速度快 2.文檔容錯能力強? | 需要安裝C語言庫

lxml XML 解析器 | BeautifulSoup(markup, [“l(fā)xml”, “xml”])? BeautifulSoup(markup, “xml”) | 1. 速度快 2.唯一支持XML的解析器 3.需要安裝C語言庫

html5lib | BeautifulSoup(markup, “html5lib”) | 1. 最好的容錯性 2.以瀏覽器的方式解析文檔 3.生成HTML5格式的文檔 4.速度慢 | 不依賴外部擴展

?3. 創(chuàng)建 Beautiful Soup 對象

```

from bs4 import BeautifulSoup

bs = BeautifulSoup(html,"lxml")

```

4. 四大對象種類

> Beautiful Soup將復(fù)雜HTML文檔轉(zhuǎn)換成一個復(fù)雜的樹形結(jié)構(gòu),每個節(jié)點都是Python對象,所有對象可以歸納為4種:

- Tag

- NavigableString

- BeautifulSoup

- Comment

4.1 Tag 是什么旭从？

通俗點講就是 HTML 中的一個個標簽

例如：`<div>` `<title>`

使用方式：

```

#以以下代碼為例子

<div class='info' float='left'>Welcome to SXT</div>

? ? <span>Good Good Study</span>

? ? <a href='www.bjsxt.cn'></a>

? ? <strong></strong>

</div>

```

?4.1.1 獲取標簽

```

#以lxml方式解析

soup = BeautifulSoup(info, 'lxml')

print(soup.title)

# <title> ? </title>

```

**注意**

>相同的標簽只能獲取第一個符合要求的標簽

4.1.2 獲取屬性：

```

#獲取所有屬性

print(soup.title.attrs)

#class='info' float='left'

#獲取單個屬性的值

print(soup.div.get('class'))

print(soup.div['class'])

print(soup.a['href'])

#info

?4.2 NavigableString 獲取內(nèi)容

```

print(soup.title.string)

print(soup.title.text)

```

?4.3 BeautifulSoup

> BeautifulSoup 對象表示的是一個文檔的全部內(nèi)容.大部分時候,可以把它當(dāng)作 Tag 對象,它支持遍歷文檔樹和搜索文檔樹中描述的大部分的方法.

> 因為 BeautifulSoup 對象并不是真正的HTML或XML的tag,所以它沒有name和attribute屬性.但有時查看它的 .name 屬性是很方便的,所以 BeautifulSoup 對象包含了一個值為 “[document]” 的特殊屬性 .name

```

print(soup.name)

print(soup.head.name)

# [document]

# head

```

4.4 Comment

> Comment 對象是一個特殊類型的 NavigableString 對象稳强，其實輸出的內(nèi)容仍然不包括注釋符號，但是如果不好好處理它和悦，可能會對我們的文本處理造成意想不到的麻煩

```

if type(soup.strong.string)==Comment:

? ? print(soup.strong.prettify())

else:

? ? print(soup.strong.string)

```

5 搜索文檔樹

> Beautiful Soup定義了很多搜索方法,這里著重介紹2個: find() 和 find_all() .其它方法的參數(shù)和用法類似,請同學(xué)們舉一反三

5.1 過濾器

> 介紹 find_all() 方法前,先介紹一下過濾器的類型 ,這些過濾器貫穿整個搜索的API.過濾器可以被用在tag的name中,節(jié)點的屬性中,字符串中或他們的混合中

5.1.1 字符串

> 最簡單的過濾器是字符串.在搜索方法中傳入一個字符串參數(shù),Beautiful Soup會查找與字符串完整匹配的內(nèi)容,下面的例子用于查找文檔中所有的<div>標簽

```

#返回所有的div標簽

print(soup.find_all('div'))

```

> 如果傳入字節(jié)碼參數(shù),Beautiful Soup會當(dāng)作UTF-8編碼,可以傳入一段Unicode 編碼來避免Beautiful Soup解析編碼出錯

?5.1.2 正則表達式

如果傳入正則表達式作為參數(shù),Beautiful Soup會通過正則表達式的 match() 來匹配內(nèi)容

```

#返回所有的div標簽

print (soup.find_all(re.compile("^div")))

```

?5.1.3 列表

> 如果傳入列表參數(shù),Beautiful Soup會將與列表中任一元素匹配的內(nèi)容返回

```

#返回所有匹配到的span a標簽

print(soup.find_all(['span','a']))

?5.1.4 keyword

> 如果一個指定名字的參數(shù)不是搜索內(nèi)置的參數(shù)名,搜索時會把該參數(shù)當(dāng)作指定名字tag的屬性來搜索,如果包含一個名字為 id 的參數(shù),Beautiful Soup會搜索每個tag的”id”屬性

```

#返回id為welcom的標簽

print(soup.find_all(id='welcom'))

```

True

> True 可以匹配任何值,下面代碼查找到所有的tag,但是不會返回字符串節(jié)點

5.1.5 按CSS搜索

> 按照CSS類名搜索tag的功能非常實用,但標識CSS類名的關(guān)鍵字 class 在Python中是保留字,使用 class 做參數(shù)會導(dǎo)致語法錯誤.從Beautiful Soup的4.1.1版本開始,可以通過 class_ 參數(shù)搜索有指定CSS類名的tag

```

# 返回class等于info的div

print(soup.find_all('div',class_='info'))

?5.1.6 按屬性的搜索

```

soup.find_all("div", attrs={"class": "info"})

```

6. CSS選擇器（擴展）

soup.select(參數(shù))

表達式 | 說明

--|--

tag | 選擇指定標簽

* | 選擇所有節(jié)點

#id |選擇id為container的節(jié)點

.class |選取所有class包含container的節(jié)點

li a |選取所有l(wèi)i下的所有a節(jié)點

ul + p |(兄弟)選擇ul后面的第一個p元素

div#id > ul |(父子)選取id為id的div的第一個ul子元素

table ~ div |選取與table相鄰的所有div元素

a[title] |選取所有有title屬性的a元素

a[class=”title”] |選取所有class屬性為title值的a

a[href*=”sxt”] |選取所有href屬性包含sxt的a元素

a[href^=”http”] |選取所有href屬性值以http開頭的a元素

a[href$=”.png”] |選取所有href屬性值以.png結(jié)尾的a元素

input[type="redio"]:checked |選取選中的hobby的元素

三退疫、XPath

?1. 介紹

>之前 BeautifulSoup 的用法，這個已經(jīng)是非常強大的庫了鸽素，不過還有一些比較流行的解析庫褒繁，例如 lxml，使用的是 Xpath 語法付鹿，同樣是效率比較高的解析方法澜汤。如果大家對 BeautifulSoup 使用不太習(xí)慣的話，可以嘗試下 Xpath

[官網(wǎng)](http://lxml.de/index.html) http://lxml.de/index.html

[w3c](http://www.w3school.com.cn/xpath/index.asp) http://www.w3school.com.cn/xpath/index.asp

?2. 安裝

```

pip install lxml

```

?3. XPath語法

> XPath 是一門在 XML 文檔中查找信息的語言舵匾。XPath 可用來在 XML 文檔中對元素和屬性進行遍歷。XPath 是 W3C XSLT 標準的主要元素谁不，并且 XQuery 和 XPointer 都構(gòu)建于 XPath 表達之上

3.1 節(jié)點的關(guān)系

- 父（Parent）

- 子（Children）

- 同胞（Sibling）

- 先輩（Ancestor）

- 后代（Descendant）

3.2 選取節(jié)點

3.2.1 常用的路徑表達式

表達式 | 描述

--|--

nodename | 選取此節(jié)點的所有子節(jié)點

/ | 從根節(jié)點選取

// | 從匹配選擇的當(dāng)前節(jié)點選擇文檔中的節(jié)點坐梯，而不考慮它們的位置

. | 選取當(dāng)前節(jié)點

.. | 選取當(dāng)前節(jié)點的父節(jié)點

@ | 選取屬性

3.2.2 通配符

XPath 通配符可用來選取未知的 XML 元素。

通配符 | 描述 | 舉例 | 結(jié)果

--|-- |-- | --

* | 匹配任何元素節(jié)點|xpath('div/*') | 獲取div下的所有子節(jié)點

@* | 匹配任何屬性節(jié)點|xpath('div[@*]') |選取所有帶屬性的div節(jié)點

node() | 匹配任何類型的節(jié)點

3.2.3 選取若干路徑

通過在路徑表達式中使用“|”運算符刹帕，您可以選取若干個路徑

表達式 | 結(jié)果

--|--

xpath('//div`|`//table')|獲取所有的div與table節(jié)點

?3.2.4 謂語

謂語被嵌在方括號內(nèi)吵血，用來查找某個特定的節(jié)點或包含某個制定的值的節(jié)點

表達式 | 結(jié)果

--|--

xpath('/body/div[1]')|選取body下的第一個div節(jié)點

xpath('/body/div[last()]')|選取body下最后一個div節(jié)點

xpath('/body/div[last()-1]')|選取body下倒數(shù)第二個節(jié)點

xpath('/body/div[positon()<3]')|選取body下前丙個div節(jié)點

xpath('/body/div[@class]')|選取body下帶有class屬性的div節(jié)點

xpath('/body/div[@class="main"]')|選取body下class屬性為main的div節(jié)點

xpath('/body/div[price>35.00]')|選取body下price元素大于35的div節(jié)點

?3.2.5 XPath 運算符

運算符 | 描述 | 實例? | 返回值

--|--|--|--|

+ | 加法 | 6 + 4 | 10

– | 減法 | 6 – 4 | 2

* | 乘法 | 6 * 4 | 24

div | 除法 | 8 div 4 | 2

= | 等于 | price=9.80 | 如果 price 是 9.80，則返回 true偷溺。如果 price 是 9.90蹋辅，則返回 false。

!= | 不等于 | price!=9.80 | 如果 price 是 9.90挫掏，則返回 true侦另。如果 price 是 9.80，則返回 false。

< | 小于 | price<9.80 | 如果 price 是 9.00褒傅，則返回 true弃锐。如果 price 是 9.90，則返回 false殿托。

<= | 小于或等于 | price<=9.80 | 如果 price 是 9.00霹菊，則返回 true。如果 price 是 9.90支竹，則返回 false旋廷。

> | 大于 | price>9.80 | 如果 price 是 9.90，則返回 true礼搁。如果 price 是 9.80饶碘，則返回 false。

>= | 大于或等于 | price>=9.80 | 如果 price 是 9.90叹坦，則返回 true熊镣。如果 price 是 9.70，則返回 false募书。

or | 或 | price=9.80 or price=9.70 | 如果 price 是 9.80绪囱，則返回 true。如果 price 是 9.50莹捡，則返回 false鬼吵。

and | 與 | price>9.00 and price<9.90 | 如果 price 是 9.80，則返回 true篮赢。如果 price 是 8.50齿椅，則返回 false。

mod | 計算除法的余數(shù) | 5 mod 2 | 1

?3.3 使用

3.3.1 小例子

```

from lxml import etree

text = '''

<div>

? ? <ul>

? ? ? ? <li class="item-0"><a href="link1.html">first item</a></li>

? ? ? ? <li class="item-1"><a href="link2.html">second item</a></li>

? ? ? ? <li class="item-inactive"><a href="link3.html">third item</a></li>

? ? ? ? <li class="item-1"><a href="link4.html">fourth item</a></li>

? ? ? ? <li class="item-0"><a href="link5.html">fifth item</a>

? ? </ul>

</div>

'''

html = etree.HTML(text)

result = etree.tostring(html)

print(result)

```

首先我們使用 lxml 的 etree 庫启泣，然后利用 etree.HTML 初始化涣脚，然后我們將其打印出來。

其中寥茫，這里體現(xiàn)了 lxml 的一個非常實用的功能就是自動修正 html 代碼遣蚀，大家應(yīng)該注意到了，最后一個 li 標簽纱耻，其實我把尾標簽刪掉了芭梯，是不閉合的。不過弄喘，lxml 因為繼承了 libxml2 的特性玖喘，具有自動修正 HTML 代碼的功能。

所以輸出結(jié)果是這樣的

```

<div>

? ? <ul>

? ? ? ? <li class="item-0"><a href="link1.html">first item</a></li>

? ? ? ? <li class="item-1"><a href="link2.html">second item</a></li>

? ? ? ? <li class="item-inactive"><a href="link3.html">third item</a></li>

? ? ? ? <li class="item-1"><a href="link4.html">fourth item</a></li>

? ? ? ? <li class="item-0"><a href="link5.html">fifth item</a></li>

</ul>

</div>

</body></html>

```

不僅補全了 li 標簽蘑志，還添加了 body累奈，html 標簽贬派。

文件讀取

除了直接讀取字符串，還支持從文件讀取內(nèi)容费尽。比如我們新建一個文件叫做 hello.html赠群，內(nèi)容為

```

<div>

? ? <ul>

? ? ? ? <li class="item-0"><a href="link1.html">first item</a></li>

? ? ? ? <li class="item-1"><a href="link2.html">second item</a></li>

? ? ? ? <li class="item-inactive"><a href="link3.html"><span class="bold">third item</span></a></li>

? ? ? ? <li class="item-1"><a href="link4.html">fourth item</a></li>

? ? ? ? <li class="item-0"><a href="link5.html">fifth item</a></li>

? ? </ul>

</div>

```

利用 parse 方法來讀取文件

```

from lxml import etree

html = etree.parse('hello.html')

result = etree.tostring(html, pretty_print=True)

print(result)

```

同樣可以得到相同的結(jié)果

3.3.2 XPath具體使用

依然以上一段程序為例

1. 獲取所有的 `<li>` 標簽

```

from lxml import etree

html = etree.parse('hello.html')

print (type(html))

result = html.xpath('//li')

print (result)

print (len(result))

print (type(result))

print (type(result[0]))

```

運行結(jié)果

```

[<Element li at 0x1014e0e18>, <Element li at 0x1014e0ef0>, <Element li at 0x1014e0f38>, <Element li at 0x1014e0f80>, <Element li at 0x1014e0fc8>]

```

可見，etree.parse 的類型是 ElementTree旱幼，通過調(diào)用 xpath 以后查描，得到了一個列表，包含了 5 個 `<li>` 元素柏卤，每個元素都是 Element 類型

2. 獲取` <li> `標簽的所有 class

```

result = html.xpath('//li/@class')

print (result)

```

運行結(jié)果

```

['item-0', 'item-1', 'item-inactive', 'item-1', 'item-0']

```

3. 獲取 `<li>` 標簽下 href 為 link1.html 的 `<a>` 標簽

```

result = html.xpath('//li/a[@href="link1.html"]')

print (result)

```

運行結(jié)果

```

[<Element a at 0x10ffaae18>]

```

4. 獲取` <li> `標簽下的所有 `<span>` 標簽

**注意**: 這么寫是不對的

```

result = html.xpath('//li/span')

#因為 / 是用來獲取子元素的冬三，而 <span> 并不是 <li> 的子元素，所以缘缚，要用雙斜杠

result = html.xpath('//li//span')

print(result)

```

運行結(jié)果

```

[<Element span at 0x10d698e18>]

```

5. 獲取 `<li>` 標簽下的所有 class勾笆，不包括`<li>`

```

result = html.xpath('//li/a//@class')

print (resul)t

#運行結(jié)果

['blod']

```

6. 獲取最后一個 `<li>` 的 `<a>` 的 href

```

result = html.xpath('//li[last()]/a/@href')

print (result)

```

運行結(jié)果

```

['link5.html']

```

7. 獲取倒數(shù)第二個元素的內(nèi)容

```

result = html.xpath('//li[last()-1]/a')

print (result[0].text)

```

運行結(jié)果

```

fourth item

```

8. 獲取 class 為 bold 的標簽名

```

result = html.xpath('//*[@class="bold"]')

print (result[0].tag)

```

運行結(jié)果

```

span

```

#### 選擇XML文件中節(jié)點：

- element（元素節(jié)點）

- attribute（屬性節(jié)點）

- text （文本節(jié)點）

- concat(元素節(jié)點,元素節(jié)點)

- comment （注釋節(jié)點）

- root （根節(jié)點）

四、JsonPath

?1. JSON與JsonPATH

JSON(JavaScript Object Notation) 是一種輕量級的數(shù)據(jù)交換格式桥滨，它使得人們很容易的進行閱讀和編寫窝爪。同時也方便了機器進行解析和生成。適用于進行數(shù)據(jù)交互的場景齐媒，比如網(wǎng)站前臺與后臺之間的數(shù)據(jù)交互蒲每。

JSON和XML的比較可謂不相上下。

Python 中自帶了JSON模塊喻括，直接import json就可以使用了邀杏。

官方文檔：http://docs.python.org/library/json.html

Json在線解析網(wǎng)站：http://www.json.cn/#

?2. JSON

json簡單說就是javascript中的對象和數(shù)組，所以這兩種結(jié)構(gòu)就是對象和數(shù)組兩種結(jié)構(gòu)唬血，通過這兩種結(jié)構(gòu)可以表示各種復(fù)雜的結(jié)構(gòu)

1. 對象：對象在js中表示為{ }括起來的內(nèi)容望蜡，數(shù)據(jù)結(jié)構(gòu)為 { key：value, key：value, ... }的鍵值對的結(jié)構(gòu)，在面向?qū)ο蟮恼Z言中拷恨，key為對象的屬性脖律，value為對應(yīng)的屬性值，所以很容易理解腕侄，取值方法為對象.key 獲取屬性值状您，這個屬性值的類型可以是數(shù)字、字符串兜挨、數(shù)組、對象這幾種

2. 數(shù)組：數(shù)組在js中是中括號[ ]括起來的內(nèi)容眯分，數(shù)據(jù)結(jié)構(gòu)為 ["Python", "javascript", "C++", ...]拌汇，取值方式和所有語言中一樣，使用索引獲取弊决，字段值的類型可以是數(shù)字噪舀、字符串魁淳、數(shù)組、對象幾種

?3. Python中的json模塊

> json模塊提供了四個功能：dumps与倡、dump界逛、loads、load纺座，用于字符串和 python數(shù)據(jù)類型間進行轉(zhuǎn)換

?3.1 json.loads()

> 把Json格式字符串解碼轉(zhuǎn)換成Python對象從json到python的類型轉(zhuǎn)化對照如下：

```

import json

strList = '[1, 2, 3, 4]'

strDict = '{"city": "北京", "name": "范爺"}'

json.loads(strList)

# [1, 2, 3, 4]

json.loads(strDict) # json數(shù)據(jù)自動按Unicode存儲

# {u'city': u'\u5317\u4eac', u'name': u'\u5927\u732b'}

```

?3.2 json.dumps()

> 實現(xiàn)python類型轉(zhuǎn)化為json字符串息拜，返回一個str對象把一個Python對象編碼轉(zhuǎn)換成Json字符串

從python原始類型向json類型的轉(zhuǎn)化對照如下：

```

# json_dumps.py

import json

listStr = [1, 2, 3, 4]

tupleStr = (1, 2, 3, 4)

dictStr = {"city": "北京", "name": "范爺"}

json.dumps(listStr)

# '[1, 2, 3, 4]'

json.dumps(tupleStr)

# '[1, 2, 3, 4]'

# 注意：json.dumps() 序列化時默認使用的ascii編碼

# 添加參數(shù) ensure_ascii=False 禁用ascii編碼，按utf-8編碼

json.dumps(dictStr)

# '{"city": "\\u5317\\u4eac", "name": "\\u5927\\u5218"}'

print(json.dumps(dictStr, ensure_ascii=False))

# {"city": "北京", "name": "范爺"}

```

3.3 json.dump()

> 將Python內(nèi)置類型序列化為json對象后寫入文件

```

import json

listStr = [{"city": "北京"}, {"name": "范爺"}]

json.dump(listStr, open("listStr.json","w"), ensure_ascii=False)

dictStr = {"city": "北京", "name": "范爺"}

json.dump(dictStr, open("dictStr.json","w"), ensure_ascii=False)

```

3.4 json.load()

> 讀取文件中json形式的字符串元素轉(zhuǎn)化成python類型

```

import json

strList = json.load(open("listStr.json"))

print(strList)

# [{u'city': u'\u5317\u4eac'}, {u'name': u'\u5927\u5218'}]

strDict = json.load(open("dictStr.json"))

print(strDict)

# {u'city': u'\u5317\u4eac', u'name': u'\u5927\u5218'}

```

?4 JsonPath

JsonPath 是一種信息抽取類庫净响，是從JSON文檔中抽取指定信息的工具少欺，提供多種語言實現(xiàn)版本，包括：Javascript, Python馋贤， PHP 和 Java赞别。

JsonPath 對于 JSON 來說，相當(dāng)于 XPATH 對于 XML配乓。

安裝方法：`pip install jsonpath`

官方文檔：http://goessner.net/articles/JsonPath

?5 JsonPath與XPath語法對比

Json結(jié)構(gòu)清晰仿滔，可讀性高，復(fù)雜度低犹芹，非常容易匹配崎页，下表中對應(yīng)了XPath的用法

XPath | JSONPath | 描述

--|--|--

/ | $ | 根節(jié)點

. | @ | 現(xiàn)行節(jié)點

/ | .or[] | 取子節(jié)點

..| n/a| 取父節(jié)點，Jsonpath未支持

//| .. | 就是不管位置羽莺，選擇所有符合條件的條件

* | * |匹配所有元素節(jié)點

@ | n/a| 根據(jù)屬性訪問实昨，Json不支持，因為Json是個Key-value遞歸結(jié)構(gòu)盐固，不需要荒给。

[]| [] | 迭代器標示（可以在里邊做簡單的迭代操作，如數(shù)組下標刁卜，根據(jù)內(nèi)容選值等）

| | [,]| 支持迭代器中做多選志电。

[]| ?()| 支持過濾操作.

n/a| ()| 支持表達式計算

() |n/a| 分組，JsonPath不支持

6. 示例

我們以拉勾網(wǎng)城市JSON文件 http://www.lagou.com/lbs/getAllCitySearchLabels.json 為例蛔趴，獲取所有城市

```

from urllib.request import urlopen

from urllib.request import Request

import jsonpath

import json

url = 'http://www.lagou.com/lbs/getAllCitySearchLabels.json'

request =Request(url)

response = urlopen(request)

html = response.read()

# 把json格式字符串轉(zhuǎn)換成python對象

jsonobj = json.loads(html)

# 從根節(jié)點開始挑辆，匹配name節(jié)點

citylist = jsonpath.jsonpath(jsonobj,'$..name')

print(citylist)

print(type(citylist))

fp = open('city.json','w')

content = json.dumps(citylist, ensure_ascii=False)

print(content)

fp.write(content)

fp.close()

```

7. 注意事項

-? json.loads() 是把 Json格式字符串解碼轉(zhuǎn)換成Python對象，如果在json.loads的時候出錯孝情，要注意被解碼的Json字符的編碼鱼蝉。

如果傳入的字符串的編碼不是UTF-8的話，需要指定字符編碼的參數(shù) encoding

? ? ```

? ? dataDict = json.loads(jsonStrGBK);

? ? ```

- dataJsonStr是JSON字符串箫荡，假設(shè)其編碼本身是非UTF-8的話而是GBK 的魁亦，那么上述代碼會導(dǎo)致出錯，改為對應(yīng)的：

? ? ```

? ? dataDict = json.loads(jsonStrGBK, encoding="GBK");

? ? ```

- 如果 dataJsonStr通過encoding指定了合適的編碼羔挡，但是其中又包含了其他編碼的字符洁奈，則需要先去將dataJsonStr轉(zhuǎn)換為Unicode间唉，然后再指定編碼格式調(diào)用json.loads()

? ? ```

? ? dataJsonStrUni = dataJsonStr.decode("GB2312");

? ? dataDict = json.loads(dataJsonStrUni, encoding="GB2312");

? ? ```

?7.1 字符串編碼轉(zhuǎn)換

這是中國程序員最苦逼的地方坯临，什么亂碼之類的幾乎都是由漢字引起的

其實編碼問題很好搞定帜慢，只要記住一點：

**任何平臺的任何編碼都能和 Unicode 互相轉(zhuǎn)換**

UTF-8 與 GBK 互相轉(zhuǎn)換痊夭，那就先把UTF-8轉(zhuǎn)換成Unicode葵陵，再從Unicode轉(zhuǎn)換成GBK婿滓，反之同理蜜另。

```

# 這是一個 UTF-8 編碼的字符串

utf8Str = "你好地球"

# 1. 將 UTF-8 編碼的字符串轉(zhuǎn)換成 Unicode 編碼

unicodeStr = utf8Str.decode("UTF-8")

# 2. 再將 Unicode 編碼格式字符串轉(zhuǎn)換成 GBK 編碼

gbkData = unicodeStr.encode("GBK")

# 1. 再將 GBK 編碼格式字符串轉(zhuǎn)化成 Unicode

unicodeStr = gbkData.decode("gbk")

# 2. 再將 Unicode 編碼格式字符串轉(zhuǎn)換成 UTF-8

utf8Str = unicodeStr.encode("UTF-8")

```

decode的作用是將其他編碼的字符串轉(zhuǎn)換成 Unicode 編碼

encode的作用是將 Unicode 編碼轉(zhuǎn)換成其他編碼的字符串

一句話：UTF-8是對Unicode字符集進行編碼的一種編碼方式

五古今、PyQuery

1. pyquery

1.1 介紹

> 如果你對CSS選擇器與Jquery有有所了解闷愤，那么還有個解析庫可以適合你--Jquery

> [官網(wǎng)](https://pythonhosted.org/pyquery/)https://pythonhosted.org/pyquery/

1.2 安裝

> pip install pyquery

1.3 使用方式

1.3.1 初始化方式

- 字符串

```

? ? from pyquery import PyQuery as pq

? ? doc = pq(str)

? ? print(doc(tagname))

```

- url

```

? ? from pyquery import PyQuery as pq

? ? doc = pq(url='http://www.baidu.com')

? ? print(doc('title'))

```

- 文件

```

? ? from pyquery import PyQuery as pq

? ? doc = pq(filename='demo.html')

? ? print(doc(tagname))

```

1.3.2 選擇節(jié)點

- 獲取當(dāng)前節(jié)點

```

? ? from pyquery import PyQuery as pq

? ? doc = pq(filename='demo.html')

? ? doc('#main #top')

```

- 獲取子節(jié)點

? ? - 在doc中一層層寫出來

? ? - 獲取到父標簽后使用children方法

```

? ? from pyquery import PyQuery as pq

? ? doc = pq(filename='demo.html')

? ? doc('#main #top').children(

```

- 獲取父節(jié)點

? ? - 獲取到當(dāng)前節(jié)點后使用parent方法

- 獲取兄弟節(jié)點

? ? - 獲取到當(dāng)前節(jié)點后使用siblings方法

1.3.3 獲取屬性

```

? ? from pyquery import PyQuery as pq

? ? doc = pq(filename='demo.html')

? ? a = doc('#main #top')

? ? print(a.attrib['href'])

```

?1.3.4 獲取內(nèi)容

```

? ? from pyquery import PyQuery as pq

? ? doc = pq(filename='demo.html')

? ? div = doc('#main #top')

? ? print(a.html())

? ? print(a.text())

```

?1.3.5 樣例

```

from pyquery import PyQuery as pq

# 1.可加載一段HTML字符串喉钢，或一個HTML文件姆打，或是一個url地址，

d=pq("<html><title>hello</title></html>")

d=pq(filename=path_to_html_file)

d=pq(url='http://www.baidu.com')注意：此處url似乎必須寫全

# 2.html()和text() ——獲取相應(yīng)的HTML塊或文本塊肠虽，

p=pq("<head><title>hello</title></head>")

p('head').html()#返回<title>hello</title>

p('head').text()#返回hello

# 3.根據(jù)HTML標簽來獲取元素幔戏，

d=pq('<div><p>test 1</p><p>test 2</p></div>')

d('p')#返回[<p>,<p>]

print d('p')#返回<p>test 1</p><p>test 2</p>

print d('p').html()#返回test 1

# 注意：當(dāng)獲取到的元素不只一個時，html()方法只返回首個元素的相應(yīng)內(nèi)容塊

# 4.eq(index) ——根據(jù)給定的索引號得到指定元素税课。接上例闲延，若想得到第二個p標簽內(nèi)的內(nèi)容，則可以：

print d('p').eq(1).html() #返回test 2

# 5.filter() ——根據(jù)類名韩玩、id名得到指定元素垒玲，例：

d=pq("<div><p id='1'>test 1</p><p class='2'>test 2</p></div>")

d('p').filter('#1') #返回[<p#1>]

d('p').filter('.2') #返回[<p.2>]

# 6.find() ——查找嵌套元素，例：

d=pq("<div><p id='1'>test 1</p><p class='2'>test 2</p></div>")

d('div').find('p')#返回[<p#1>, <p.2>]

d('div').find('p').eq(0)#返回[<p#1>]

#7.直接根據(jù)類名找颓、id名獲取元素合愈，例：

d=pq("<div><p id='1'>test 1</p><p class='2'>test 2</p></div>")

d('#1').html()#返回test 1

d('.2').html()#返回test 2

# 8.獲取屬性值，例：

d=pq("<p id='my_id'><a )#返回my_id

# 9.修改屬性值击狮，例：

d('a').attr('href', 'http://baidu.com')把href屬性修改為了baidu

# 10.addClass(value) ——為元素添加類佛析，例：

d=pq('<div></div>')

d.addClass('my_class')#返回[<div.my_class>]

# 11.hasClass(name) #返回判斷元素是否包含給定的類，例：

d=pq("<div class='my_class'></div>")

d.hasClass('my_class')#返回True

# 12.children(selector=None) ——獲取子元素彪蓬，例：

d=pq("<span><p id='1'>hello</p><p id='2'>world</p></span>")

d.children()#返回[<p#1>, <p#2>]

d.children('#2')#返回[<p#2>]

# 13.parents(selector=None)——獲取父元素寸莫，例：

d=pq("<span><p id='1'>hello</p><p id='2'>world</p></span>")

d('p').parents()#返回[<span>]

d('#1').parents('span')#返回[<span>]

d('#1').parents('p')#返回[]

# 14.clone() ——返回一個節(jié)點的拷貝

#15.empty() ——移除節(jié)點內(nèi)容

# 16.nextAll(selector=None) ——返回后面全部的元素塊，例：

d=pq("<p id='1'>hello</p><p id='2'>world</p><img scr='' />")

d('p:first').nextAll()#返回[<p#2>, <img>]

d('p:last').nextAll()#返回[<img>]

# 17.not_(selector) ——返回不匹配選擇器的元素档冬，例：

d=pq("<p id='1'>test 1</p><p id='2'>test 2</p>")

d('p').not_('#2')#返回[<p#1>]

```

四、數(shù)據(jù)提取

一继控、正則表達式

?1. 提取數(shù)據(jù)

2. 正則表達式相關(guān)注解

1） 數(shù)量詞的貪婪模式與非貪婪模式

2）常用方法

?3. 正則表達式修飾符 - 可選標志

二、beautiful soup?1. Beautiful Soup的簡介

2. Beautiful Soup 安裝

?3. 創(chuàng)建 Beautiful Soup 對象

4. 四大對象種類

4.1 Tag 是什么旭从？

?4.1.1 獲取標簽

4.1.2 獲取屬性：

?4.2 NavigableString 獲取內(nèi)容

?4.3 BeautifulSoup

4.4 Comment

5 搜索文檔樹

5.1 過濾器

5.1.1 字符串

?5.1.2 正則表達式

?5.1.3 列表

?5.1.4 keyword

True

5.1.5 按CSS搜索

?5.1.6 按屬性的搜索

6. CSS選擇器（擴展）

三退疫、XPath

?1. 介紹

?2. 安裝

?3. XPath語法

3.1 節(jié)點的關(guān)系

3.2 選取節(jié)點

3.2.1 常用的路徑表達式

3.2.2 通配符

3.2.3 選取若干路徑

?3.2.4 謂語

?3.2.5 XPath 運算符

?3.3 使用

3.3.1 小例子

3.3.2 XPath具體使用

四、JsonPath

?1. JSON與JsonPATH

?2. JSON

?3. Python中的json模塊

?3.1 json.loads()

?3.2 json.dumps()

3.3 json.dump()

3.4 json.load()

?4 JsonPath

?5 JsonPath與XPath語法對比

6. 示例

7. 注意事項

?7.1 字符串編碼轉(zhuǎn)換

五古今、PyQuery

1. pyquery

1.1 介紹

1.2 安裝

1.3 使用方式

1.3.1 初始化方式

1.3.2 選擇節(jié)點

1.3.3 獲取屬性

?1.3.4 獲取內(nèi)容

?1.3.5 樣例

1）數(shù)量詞的貪婪模式與非貪婪模式

二、beautiful soup
?1. Beautiful Soup的簡介