XPath爬取LEED項目得分表


題圖來自日本攝影師RK鏡頭下的重慶

重慶某綠色建筑示范樓
自2006年開始美國綠色建筑協(xié)會要求參評項目全部轉(zhuǎn)為電子注冊網(wǎng)上提交梧田,并會在USGBC網(wǎng)站上公布每個參評LEED項目的詳細信息渠退。以重慶某綠色建筑示范樓為例庇忌,由下圖可見睛挚,該項目的專屬頁面提供了包括項目名稱、地址枷遂、所在城市樱衷、認證項目及認證等級、獲得認證的時間等在內(nèi)的項目概況酒唉,以及項目的評分明細,并可下載到該項目的pdf格式Scorecard得分明細表沸移。為便于后續(xù)進一步分析痪伦,考慮利用XPath解析出網(wǎng)頁中的表格。
LEED項目頁面及PDF得分表

該項目參評了針對既有建筑節(jié)能的LEED O+M: Existing Buildings v3 認證雹锣,得分66分网沾,于2018年7月獲Gold(金級)認證。
LEED OM: EB從項目選址蕊爵、能效辉哥、材料、室內(nèi)環(huán)境等8個方面對參評項目加以評分攒射,總分110分醋旦,各評價指標評分子項得分之和若超過40分便可取得相應(yīng)等級的LEED認證。評價指標具體設(shè)置如下表所示会放。

評分項 設(shè)置得分
Sustainable Sites(可持續(xù)性場地) 26
Water Efficiency(節(jié)水增效) 14
Energy & Atmosphere(能源與大氣) 23
Material & Resources(材料與資源) 10
Indoor Environmental Quality(室內(nèi)環(huán)境品質(zhì)) 15
Innovation(創(chuàng)新與設(shè)計) 6
Regional Priority Credits(因地制宜) 4
Integrative Process Credits. (項目合作) 2
40-49 50-59 60-79 80+
Cerfified(認證級) Silver(銀級) Gold(金級) Platinum(白金級)

為爬取得分明細表的內(nèi)容饲齐,對該項目頁面加以分析可見,得分明細表位于類名為"sh-content plainlist"的ul項目下咧最。每行表單包括評分子項名稱捂人、相應(yīng)的描述御雕、具體分值三列。找出各列所對應(yīng)的XPath路徑后剩下的工作就比較簡單了滥搭。


頁面分析

代碼如下:

import pandas as pd
import requests
from lxml import etree

url = "https://www.usgbc.org/projects/green-demonstration-building"
res = requests.get(url, timeout=10)
html = etree.HTML(res.text)

table_list = html.xpath('//ul[@class="sh-content plainlist"]')

items = table_list[0].xpath('//strong/a[1]/text()')
items = [x.replace('\n','').strip() for x in items ] #替換文本中的\n字符

descript =table_list[0].xpath('//li/text()[2]')
descript = [str for str in descript if not str == '\n'] #刪去空字符

scores = table_list[0].xpath('//span[@class="num"]/text()')
scores = [x.replace('\n','') for x in scores ]

scoreboard = pd.DataFrame({'item': items ,
                           'descript': descript ,
                           'scores': scores })

運行代碼得到的結(jié)果酸纲。

XPath解析出的得分表

從結(jié)果來看,XPath已將得分明細表完整無誤的解析瑟匆。通過split()命令還可方便的提取出第三列中'/'前的實際得分福青,‘/’后的是每個評價指標評分子項的滿分分值。對于后續(xù)的數(shù)據(jù)分析而言脓诡,關(guān)心的是本項目在每個評價指標上的實際得分无午,亦即上圖中分子位置上的數(shù)值。
有一點小小的遺憾是祝谚,項目頁面上的評分子項的得分格式并未完全統(tǒng)一宪迟。如“因地制宜”等評分子項中(上圖右側(cè)58-60),網(wǎng)頁中沒有該評分子項的設(shè)置分數(shù)交惯,而是只給出了本項目的得分次泽。 這一點也不是XPath的能力不足,而是網(wǎng)頁根本沒有給出席爽。
如果實在是想要保留評分規(guī)則中對于每個評價指標的設(shè)置分值的話意荤,可以查閱相應(yīng)的LEED 2009 for Existing Buildings: Operations & Maintenance 評分規(guī)則。該分值設(shè)置也可該項目的Scorecard.pdf文件獲得只锻,或許下步可考慮python解析Scorecard.pdf文件來獲取得分表玖像。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市齐饮,隨后出現(xiàn)的幾起案子捐寥,更是在濱河造成了極大的恐慌,老刑警劉巖祖驱,帶你破解...
    沈念sama閱讀 216,372評論 6 498
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件握恳,死亡現(xiàn)場離奇詭異,居然都是意外死亡捺僻,警方通過查閱死者的電腦和手機乡洼,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,368評論 3 392
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來匕坯,“玉大人束昵,你說我怎么就攤上這事⌒延保” “怎么了妻怎?”我有些...
    開封第一講書人閱讀 162,415評論 0 353
  • 文/不壞的土叔 我叫張陵,是天一觀的道長泞歉。 經(jīng)常有香客問我逼侦,道長匿辩,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,157評論 1 292
  • 正文 為了忘掉前任榛丢,我火速辦了婚禮铲球,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘晰赞。我一直安慰自己稼病,他們只是感情好,可當我...
    茶點故事閱讀 67,171評論 6 388
  • 文/花漫 我一把揭開白布掖鱼。 她就那樣靜靜地躺著然走,像睡著了一般。 火紅的嫁衣襯著肌膚如雪戏挡。 梳的紋絲不亂的頭發(fā)上芍瑞,一...
    開封第一講書人閱讀 51,125評論 1 297
  • 那天,我揣著相機與錄音褐墅,去河邊找鬼拆檬。 笑死,一個胖子當著我的面吹牛妥凳,可吹牛的內(nèi)容都是我干的竟贯。 我是一名探鬼主播,決...
    沈念sama閱讀 40,028評論 3 417
  • 文/蒼蘭香墨 我猛地睜開眼逝钥,長吁一口氣:“原來是場噩夢啊……” “哼屑那!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起晌缘,我...
    開封第一講書人閱讀 38,887評論 0 274
  • 序言:老撾萬榮一對情侶失蹤齐莲,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后磷箕,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,310評論 1 310
  • 正文 獨居荒郊野嶺守林人離奇死亡阵难,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,533評論 2 332
  • 正文 我和宋清朗相戀三年岳枷,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片呜叫。...
    茶點故事閱讀 39,690評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡空繁,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出朱庆,到底是詐尸還是另有隱情盛泡,我是刑警寧澤,帶...
    沈念sama閱讀 35,411評論 5 343
  • 正文 年R本政府宣布娱颊,位于F島的核電站傲诵,受9級特大地震影響凯砍,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜拴竹,卻給世界環(huán)境...
    茶點故事閱讀 41,004評論 3 325
  • 文/蒙蒙 一悟衩、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧栓拜,春花似錦座泳、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,659評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至啦鸣,卻和暖如春潮饱,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背赏陵。 一陣腳步聲響...
    開封第一講書人閱讀 32,812評論 1 268
  • 我被黑心中介騙來泰國打工饼齿, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人蝙搔。 一個月前我還...
    沈念sama閱讀 47,693評論 2 368
  • 正文 我出身青樓缕溉,卻偏偏與公主長得像,于是被迫代替她去往敵國和親吃型。 傳聞我的和親對象是個殘疾皇子证鸥,可洞房花燭夜當晚...
    茶點故事閱讀 44,577評論 2 353