【Python實(shí)戰(zhàn)】批量獲取WHO官網(wǎng)數(shù)據(jù)并導(dǎo)出excel(附下載鏈接)

最近需要人均預(yù)期壽命沛膳、人均健康預(yù)期壽命等衛(wèi)生健康方面的數(shù)據(jù)缨称,就去世界衛(wèi)生組織(WHO)找了找,發(fā)現(xiàn)里面相關(guān)的數(shù)據(jù)還挺多的汇在,而且還有數(shù)據(jù)APIwho.int/data/gho/info/gho-odata-api]铡恕,里面一共可以找到2000多個(gè)全球各國(guó)的關(guān)于健康方面的數(shù)據(jù)琢感,比如預(yù)期壽命、孕產(chǎn)婦死亡數(shù)等探熔。

這樣的話驹针,可以用python批量獲取WHO官網(wǎng)的數(shù)據(jù),之后想用的話可以從里面找了诀艰。

首先柬甥,先獲取關(guān)于指標(biāo)信息的數(shù)據(jù)[ghoapi.azureedge.net/api/Indicator],這個(gè)數(shù)據(jù)里有所有指標(biāo)名(IndicatorName)以及對(duì)應(yīng)的指標(biāo)編碼(IndicatorCode)其垄,而這個(gè)code就是用于構(gòu)造獲取數(shù)據(jù)鏈接url的苛蒲。

每個(gè)指標(biāo)的下載鏈接url都是 https://ghoapi.azureedge.net/api/ + IndicatorCode

出生時(shí)預(yù)期壽命(Life expectancy at birth (years))這個(gè)指標(biāo)為例,它對(duì)應(yīng)的IndicatorCode是WHOSIS_000001绿满,下載鏈接就是https://ghoapi.azureedge.net/api/WHOSIS_000001臂外,將該鏈接復(fù)制到瀏覽器,就可以看到這個(gè)指標(biāo)的相關(guān)數(shù)據(jù)了喇颁。

WHOSIS_000001.png

這個(gè)數(shù)據(jù)格式是Json格式漏健,肉眼不大好看,可以用python轉(zhuǎn)為數(shù)據(jù)框并導(dǎo)出excel橘霎。

好了蔫浆,以下是具體過(guò)程的代碼。

1. 獲取Indicators和DimensionValues文件

這兩個(gè)文件都是信息文件姐叁。

Indicators文件告訴你有哪些指標(biāo)瓦盛,DimensionValues文件告訴你之后的每個(gè)指標(biāo)中涉及到的一些維度(Dimension)洗显,比如,國(guó)家縮寫(xiě)分別對(duì)應(yīng)什么國(guó)家谭溉,可以算是個(gè)值標(biāo)簽文件吧墙懂。

import requests
import pandas as pd

# 獲取數(shù)據(jù)
def request_data(url):    
    req = requests.get(url, timeout = 30)  # 請(qǐng)求連接
    req_jason = req.json()  # 獲取數(shù)據(jù)
    return req_jason

# 轉(zhuǎn)為df
def to_df(url):
    data = request_data(url)
    value = data['value']
    df = pd.DataFrame(value)
    return df

# df導(dǎo)出excel
def to_excel(url, fname):
    df = to_df(url)
    df.to_excel(fname, index = 0)
    
################################################獲取 Indicators
url = "https://ghoapi.azureedge.net/api/Indicator"
fname = 'WHO_Indicators.xlsx'
to_excel(url, fname)

###################################################### 獲取指標(biāo)值
url = "https://ghoapi.azureedge.net/api/DIMENSION/COUNTRY/DimensionValues"
fname = "DimensionValues.xlsx"
to_excel(url,fname)

導(dǎo)出的WHO_Indicators.xlsx的部分截圖:

英文指標(biāo)名看起來(lái)有些費(fèi)勁,所以扮念,就用百度翻譯API批量翻譯了一下指標(biāo)名,這樣看起來(lái)不用那么費(fèi)勁~

Indicators.png

導(dǎo)出的DimensionValues.xlsx的部分截圖:


DimensionValues.png

2. 所有指標(biāo)的數(shù)據(jù)

正如上面所說(shuō)碧库,根據(jù)Indicators文件里的IndicatorCode下載每個(gè)指標(biāo)數(shù)據(jù)柜与,并以指標(biāo)名作為文件名導(dǎo)出excel。

import requests
import pandas as pd
import time,re,random


# WHO
# 獲取數(shù)據(jù)
def request_data(url):    
    headers = {'User-Agent':"Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3"}
    # 嘗試
    attempts = 0
    success = False
    while attempts < 10 and not success:
        try:
            req = requests.get(url, timeout = 30, headers = headers)  # 請(qǐng)求連接
            success = True
        except:
            attempts += 1
            if attempts == 10:
                break
    req_jason = req.json()  # 獲取數(shù)據(jù)
    # time.sleep(random.random()*2)
    return req_jason

# 轉(zhuǎn)為df
def to_df(url):
    data = request_data(url)
    value = data['value']
    df = pd.DataFrame(value)
    return df

# df導(dǎo)出excel
def to_excel(url, fname):
    df = to_df(url)
    df.to_excel(fname, index = 0)
######################################################## 根據(jù)Indicators將所有數(shù)據(jù)下載下來(lái)
url = "https://ghoapi.azureedge.net/api/Indicator"
df = to_df(url)
# 生成序號(hào)嵌灰,便于后續(xù)對(duì)應(yīng)excel
df['SequenceNumber'] = range(len(df))

for i in range(len(df)):
    dataurl = "https://ghoapi.azureedge.net/api/" + df['IndicatorCode'][i]
    IndicatorName = re.sub(r'[(](.*)[)]','',df['IndicatorName'][i])
    IndicatorName = IndicatorName.replace('_','').replace(' ','_').replace("'","").replace(">","").replace("<","").replace(":","").replace("/","")
    fname = str(df['SequenceNumber'][i]) + '_' + IndicatorName + '.xlsx'
    to_excel(dataurl, fname)
    print(fname, '已保存', '進(jìn)度:{:.2%}'.format(i/len(df)))

導(dǎo)出的數(shù)據(jù)文件部分截圖:


數(shù)據(jù)文件.png

GZ號(hào):amazingdata (數(shù)據(jù)格子鋪)
后臺(tái)回復(fù):WHO弄匕,可獲取這2000多個(gè)指標(biāo)數(shù)據(jù)excel文件的下載鏈接。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末沽瞭,一起剝皮案震驚了整個(gè)濱河市迁匠,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌驹溃,老刑警劉巖城丧,帶你破解...
    沈念sama閱讀 218,682評(píng)論 6 507
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異豌鹤,居然都是意外死亡亡哄,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,277評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門(mén)布疙,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)蚊惯,“玉大人,你說(shuō)我怎么就攤上這事灵临〗匦停” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 165,083評(píng)論 0 355
  • 文/不壞的土叔 我叫張陵儒溉,是天一觀的道長(zhǎng)宦焦。 經(jīng)常有香客問(wèn)我,道長(zhǎng)睁搭,這世上最難降的妖魔是什么赶诊? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,763評(píng)論 1 295
  • 正文 為了忘掉前任,我火速辦了婚禮园骆,結(jié)果婚禮上舔痪,老公的妹妹穿的比我還像新娘。我一直安慰自己锌唾,他們只是感情好锄码,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,785評(píng)論 6 392
  • 文/花漫 我一把揭開(kāi)白布夺英。 她就那樣靜靜地躺著,像睡著了一般滋捶。 火紅的嫁衣襯著肌膚如雪痛悯。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 51,624評(píng)論 1 305
  • 那天重窟,我揣著相機(jī)與錄音载萌,去河邊找鬼。 笑死巡扇,一個(gè)胖子當(dāng)著我的面吹牛扭仁,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播厅翔,決...
    沈念sama閱讀 40,358評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼乖坠,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了刀闷?” 一聲冷哼從身側(cè)響起熊泵,我...
    開(kāi)封第一講書(shū)人閱讀 39,261評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎甸昏,沒(méi)想到半個(gè)月后顽分,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,722評(píng)論 1 315
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡筒扒,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,900評(píng)論 3 336
  • 正文 我和宋清朗相戀三年怯邪,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片花墩。...
    茶點(diǎn)故事閱讀 40,030評(píng)論 1 350
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡悬秉,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出冰蘑,到底是詐尸還是另有隱情和泌,我是刑警寧澤,帶...
    沈念sama閱讀 35,737評(píng)論 5 346
  • 正文 年R本政府宣布祠肥,位于F島的核電站武氓,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏仇箱。R本人自食惡果不足惜县恕,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,360評(píng)論 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望剂桥。 院中可真熱鬧忠烛,春花似錦、人聲如沸权逗。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,941評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至师坎,卻和暖如春恕酸,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背胯陋。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,057評(píng)論 1 270
  • 我被黑心中介騙來(lái)泰國(guó)打工蕊温, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人遏乔。 一個(gè)月前我還...
    沈念sama閱讀 48,237評(píng)論 3 371
  • 正文 我出身青樓寿弱,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親按灶。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,976評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容