vigiaccess是世界衛(wèi)生組織收集藥品不良反應(yīng)的數(shù)據(jù)庫，可以查詢到各種藥品的不良反應(yīng)坑夯，本文是以爬取藥品的不良反應(yīng)為目標(biāo)岖寞，本文僅供學(xué)習(xí)交流！柜蜈！

一仗谆、分析網(wǎng)站特點，找到可以request的URL

1.分析網(wǎng)站

1.用谷歌瀏覽器打開網(wǎng)站http://www.vigiaccess.org/按F12進入調(diào)試模式淑履，在Network 里點擊XHR隶垮。進入網(wǎng)站在網(wǎng)站里輸入藥品名，我這輸入的是Bisoprolol秘噪，然后點開Adverse drug reactions (ADRs)進入最里層狸吞。可以在XHR里就看到紅色大框里的這3個文件。

2.第一個文件 drug?tradename=Bisoprolol 返回的是藥品在數(shù)據(jù)庫里的查詢id蹋偏，我這里輸入的藥品是Bisoprolol便斥，所以返回的是1uNwu7s8xez4ME7Jg8fprw%3D%3D這么一串。我們先點擊 drug?tradename=Bisoprolol 文件威始，再點擊Preview就可以看到椭住。

3.點擊第二個文件distributions?agegroupFilter=&continentFilter=&rea…&substanc，再點擊Preview字逗，可以看到這個返回的是一級目錄Adverse drug reactions (ADRs)等和它的二級目錄及其二級目錄的查詢id京郑。

4.點擊第三個文件preferredterms?agegroupFilter=&continentFilter=&re…&s，再點擊Preview葫掉，可以看到是具體的不良反應(yīng)（ADR）些举。

2.獲取URL

分別點擊以上3個文件的Headers，可以看到鏈接Request URL俭厚。

第一個文件的鏈接：https://api.who-umc.org/vigibase/icsrstatistics/dimensions/drug?tradename=Bisoprolol户魏，可以看到 tradename=Bisoprolol，等于號后面的就是我們輸入的藥品Bisoprolol挪挤，所以我們只需修改等于號后面的就可以得到其他藥品查詢ID叼丑。我這里輸入的藥品是Bisoprolol，所以返回的藥品查詢ID是：1uNwu7s8xez4ME7Jg8fprw%3D%3D扛门。
第二個文件的鏈接：https://api.who-umc.org/vigibase/icsrstatistics/distributions?agegroupFilter=&continentFilter=&reactionFilter=&sexFilter=&substanceFilter=1uNwu7s8xez4ME7Jg8fprw%253D%253D鸠信，可以看到substanceFilter=1uNwu7s8xez4ME7Jg8fprw%253D%253D，等于號后面的就是藥品的查詢ID（第一個文件返回的數(shù)據(jù)）论寨，所以我們只需修改等于號后面的就可以得到目錄數(shù)據(jù)星立，返回的數(shù)據(jù)里有二級目錄的ADR查詢ID。
第三個文件的鏈接：
https://api.who-umc.org/vigibase/icsrstatistics/distributions/reactions/preferredterms?agegroupFilter=&continentFilter=&reactionFilter=1qyE%252FhX5pLN1fUGPIVfAtQ%253D%253D
&resultLimit=50&resultStart=0&sexFilter=&substanceFilter=1uNwu7s8xez4ME7Jg8fprw%253D%253D葬凳，可以看到reactionFilter=1qyE%252FhX5pLN1fUGPIVfAtQ%253D%253D绰垂，等于號后面的就是第二個文件返回的二級目錄ADR查詢ID；還可以看到substanceFilter=1uNwu7s8xez4ME7Jg8fprw%253D%253D火焰，就是第二個文件里的鏈接后面部分即藥品的查詢ID劲装。

3.爬蟲思路

先用藥品名拼接第一個文件里的url，requests得到藥品的查詢id昌简。再用藥品的查詢id拼接第二個文件里的url占业，requests得到二級目錄ADR的查詢id。最后用二級目錄ADR的查詢id拼接第三個文件里的url江场，requests得到具體的ADR纺酸。

二窖逗、具體代碼

# -*- coding: utf-8 -*-
from urllib import parse
import requests
import time
#查詢藥id的url
url_id ="https://api.who-umc.org/vigibase/icsrstatistics/dimensions/drug?tradename="
#查詢分級Id的url
url_drug="https://api.who-umc.org/vigibase/icsrstatistics/distributions?agegroupFilter=&continentFilter=&reactionFilter=&sexFilter=&substanceFilter="
#不良反應(yīng)信息的url,兩部分組成
url_info_1="https://api.who-umc.org/vigibase/icsrstatistics/distributions/reactions/preferredterms?agegroupFilter=&continentFilter=&reactionFilter="
url_info_2="&resultLimit=50&resultStart=0&sexFilter=&substanceFilter="


#瀏覽器里的headers
headers={
    "Accept": "application/json, text/plain, */*",
    "Accept-Encoding": "gzip, deflate, br",
    "Accept-Language": "zh-CN,zh;q=0.9",
    "Authorization": "Basic VmlnaUJhc2VBY2Nlc3NDbGllbnQ6cHN3ZDRWaUE=",
    "Connection": "keep-alive",
    "Host": "api.who-umc.org",
    "Origin": "http://www.vigiaccess.org",
    "Referer": "http://www.vigiaccess.org/",
    "Sec-Fetch-Dest": "empty",
    "Sec-Fetch-Mode": "cors",
    "Sec-Fetch-Site": "cross-site",
    "umc-client-key": "6d851d41-f558-4805-a9a6-08df0e0e414b",
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36"
}


#抓取藥品Id
def crawlDrugId(url):
    try:
        data=requests.get(url=url,headers=headers,timeout=10)
        print("抓取藥品Id連接服務(wù)器狀態(tài)：",data)
        drug_id=data.json()[0]["Code"]
        return drug_id
    except:
        return ""

#抓取分級Id
def scaleId(url):
    try:
        data=requests.get(url=url,headers=headers,timeout=10)
        print("抓取分級Id連接服務(wù)器狀態(tài)：",data)
        data=data.json()["AdrObservations"]
        scale=[]
        #scale={}
        for i in data:
            # Group=i["Group"]
            GroupId = i["GroupId"]
            # NumberOfReports=i["NumberOfReports"]
            # scale[Group]=GroupId
            scale.append(GroupId)
        return scale
    except:
        return ""

#抓取不良反應(yīng)信息
def crawlAdrInfo(url):
    try:
        data=requests.get(url=url,headers=headers,timeout=10)
        print("抓取不良反應(yīng)信息連接服務(wù)器狀態(tài)：",data)
        data=data.json()["Observations"]
        adr_info={}
        for i in data:
            Group=i["Group"]
            NumberOfReports=i["NumberOfReports"]
            adr_info[Group]=NumberOfReports
        return adr_info
    except:
        return ""


def main(drugList):
    data=[]
    for i in range(len(drugList)):
        drugName=drugList[i]
        new_url_id = url_id + drugName   #拼接url
        drug_id = crawlDrugId(new_url_id) #抓取藥品Id
        time.sleep(1)
        drug_id = parse.quote(drug_id)   #將數(shù)據(jù)進行url編碼
        new_url_drug = url_drug + drug_id#拼接url
        scale = scaleId(new_url_drug)#抓取分級頁Id
        time.sleep(1)
        adr_info_all = {}
        for s in scale:
            s = parse.quote(s)  #將數(shù)據(jù)進行url編碼
            url_info = url_info_1 + s + url_info_2 + drug_id#拼接url
            adr_info = crawlAdrInfo(url_info)#抓取不良反應(yīng)信息
            time.sleep(1)
            adr_info_all.update(adr_info)
        print(adr_info_all)
        data.append(adr_info_all)
    return data

if __name__=="__main__":
    start_time = time.time()
    drug=["Bisoprolol"]   
    data=main(drug)
    print(data)
    print("successful,任務(wù)完成Ｖ贩瘛！")
    end_time = time.time()
    uesd_time = end_time - start_time
    print("總用時：", uesd_time)

三、結(jié)束

上面代碼只是簡單實現(xiàn)了這個網(wǎng)站數(shù)據(jù)爬取佑附，還得根據(jù)實際項目需要再做修改樊诺。注意：request 的時候，有時網(wǎng)站未響應(yīng)或者響應(yīng)超時音同，需添加代碼多request幾次词爬。

使用python和requests爬取世界衛(wèi)生組織vigiaccess不良反應(yīng)數(shù)據(jù)庫