R爬蟲(chóng)實(shí)踐—抓取國(guó)自然基金信息【上篇】簡(jiǎn)單介紹了如何爬取2016-2019年某一關(guān)鍵詞下的國(guó)自然信息岖瑰，當(dāng)需要一次獲取多種關(guān)鍵詞下的國(guó)自然信息時(shí)該怎么做鳖孤？比如咱們需要獲取lncRNA轻抱、miRNA奕剃、circRNA渣窜、腸道菌群吏垮、外泌體障涯，細(xì)胞焦亡等多個(gè)關(guān)鍵詞的國(guó)自然信息。

首先膳汪，分析各個(gè)關(guān)鍵詞下的首頁(yè)網(wǎng)址特征唯蝶，如下所示。

#lncRNA:'http://fund.zsci.com.cn/Index/index/title/lncRNA/start_year/2016/end_year/2019/xmid/0/search/1/p/1.html'
#miRNA: 'http://fund.zsci.com.cn/Index/index/title/miRNA/start_year/2016/end_year/2019/xmid/0/search/1/p/1.html'
#circRNA: "http://fund.zsci.com.cn/Index/index/title/circRNA/start_year/2016/end_year/2019/xmid/0/search/1/p/1.html"
#腸道菌群："http://fund.zsci.com.cn/Index/index/title/%E8%82%A0%E9%81%93%E8%8F%8C%E7%BE%A4/start_year/2016/end_year/2019/xmid/0/search/1/p/1.html"
......

發(fā)現(xiàn)由關(guān)鍵詞首頁(yè)網(wǎng)址由以下幾部分組成：

[http://fund.zsci.com.cn/Index/index/title/]
[關(guān)鍵詞]
[/start_year/2016/end_year/2019/xmid/0/search/1/p/1.html]

接著遗嗽，分析每個(gè)關(guān)鍵詞下的網(wǎng)址特征粘我，以lncRNA為例，如下所示痹换。

#http://fund.zsci.com.cn/Index/index/title/lncRNA/start_year/2016/end_year/2019/xmid/0/search/1/p/1.html
#http://fund.zsci.com.cn/Index/index/title/lncRNA/start_year/2016/end_year/2019/xmid/0/search/1/p/2.html
#.......
#http://fund.zsci.com.cn/Index/index/title/lncRNA/start_year/2016/end_year/2019/xmid/0/search/1/p/lastpage_number.html

發(fā)現(xiàn)關(guān)鍵詞所有網(wǎng)址由以下幾部分組成：

[http://fund.zsci.com.cn/Index/index/title/]+
[關(guān)鍵詞]+
[/start_year/2016/end_year/2019/xmid/0/search/1/p/]+
[頁(yè)碼]+
[.html]

然后征字，根據(jù)以上分析出的網(wǎng)頁(yè)規(guī)律，提前構(gòu)建網(wǎng)頁(yè)地址的各個(gè)部分娇豫。

s1 <- c("http://fund.zsci.com.cn/Index/index/title/")
s2 <- c("/start_year/2016/end_year/2019/xmid/0/search/1/p/1.html")
part1 <- c("http://fund.zsci.com.cn/Index/index/title/")
part2 <- c("/start_year/2016/end_year/2019/xmid/0/search/1/p/")
keys <- c("lncRNA","miRNA","circRNA","單細(xì)胞","腸道菌群","外泌體","RNA甲基化","細(xì)胞焦亡")

正式開(kāi)始爬取~~~利用兩次循環(huán)匙姜，依次爬取各個(gè)關(guān)鍵詞下的國(guó)自然信息。具體過(guò)程：先獲取第一個(gè)關(guān)鍵詞檢索首頁(yè)——獲取末頁(yè)的網(wǎng)址——獲取最大頁(yè)碼——依次循環(huán)抓取1到最大頁(yè)碼的信息——結(jié)束后再進(jìn)行第二個(gè)關(guān)鍵詞（同樣過(guò)程冯痢，循環(huán)往復(fù)）——直到最后一個(gè)關(guān)鍵詞的最后一頁(yè)——爬取結(jié)束搁料。

results <- data.frame(Title="題目",Author="負(fù)責(zé)人",Department="申請(qǐng)單位",
                      Type="研究類型",Project="項(xiàng)目批準(zhǔn)號(hào)",Date="批準(zhǔn)年度",Money="金額")

j <- 1
i <- 1

for (j in 1:length(keys)) {
  site <- paste0(s1,keys[j],s2)
  web <- read_html(site,encoding = "utf-8")
  lastpage_link <- web %>% html_nodes("div.layui-box a") %>% html_attr("href")
  lastpage_link <- paste0("http://fund.zsci.com.cn/",lastpage_link[length(lastpage_link)])
  lastpage_web <- read_html(lastpage_link,encoding = "utf-8")
  lastpage_number <-  lastpage_web %>% html_nodes("div.layui-box span.current") %>% html_text() %>% as.integer()
  print(lastpage_number)
  
  for(i in 1:lastpage_number){
    keysite <- paste0(part1,keys[j],part2,i,".html")
    web <- read_html(keysite,encoding = "utf-8")
    #---獲得基金標(biāo)題---
    Title <- web %>% html_nodes('ul a li h3') %>% html_text() # 標(biāo)題內(nèi)容解析
    Title
    #---獲得眾多信息---
    Information <- web %>% html_nodes('ul a li span') %>% html_text()  #獲取了負(fù)責(zé)人和單位信息
    Information
    #---獲取負(fù)責(zé)人信息---
    Author <-  Information[grep("負(fù)責(zé)人", Information)]
    Author
    #---獲得申請(qǐng)單位---
    Department <-  Information[grep("申請(qǐng)單位", Information)]
    Department
    #---獲取研究類型---
    jijintype <-  Information[grep("研究類型", Information)]
    jijintype
    #---獲得項(xiàng)目號(hào)---
    Project <-  Information[grep("項(xiàng)目批準(zhǔn)號(hào)", Information)]
    Project
    #---獲取批準(zhǔn)時(shí)間---
    Date <-  Information[grep("批準(zhǔn)年度", Information)]
    Date
    #---獲取基金金額---
    Money <- Information[grep("金額", Information)]
    Money 
    result <- data.frame(Title=Title,Author=Author,Department=Department,
                         Type=jijintype,Project=Project,Date=Date,Money=Money)
    
    results <- data.frame(Title="題目",Author="負(fù)責(zé)人",Department="申請(qǐng)單位",
                          Type="研究類型",Project="項(xiàng)目批準(zhǔn)號(hào)",Date="批準(zhǔn)年度",Money="金額")
    
    #合并所有頁(yè)面數(shù)據(jù)成數(shù)據(jù)框
    results <- rbind(results,result)
  }
    write.csv(results,file = paste0("2016-2019.",keys[j],".csv"))
}

最終爬取結(jié)果如下，每個(gè)關(guān)鍵詞條件下生成一個(gè)文件系羞。

image

往期回顧
R爬蟲(chóng)在工作中的一點(diǎn)妙用
R爬蟲(chóng)必備基礎(chǔ)——HTML和CSS初識(shí)
R爬蟲(chóng)必備基礎(chǔ)——靜態(tài)網(wǎng)頁(yè)+動(dòng)態(tài)網(wǎng)頁(yè)
R爬蟲(chóng)必備——rvest包的使用
R爬蟲(chóng)必備基礎(chǔ)——CSS+SelectorGadget
R爬蟲(chóng)必備基礎(chǔ)—Chrome開(kāi)發(fā)者工具(F12)
R爬蟲(chóng)必備基礎(chǔ)—HTTP協(xié)議
R爬蟲(chóng)必備—httr+POST請(qǐng)求類爬蟲(chóng)（網(wǎng)易云課堂）
R爬蟲(chóng)必備基礎(chǔ)—rvest為什么不用于動(dòng)態(tài)網(wǎng)頁(yè)郭计？
R爬蟲(chóng)必備——httr+GET請(qǐng)求類爬蟲(chóng)（解螺旋課程）
R爬蟲(chóng)實(shí)戰(zhàn)—抓取PubMed文章的基本信息
R爬蟲(chóng)實(shí)踐—抓取國(guó)自然基金信息【上篇】