最近擔(dān)心一直關(guān)注的公眾號的文章突然失蹤讶泰，心心念念的文章一定要拽住自己手中才好馒闷。于是找了各種辦法，其實(shí)網(wǎng)上有代理采集的归榕，想想為了長久之計(jì)還是自己研究一個(gè)辦法出來尸红。

于是百度谷歌必應(yīng)各種搜索引擎上手，第一次爬蟲經(jīng)歷就這樣花生了~~~

好吧，其實(shí)也完全是照抄外里，感謝大神怎爵！

還沒有安裝python可以先下載一個(gè)anoconda3：https://www.anaconda.com/

1.終端加載python selenium模塊包

加載包

#!/usr/bin/env python3
# -*- coding: utf-8 -*-

'a html to pdf model'
'''
使用示例：python htmltopdf_dl.py www.taobao.com baidu.pdf
'''
_author_ = 'dengling'

import pdfkit
import sys

def htmltopdf_dl():
    ags = sys.argv
    pdfkit.from_url(ags[1],ags[2])

if __name__ =='__main__':
    htmltopdf_dl()

8.缺點(diǎn)：（1）用這個(gè)方法只在一個(gè)安靜平和的夜晚奇妙地爬完了所有的文章茉稠。其余時(shí)候再也沒有完整的爬取過所有的鏈接了。（2）因?yàn)楸４姹镜豩tml時(shí)參數(shù)識別標(biāo)題的特殊符號比如''時(shí)會出錯(cuò)把夸，所以不能一下子全轉(zhuǎn)換過來而线。（3）圖片不能一起保存下來。

完整代碼：

# -*- coding: utf-8 -*-

from selenium import webdriver
import time
import json
import requests
import re
import random

#微信公眾號賬號
user="你的賬戶"
#公眾號密碼
password="你的密碼"
#設(shè)置要爬取的公眾號列表
gzlist=['公眾號名字']

#登錄微信公眾號恋日，獲取登錄之后的cookies信息膀篮，并保存到本地文本中
def weChat_login():
    #定義一個(gè)空的字典，存放cookies內(nèi)容
    post={}

    #用webdriver啟動(dòng)谷歌瀏覽器
    print("啟動(dòng)瀏覽器岂膳，打開微信公眾號登錄界面")
    driver = webdriver.Chrome(executable_path='E:\微信公眾號\chromedriver.exe')
    #打開微信公眾號登錄頁面
    driver.get('https://mp.weixin.qq.com/')
    #等待5秒鐘
    time.sleep(5)
    print("正在輸入微信公眾號登錄賬號和密碼......")
    #清空賬號框中的內(nèi)容
    driver.find_element_by_xpath("./*//input[@id='account']").clear()
    #自動(dòng)填入登錄用戶名
    driver.find_element_by_xpath("./*//input[@id='account']").send_keys(user)
    #清空密碼框中的內(nèi)容
    driver.find_element_by_xpath("./*//input[@id='pwd']").clear()
    #自動(dòng)填入登錄密碼
    driver.find_element_by_xpath("./*//input[@id='pwd']").send_keys(password)

    # 在自動(dòng)輸完密碼之后需要手動(dòng)點(diǎn)一下記住我
    print("請?jiān)诘卿浗缑纥c(diǎn)擊:記住賬號")
    time.sleep(10)
    #自動(dòng)點(diǎn)擊登錄按鈕進(jìn)行登錄
    driver.find_element_by_xpath("./*//a[@id='loginBt']").click()
    # 拿手機(jī)掃二維碼誓竿！
    print("請拿手機(jī)掃碼二維碼登錄公眾號")
    time.sleep(20)
    print("登錄成功")
    #重新載入公眾號登錄頁，登錄之后會顯示公眾號后臺首頁谈截，從這個(gè)返回內(nèi)容中獲取cookies信息
    driver.get('https://mp.weixin.qq.com/')
    #獲取cookies
    cookie_items = driver.get_cookies()

    #獲取到的cookies是列表形式筷屡，將cookies轉(zhuǎn)成json形式并存入本地名為cookie的文本中
    for cookie_item in cookie_items:
        post[cookie_item['name']] = cookie_item['value']
    cookie_str = json.dumps(post)
    with open('cookie.txt', 'w+', encoding='utf-8') as f:
        f.write(cookie_str)
    print("cookies信息已保存到本地")

#爬取微信公眾號文章涧偷，并存在本地文本中
def get_content(query):
    #query為要爬取的公眾號名稱
    #公眾號主頁
    url = 'https://mp.weixin.qq.com'
    #設(shè)置headers
    header = {
        "HOST": "mp.weixin.qq.com",
        "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:53.0) Gecko/20100101 Firefox/53.0"
        }

    #讀取上一步獲取到的cookies
    with open('cookie.txt', 'r', encoding='utf-8') as f:
        cookie = f.read()
    cookies = json.loads(cookie)

    #登錄之后的微信公眾號首頁url變化為：https://mp.weixin.qq.com/cgi-bin/home?t=home/index&lang=zh_CN&token=1849751598，從這里獲取token信息
    response = requests.get(url=url, cookies=cookies)
    token = re.findall(r'token=(\d+)', str(response.url))[0]

    #搜索微信公眾號的接口地址
    search_url = 'https://mp.weixin.qq.com/cgi-bin/searchbiz?'
    #搜索微信公眾號接口需要傳入的參數(shù)速蕊，有三個(gè)變量：微信公眾號token嫂丙、隨機(jī)數(shù)random、搜索的微信公眾號名字
    query_id = {
        'action': 'search_biz',
        'token' : token,
        'lang': 'zh_CN',
        'f': 'json',
        'ajax': '1',
        'random': random.random(),
        'query': query,
        'begin': '0',
        'count': '5'
        }
    #打開搜索微信公眾號接口地址规哲，需要傳入相關(guān)參數(shù)信息如：cookies跟啤、params、headers
    search_response = requests.get(search_url, cookies=cookies, headers=header, params=query_id)
    #取搜索結(jié)果中的第一個(gè)公眾號
    lists = search_response.json().get('list')[0]
    #獲取這個(gè)公眾號的fakeid唉锌，后面爬取公眾號文章需要此字段
    fakeid = lists.get('fakeid')

    #微信公眾號文章接口地址
    appmsg_url = 'https://mp.weixin.qq.com/cgi-bin/appmsg?'
    #搜索文章需要傳入幾個(gè)參數(shù)：登錄的公眾號token隅肥、要爬取文章的公眾號fakeid、隨機(jī)數(shù)random
    query_id_data = {
        'token': token,
        'lang': 'zh_CN',
        'f': 'json',
        'ajax': '1',
        'random': random.random(),
        'action': 'list_ex',
        'begin': '0',#不同頁袄简，此參數(shù)變化腥放，變化規(guī)則為每頁加5
        'count': '5',
        'query': '',
        'fakeid': fakeid,
        'type': '9'
        }
    #打開搜索的微信公眾號文章列表頁
    appmsg_response = requests.get(appmsg_url, cookies=cookies, headers=header, params=query_id_data)
    #獲取文章總數(shù)
    max_num = appmsg_response.json().get('app_msg_cnt')
    #每頁至少有5條，獲取文章總的頁數(shù)绿语，爬取時(shí)需要分頁爬
    num = int(int(max_num) / 5)
    #起始頁begin參數(shù)秃症，往后每頁加5
    begin = 0
    while num + 1 > 0 :
        query_id_data = {
            'token': token,
            'lang': 'zh_CN',
            'f': 'json',
            'ajax': '1',
            'random': random.random(),
            'action': 'list_ex',
            'begin': '{}'.format(str(begin)),
            'count': '5',
            'query': '',
            'fakeid': fakeid,
            'type': '9'
            }
        print('正在翻頁：--------------',begin)

        #獲取每一頁文章的標(biāo)題和鏈接地址，并寫入本地文本中
        query_fakeid_response = requests.get(appmsg_url, cookies=cookies, headers=header, params=query_id_data)
        fakeid_list = query_fakeid_response.json().get('app_msg_list')
        for item in fakeid_list:
            content_link=item.get('link')
            content_title=item.get('title')
            fileName=query+'.txt'
            with open(fileName,'a',encoding='utf-8') as fh:
                fh.write(content_title+":\n"+content_link+"\n")
                # fh.write("urllib.request.urlretrieve('"+content_link + "','" + content_title +".html')\n")由于還沒有解決標(biāo)題的符號參數(shù)識別會報(bào)錯(cuò)的問題吕粹，用了這個(gè)笨方法去解決的种柑。
        num -= 1
        begin = int(begin)
        begin+=5
        time.sleep(2)

if __name__=='__main__':
    try:
        #登錄微信公眾號，獲取登錄之后的cookies信息匹耕，并保存到本地文本中
        weChat_login()
        #登錄之后聚请，通過微信公眾號后臺提供的微信公眾號文章接口爬取文章
        for query in gzlist:
            #爬取微信公眾號文章，并存在本地文本中
            print("開始爬取公眾號："+query)
            get_content(query)
            print("爬取完成")
    except Exception as e:
        print(str(e))

還好我要的文章都能下載下來了稳其，圖片也沒有什么用驶赏，所以暫時(shí)已經(jīng)能滿足了。至于解決這些問題既鞠，之后有時(shí)間有需要的時(shí)候再鉆研煤傍。