簡(jiǎn)書(shū)

第一節(jié)已經(jīng)介紹了簡(jiǎn)書(shū)網(wǎng)站的結(jié)構(gòu)青瀑，爬取文章前對(duì)網(wǎng)頁(yè)源碼進(jìn)行必要的分析，以及整個(gè)項(xiàng)目的步驟萧诫，這一節(jié)開(kāi)始介紹如何爬取簡(jiǎn)書(shū)分類(lèi)目錄下的文章斥难，如有不明白的，請(qǐng)務(wù)必看完前一節(jié)的介紹：

• 爬取簡(jiǎn)書(shū)全站文章并生成 API（一）

• 爬取簡(jiǎn)書(shū)全站文章并生成 API（三）

• 爬取簡(jiǎn)書(shū)全站文章并生成 API（四）

• 爬取簡(jiǎn)書(shū)全站文章并生成 API（五）

• 簡(jiǎn)書(shū) API 測(cè)試地址 : http://222.24.63.118:8080/

• github 項(xiàng)目地址：https://github.com/strugglingyouth/jianshu/

爬取“新上榜”目錄下的文章

說(shuō)明： 所有代碼都在 python2.7 環(huán)境下運(yùn)行帘饶。

首先創(chuàng)建一個(gè) Django 項(xiàng)目：

# django-admin startproject jianshu_api

# cd jianshu_api

# django-admin startapp jianshu

在 jianshu_api/settings.py 下配置數(shù)據(jù)庫(kù)：

DATABASES = {
    'default': {
        'ENGINE': 'django.db.backends.mysql',
        'NAME': 'jianshu',
        'HOST': '127.0.0.1',
        'USER': 'root',
        'PASSWORD': 'tianfeiyu',
        'PORT': 3306
    }
}

開(kāi)始寫(xiě) models：

此 API 的設(shè)計(jì)是模仿知乎日?qǐng)?bào) API 的形式哑诊，models 分兩層，第一層是概要信息及刻，第二層是詳細(xì)內(nèi)容镀裤，以概要信息作為外鍵竞阐。

class ArticleList(models.Model):
    """
        文章概要信息
    """
    article_id = models.CharField('ID', primary_key=True, max_length=100)
    article_title = models.CharField('文章標(biāo)題', max_length=100)
    article_url = models.URLField('文章URL')
    article_user = models.CharField('作者', max_length=100)
    article_user_url = models.URLField('作者URL')
    created = models.DateTimeField(auto_now_add=True)

    class Meta:
        ordering = ['-created', ]

    def __unicode__(self):
        return self.article_title
    def __str__(self):
        return self.article_title    

class ArticleDetail(models.Model):
    """
        文章詳細(xì)信息
    """
    image = models.URLField('圖片URL' )
    title = models.CharField('文章標(biāo)題', max_length=100)
    body = models.TextField('文章內(nèi)容', null=True)
    time = models.CharField('發(fā)表時(shí)間' , max_length=100, null=True)
    views_count = models.CharField('閱讀數(shù)', max_length=100)
    public_comments_count = models.CharField('評(píng)論數(shù)', max_length=100)
    likes_count = models.CharField('喜歡', max_length=100)
    total_rewards_count = models.CharField('打賞', max_length=100)
    created = models.DateTimeField('創(chuàng)建時(shí)間', auto_now_add=True)
    article_abstract = models.ForeignKey('ArticleList', verbose_name='文章摘要')
     
    class Meta:
        ordering = ['-created', ]
    
    def __unicode__(self):
        return self.title
    def __str__(self):
        return self.title

然后進(jìn)入 MySQL 中，設(shè)置使用的編碼：

root@127.0.0.1 : (none) 09:41:33> set character_set_client=utf8 ;
root@127.0.0.1 : (none) 09:41:33> set character_set_connection=utf8 ;
root@127.0.0.1 : (none) 09:41:33> set character_set_database=utf8 ;
root@127.0.0.1 : (none) 09:41:33> set character_set_results=utf8 ;
root@127.0.0.1 : (none) 09:41:33> set character_set_server=utf8 ;
root@127.0.0.1 : (none) 09:41:33> set character_set_system=utf8 ;

最后驗(yàn)證下是否正確：

設(shè)定 mysql 字符集

開(kāi)始創(chuàng)建數(shù)據(jù)庫(kù)：

# python manage.py makemigrations    
# python manage.py migrate

爬取“新上榜”的文章：

初始化代碼：

if __name__ == '__main__':
    
    # 從 jianshu_api/settings.py 文件中導(dǎo)入數(shù)據(jù)庫(kù)的信息
    host = DATABASES['default']['HOST']
    user = DATABASES['default']['USER']
    passwd = DATABASES['default']['PASSWORD']
    db = DATABASES['default']['NAME']
    port = DATABASES['default']['PORT']

    # 保存文章所用到的表
    article_list_table = 'jianshu_articlelist' 
    article_detail_table = 'jianshu_articledetail'
    
    # 使用 colorama 模塊進(jìn)行顏色控制暑劝，通過(guò)使用 autoreset 參數(shù)可以讓變色效果只對(duì)當(dāng)前輸出起作用骆莹，輸出完成后顏色恢復(fù)默認(rèn)設(shè)置
    init(autoreset=True)
    domain_name = 'http://www.reibang.com'
    
    # “新上榜”目錄的 URL
    base_url = 'http://www.reibang.com/recommendations/notes'

    # 初始化一個(gè) mysql 實(shí)例    
    mysql = Mysql(host, user, passwd, db, port)
    
    # 解析 dom，獲取文章的詳細(xì)信息
    get_details(mysql, base_url, domain_name, article_list_table, article_detail_table)

爬取文章詳細(xì)信息代碼：

def get_details(mysql, base_url, domain_name, article_list_table, article_detail_table):
    """
        爬取文章并獲取詳細(xì)信息
    """
    
    # OrderedDict() 是一個(gè)有序的字典担猛，將文章的信息保存在 dict 中
    article_list = OrderedDict()
    article_detail = OrderedDict()
    html = requests.get(base_url).content  

    # html 是網(wǎng)頁(yè)的源碼幕垦，soup 是獲得一個(gè)文檔的對(duì)象
    soup = BeautifulSoup(html, 'html.parser', from_encoding='utf-8')
    tags = soup.find_all('li', class_="have-img")
    print Fore.YELLOW + "---------------all-------------------:",len(tags)
    ct = 1
    
    # 獲取文章的信息
    for tag in tags:
        image = tag.img['src'].split('?')[0]
        article_user = tag.p.a.get_text()
        
        # 將 URL 補(bǔ)全
        article_user_url = tag.p.a['href']
        if article_user_url.startswith('/users/'):
            article_user_url = domain_name + article_user_url
        created = tag.p.span['data-shared-at']
        article_title = tag.h4.get_text(strip=True)
        article_title = article_title.replace('"', '\\"')
        article_url = tag.h4.a['href']
        article_id = article_url.split('/')[2]
        if article_url.startswith('/p/'):
            article_url = domain_name + article_url
        tag_a = tag.div.div.find_all('a')
        views = tag_a[0].get_text(strip=True)
        
        # 提取其中的數(shù)字 
        views = filter(str.isdigit, str(views))
        
        comments = tag_a[1].get_text(strip=True)
        comments = filter(str.isdigit, str(comments))    
        tag_span = tag.div.div.find_all('span')
        likes = tag_span[0].get_text(strip=True)
        likes = filter(str.isdigit, str(likes))

        # 閱讀，評(píng)論傅联，喜歡一定存在先改，打賞不一定有
        try:
            tip = tag_span[1].get_text()
            tip = filter(str.isdigit, str(tip))
        except Exception as e:
            tip = 0

獲取文章的內(nèi)容：

def get_body(article_url):
    """
        獲取文章內(nèi)容
    """
    # 解析文章對(duì)應(yīng)的 URL
    html = requests.get(article_url).content
    soup = BeautifulSoup(html, 'html.parser', from_encoding='utf-8')
    tags = soup('div', class_="show-content")
    body = str(tags[0])

    # 將 body 中 " 轉(zhuǎn)換為 \", ' 轉(zhuǎn)換為 \'
    body = body.replace('"','\\"')
    body = body.replace("'","\\'")
    return body

將數(shù)據(jù)保存在 mysql 中：

def insert_data(self, table, my_dict):
        try:    
            # 從 dict 中分別取出 key，value 
            cols = ','.join(my_dict.keys())
            values = '","'.join(my_dict.values())
            values = '"' + values + '"'
            try:
                sql = "insert into %s (%s) values(%s)" %(table, cols, values)
                result = self.cur.execute(sql) 
                self.db.commit()
                if result:
                    return 1
                else:
                    return 0 
            except MySQLdb.Error as e:
                self.db.rollback()
                if "key 'PRIMARY'" in e.args[1]:
                     print Fore.RED + self.get_current_time(), "數(shù)據(jù)已存在蒸走，未插入數(shù)據(jù)"
                else:
                    print Fore.RED + self.get_current_time(), "插入數(shù)據(jù)失敗仇奶，原因 %d: %s" % (e.args[0], e.args[1])
        except MySQLdb.Error as e:
            print Fore.RED + self.get_current_time(), "數(shù)據(jù)庫(kù)錯(cuò)誤，原因%d: %s" % (e.args[0], e.args[1])

代碼運(yùn)行結(jié)果：

運(yùn)行結(jié)果

上一節(jié)已經(jīng)提到過(guò)比驻，“熱門(mén)”目錄和“新上榜”目錄下代碼的結(jié)構(gòu)相同猜嘱，所以以上代碼稍作修改完全可以爬取“熱門(mén)”下的文章，但我將“熱門(mén)”下爬取到的文章放在了一張表里嫁艇，大家可以自行嘗試朗伶。

完整代碼請(qǐng)查看項(xiàng)目中的 popular_articles_jianshu.py 文件!

下一節(jié)將介紹 API 的生成。