import random  # 隨機(jī)功能包
import time   # 時(shí)間功能包
import numpy as np  # nd.array數(shù)組處理包
import requests  # 網(wǎng)絡(luò)請(qǐng)求包
from lxml import etree  # 頁(yè)面解析包
import wordcloud  # 詞云圖包
import matplotlib.pyplot as plt  # 畫(huà)圖包
from PIL import Image  # 圖片處理包
import jieba  # 中文分詞包


class Douban:
    def __init__(self):
        # 50部高分電影的信息 (名稱 id url 評(píng)分) 等等
        self.base_url = 'https://movie.douban.com/j/search_subjects?type=movie&tag=%E8%B1%86%E7%93%A3%E9%AB%98%E5%88%86&page_limit=50&page_start=0'
        self.comment_base_url = 'https://movie.douban.com/subject/%s/comments?start=%s&limit=20&sort=new_score&status=P'
        self.headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.106 Safari/537.36'
        }
        self.font = 'C:\Windows\Fonts\simhei.ttf'
        ##############################################################
        ##############################################################
        ##############################################################
        # 注意需要改 這里的代碼  把圖片的地址 名稱 換一下 就可以了   例如 
        #          self.image_list = ['C:\Users\Public\Desktop\測(cè)試.jpg']
        #############################################################
        #############################################################
        #############################################################
        self.image_list = ['./chunyin.jpg','./nezha.jpeg','./panda.png','./pingtou.jpg','./xin.jpg','./zhongguo.jpg']

    def get_comment(self, movie_id):  # 獲取該部電影影評(píng)
        conments_list = []
        for i in range(5):  # 取5頁(yè)評(píng)論數(shù)據(jù) 
            comment_url = self.comment_base_url % (movie_id, i * 20)  # 拼成評(píng)論頁(yè)面的完整鏈接
            resp = requests.get(comment_url, headers=self.headers)  # 請(qǐng)求評(píng)論的鏈接地址
            html = etree.HTML(resp.content)  # 解析網(wǎng)頁(yè)
            comment_list = html.xpath('//*[@id="comments"]/div/div[2]/p/span/text()') # 獲取 網(wǎng)頁(yè)里的 評(píng)論
            conments_list.extend(comment_list) # 合并列表
            time.sleep(3)  # 等待3秒  以免速度太快 被反爬蟲(chóng)
        return ''.join(conments_list) # 返回列表合并后的字符串

    def cut_words(self, data):  # 結(jié)巴分詞處理字符串
        words_dict = {}  # 新建一個(gè)空字典  用來(lái)之后存數(shù)據(jù)
        words_list = jieba.lcut(data)  # 處理 評(píng)論字符
        for word in words_list:  # 遍歷 已經(jīng)處理完成的 詞語(yǔ)
            if len(word) == 1:  # 單個(gè)詞語(yǔ)排除
                continue  # 開(kāi)始下次循環(huán)
            else:   # 把詞語(yǔ)加入字典
                words_dict[word] = words_dict.get(word, 0) + 1  # 遍歷所有詞語(yǔ)桑涎，每出現(xiàn)一次其對(duì)應(yīng)的值加 1
        return words_dict  # 返回{詞語(yǔ):數(shù)量}的字典  數(shù)量越大 字體越大

    def make_word_img(self,word_dict):  # 制作圖片
        mask = np.array(Image.open(random.choice(self.image_list))) # 隨機(jī)打開(kāi)一張照片(背景圖,用于生成不同的詞云圖形狀)
        wc = wordcloud.WordCloud(font_path='C:/Windows/Fonts/simhei.ttf',  # 設(shè)置字體格式,一般windows都有這個(gè)
                                 mask=mask,  # 設(shè)置背景圖
                                 background_color='white',  # 設(shè)置背景顏色 (背景圖空白部分的顏色)
                                 max_words=80,  # 最多顯示詞數(shù) (每張圖片有多少個(gè)詞)
                                 max_font_size=100,  # 設(shè)置字體最大值
                                 random_state=20,  # 設(shè)置有多少種隨機(jī)生成狀態(tài)吹害，即有多少種配色方案
                                 scale=6  # 設(shè)置生成的詞云圖的大小
                                 )
        wc.generate_from_frequencies(word_dict)  # 從字典生成詞云
        plt.figure(figsize=(7, 7))  # 設(shè)置圖片大小
        plt.imshow(wc)  # 把詞云加載成圖片
        plt.axis('off')  # 關(guān)閉坐標(biāo)軸
        return plt  # 返回已經(jīng)處理過(guò)的 詞云圖數(shù)據(jù)流

    def start(self):
        resp = requests.get(self.base_url, headers=self.headers) # 請(qǐng)求鏈接地址
        try:
            resp_dict = resp.json()
            movies_list = resp_dict.get('subjects')
            for i in movies_list:  # 遍歷 這50部電影
                movie_name = i.get('title')  # 名稱
                movie_id = i.get('id')  # id
                movie_rate = i.get('rate')  # 評(píng)分
                comments = self.get_comment(movie_id)  # 去獲取對(duì)應(yīng)id 的評(píng)論
                words_dict = self.cut_words(comments)  # 拿到字符串 用結(jié)巴中文分詞 處理
                plt = self.make_word_img(words_dict)  # 把分詞完成后的字典拿去詞云圖處理
                plt.savefig(''.join(['./wordcloud/', movie_name, movie_rate, '.jpg']))  # 把詞云圖數(shù)據(jù)流保存圖片
        except:
            print('請(qǐng)求失敗,被反爬了')


if __name__ == '__main__':
    douban = Douban()
    douban.start()