美食視頻作者徐大sao在互聯(lián)網(wǎng)上很受歡迎唠梨,平時我也非常關(guān)注他。每天都吃一頓好的侥啤,那么他到底吃吃了哪些好吃的当叭?在日常閱讀中,我們經(jīng)常遇到一些詞云圖片盖灸,看上去很炫酷蚁鳖,也能很直觀的反應(yīng)關(guān)鍵詞的分布情況。本文我們將帶著任務(wù)去學習糠雨,分析一 下徐大sao到底吃了哪些好吃的才睹,給好吃的排個名徘跪。
一甘邀、獲取徐大sao所有投稿視頻標題
想知道徐大sao每天吃什么最多,我們可以通過標題直接看到垮庐,比如最近一期的”用sao式老方做一盆熱干面松邪,一斤面不夠吃,醬香濃郁哨查,一口就上癮”,我們能夠看出他吃的是熱干面逗抑。對應(yīng)的,只需要抓取徐大sao近年來所有的投稿視頻,我們就能分析出他吃什么好吃的最多邮府。
打開徐大sao的主頁荧关,點擊“投稿”按F12來找一下接口:
我們可以點擊XHR(xhr,全稱為,用于與服務(wù)器交互數(shù)據(jù)是ajax功能實現(xiàn))看看有沒有接口,經(jīng)過尋找發(fā)現(xiàn)有可能存在接口褂傀。
右鍵在新的窗口中打開(右鍵點擊Open in new tab)忍啤,看看是不是:
下圖可以看到,的確獲得了視頻的標題仙辟,那么藍框中的參數(shù)是什么意思呢同波?
經(jīng)過觀察,不難發(fā)現(xiàn)叠国,在徐大sao的視頻頁面中未檩,每行有5個視頻,共有6列粟焊,一共是30個視頻冤狡。所以我們能夠大膽的猜測,ps=30這個參數(shù)项棠,應(yīng)該就是目前視頻標題數(shù)量筒溃。
那么pn呢,默認pn=1沾乘,翻頁不難發(fā)現(xiàn)怜奖,pn隨著翻頁而改變,pn就是page number的縮寫翅阵,一共是17頁面歪玲。
那就簡單了,我們只需要get請求17次就能抓取到所有數(shù)據(jù)了掷匠。
數(shù)據(jù)的清洗:
上面get獲取到的json數(shù)據(jù)滥崩,不光是標題,還有簡介讹语,評論數(shù)等各種信息钙皮,我們這里格式化一下json看一下json數(shù)據(jù)格式,方便我們清洗顽决。
用json數(shù)據(jù)格式化工具格式化之后短条,可以看到標題title在data的list下面的vlist里面。
碼代碼:
經(jīng)過我們的分析才菠,短短幾行代碼就能獲取到第一頁的所有視頻標題:
我們只需要優(yōu)化一下代碼茸时,做個循環(huán),就能獲取到徐大sao所有的視頻標題:
這樣我們就得到了赋访,所有的視頻標題可都,并存在了一個列表中缓待。
二、安裝所需模塊
俗話說渠牲,磨鐮不誤砍柴工旋炒。我們現(xiàn)在安裝一下jieba模塊用來分詞,統(tǒng)計詞頻签杈,用wordcloud模塊來生成詞云国葬。
安裝jieba模塊,只需要執(zhí)行pip install jieba
安裝wordcloud模塊對于新手來說是個問題芹壕,如果直接執(zhí)行pip install wordcloud汇四,windows下會報錯,我們用wheel方式來安裝踢涌。
首先打開 lfd.uci.edu/~gohlke/pythonlibs/ 通孽,然后按下Ctrl +F 輸入 wordcloud并搜索。
找到合適自己的版本并下載睁壁,我這里安裝的是python 64位的 3.7版本背苦,那么就下載wordcloud-1.6.0-cp37-cp37m-win_amd64.whl。
然后執(zhí)行pip install wheel安裝wheel模塊潘明,
接著執(zhí)行 pip install wordcloud-1.6.0-cp37-cp37m-win_amd64.whl注意替換成你下載的模塊:
三行剂、開始分析
jieba分詞模塊基礎(chǔ)功能
輸出:用sao式老方做一盆熱干面 ,一斤面不夠吃 钳降,醬香濃郁厚宰,一口就上癮
詞云模塊的基礎(chǔ)功能,將上面一句話生成詞云看看:
結(jié)果為:
OK遂填,迫不及待铲觉,我們直接分析,所有標題的結(jié)果吧吓坚!
得到結(jié)果撵幽,字體越大,頻率越高礁击。不難發(fā)現(xiàn)盐杂,大sao最喜歡吃大蒜米飯,這些哆窿,并且非常過癮链烈。
但是這里面有各種各樣的詞匯,我們想知道徐大sao吃了哪些好吃的更耻,可以將名詞選出來测垛。
案例:
那么n就代表名詞,我們用名詞做一個詞云秧均。
代碼如下:
OK食侮,一目了然,到這里我們看到目胡,大sao吃的最多的就是大蒜锯七,米飯,面條誉己,各種面眉尸。看來“碳水教父”的稱號果然名不虛傳啊巨双。
那要是給各個詞排個名次噪猾,統(tǒng)計出現(xiàn)的具體次數(shù)該怎么做呢:
輸出結(jié)果如下:
可以看到,大蒜筑累,出現(xiàn)了足足134次袱蜡,遠遠超過第二名!B凇坪蚁!其次是米飯,辣椒镜沽,火鍋敏晤,面條。
真是離不開缅茉,辣和碳水嘴脾。
會了這種方法,你就可以為你喜歡的美食博主做個分析啦蔬墩!