自己寫表單錄入電影信息比較費(fèi)勁，所以選擇爬取豆瓣電影的信息主要爬取電影的封面菇曲、主演、年份抚吠、產(chǎn)地常潮、簡介等信息。前端有個輸入框,輸入電影名然后去爬取電影信息錄入到MongoDB中
-
分析
打開豆瓣電影埃跷，搜索?千與千尋
通過分析蕊玷，發(fā)現(xiàn)
搜索后的列表是通過
https://movie.douban.com/subject_search?search_text=%E5%8D%83%E4%B8%8E%E5%8D%83%E5%AF%BB&cat=1002這個請求獲取的要搜的電影一般都是列表的第一條，有時搜出來的第一條是明星的信息
需要的電影有一個url弥雹，指向這條電影的詳情垃帅，而我們想要的信息就在詳情接口里
PS(比較有意思的是最開始我爬取的時候，想要的信息就在這個接口的響應(yīng)中剪勿，從響應(yīng)里面提取出來就行贸诚，但后來我發(fā)現(xiàn)響應(yīng)里沒有了，豆瓣電影里的搜索后的列表信息變成了js動態(tài)渲染出來的厕吉，所有的信息在響應(yīng)的window_data中存放酱固，所以又把代碼修改了下，使用phantom來?渲染爬取到的頁面)
所有大體邏輯就是通過接口A獲取一個電影列表头朱，從列表中提取出我們需要的電影?詳情的url B,爬取B接口,獲取詳情运悲，從詳情中提取信息
-
工具
- phantom 通過plantom渲染爬取的頁面，頁面中的js代碼也會相應(yīng)的執(zhí)行
- cheerio 服務(wù)端的一個實(shí)現(xiàn)jquery功能的庫项钮，可以方便的獲取響應(yīng)中的html中我們要的信息
-
爬取
項(xiàng)目接口 /api/reptile/:name
代碼
var express = require('express');
var router = express.Router();
const CONFIG = require('../config/config')
const cheerio = require('cheerio')
const rq = require('request-promise')
var phantom = require("phantom");
<!--獲取電影列表-->
function getMovieSubjectUrl(name) {
var _ph, _page, _outObj;
return phantom.create().then(ph => {
_ph = ph;
return _ph.createPage();
}).then(page => {
_page = page;
return _page.open('https://movie.douban.com/subject_search?search_text=' + encodeURIComponent(name));
}).then(status => {
return _page.property('content')
}).then(content => {
_page.close();
_ph.exit();
return content
}).catch(e => console.log(e));
}
function getMovieDetail(href, res, next) {
rq(href).then(str => {
const $ = cheerio.load(str)
const data = fillData($)
res.json({
code: CONFIG.ERR_OK,
data
})
})
}
<!--提取電影信息-->
function fillData($) {
const movie = {
thumb: '',
actors: '',
type: '',
time: '',
instruct: ''
}
/**
* 為方便提取數(shù)據(jù),換行標(biāo)簽替換
*/
let info_html = $('#info').html().replace(/<br>/g, '**')
let txt = cheerio.load(info_html).text()
txt = txt.replace(/\s+/g, '').split('**')
movie.thumb = $('#mainpic img').attr('src')
movie.instruct = $('#link-report').find('span[property]').text()
movie.actors = txt[2].split(':')[1].split('/')
movie.type = txt[3].split(':')[1].split('/')
movie.time = txt[6].split(':')[1]
return movie
}
router.get('/:name', function (req, res, next) {
getMovieSubjectUrl(req.params.name).then(str => {
const $ = cheerio.load(str)
let detail = $('.detail')
if (detail.length) {
let a
if (detail.eq(0).has('.rating_nums').length) {
a = detail.eq(0).find('.title a')
} else {
a = detail.eq(1).find('.title a')
}
getMovieDetail(a.attr('href'), res, next)
} else {
next(10001)
}
});
})
module.exports = router;
-
前端
reptile.jsx
import React from 'react';
import {
Button,
Switch
} from "antd-mobile"
import cloneDeep from "lodash/cloneDeep"
import Util from "../util/Util.js"
import MovieInfo from "./movieInfo"
import DownForm from "./download-form"
export default class Reptile extends React.Component {
constructor(props) {
super(props)
this.state = {
m_name: '',
m_info: null,
}
this.reptile = this.reptile.bind(this)
}
/**
* 爬取數(shù)據(jù)
*/
reptile() {
if (!this.state.m_name) {
return
}
Util.fetch('/api/reptile/' + this.state.m_name).then(data => {
if (data.code) {
Util.Toast.info(data.message)
return
}
this.setState({
m_info: data.data,
})
})
}
render() {
return (
<div className='reptile'>
<div className='search-form'>
<input type="text" placeholder='電影名' value={this.state.m_name} onChange={(e) => {
this.setState({
m_name: e.target.value
})
}} />
<Button type="primary" size="small" onClick={this.reptile}>搜索</Button>
</div>
</div>
)
}
}
