課堂作業(yè)
要爬取的數(shù)據(jù)類別
對(duì)應(yīng)的數(shù)據(jù)源網(wǎng)站
爬取數(shù)據(jù)的URL
數(shù)據(jù)篩選規(guī)則(選做)
要爬取的數(shù)據(jù)類型
我對(duì)金融行業(yè)中股票的信息感興趣，想要依次作為決策的依據(jù)稚伍，因此想要爬取股票信息轧叽，主要獲取的股票信息有：季報(bào)苗沧、半年包、年報(bào)炭晒、公司重大公告待逞、國(guó)家宏觀金融政策、股價(jià)网严、成交量识樱、龍虎榜數(shù)據(jù)、實(shí)時(shí)熱點(diǎn)震束。
對(duì)應(yīng)的數(shù)據(jù)源網(wǎng)站
- 三大證券報(bào)：
- 兩大官方網(wǎng)站：
- 上海證券交易所
- [上海證券交易所]](http://www.szse.cn/)
- 最大信息發(fā)布網(wǎng)站：
- 財(cái)經(jīng)新聞網(wǎng)站：
- 股票論壇：
爬取數(shù)據(jù)的URL
- 三大證券報(bào)：
- 中國(guó)證券報(bào) ： http://www.cs.com.cn/gppd/
- 上海證券報(bào) ：http://ggjd.cnstock.com/gglist/search/ggkx怜庸、http://news.cnstock.com/bwsd/index.html
- 證券時(shí)報(bào) ：http://data.stcn.com/
- 兩大官方網(wǎng)站：
- 最大信息發(fā)布網(wǎng)站：
- 巨潮咨詢網(wǎng) ：http://www.cninfo.com.cn/cninfo-new/index
- 財(cái)經(jīng)新聞網(wǎng)站：
- 東方財(cái)富網(wǎng) ： http://stock.eastmoney.com/report.html、http://stock.eastmoney.com/bidu.html
- 股票論壇：
- 雪球網(wǎng) ： https://xueqiu.com/hq
數(shù)據(jù)篩選規(guī)則
股票消息分為：實(shí)時(shí)性和非實(shí)時(shí)性的消息垢村，因此要分2種方式設(shè)定規(guī)則割疾。
實(shí)時(shí)性消息： 每20分鐘刷新一次網(wǎng)站采集的數(shù)據(jù)，如果采集的數(shù)據(jù)中有自己設(shè)置的關(guān)鍵詞（例如：突發(fā)重大新聞肝断，自己關(guān)心的股票杈曲，漲幅超過(guò)5%），提取相應(yīng)的信息胸懈。
非實(shí)時(shí)性消息：每年發(fā)布季報(bào)担扑、半年報(bào)、年報(bào)的日期趣钱，爬取上海證券交易所涌献、深圳證券交易所、巨潮咨詢網(wǎng)中每個(gè)公司發(fā)布的年報(bào)摘要首有，如果有自己設(shè)置的關(guān)鍵詞（營(yíng)業(yè)額年增長(zhǎng)率超過(guò)50%燕垃、營(yíng)業(yè)利潤(rùn)率超過(guò)20%）枢劝，提取對(duì)應(yīng)的公司信息。每日爬取雪球網(wǎng)中行情排行榜卜壕、熱度排行榜您旁、討論排行榜中上榜的股票，并通過(guò)每周上榜股票的次數(shù)轴捎。
