作業(yè)：
- 選擇簡書“解密大數(shù)據(jù)”專題里面上次爬蟲作業(yè)的文檔地址作為分析頁面辅愿。
- 分析并提交該頁面結(jié)構(gòu)分析與元素標(biāo)簽位置信息。
- 對頁面元素進(jìn)行編號杈女，根據(jù)編號的順序進(jìn)行描述洋丐。
2 . 如上圖所示：
1 . 編號1——左上角簡書標(biāo)簽
對應(yīng)代碼：
 - 簡書_files/logo-58fd04f6f0de908401aa561cda6a0688.png)
2 . 編號2—— 發(fā)現(xiàn)淑掌、關(guān)注蒿讥、消息
發(fā)現(xiàn)對應(yīng)代碼：
<li class="">
<a href="http://www.reibang.com/">
<span class="menu-text">發(fā)現(xiàn)</span>
<i class="iconfont ic-navigation-discover menu-icon"></i>
</a>
</li>
關(guān)注對應(yīng)代碼：
<li class="">
<a href="http://www.reibang.com/subscriptions">
<span class="menu-text">關(guān)注</span>
<i class="iconfont ic-navigation-follow menu-icon"></i>
</a>
</li>
消息對應(yīng)代碼：
<a data-hover="dropdown" href="http://www.reibang.com/notifications" class="notification-btn"><span class="menu-text">消息</span> <i class="iconfont ic-navigation-notification menu-icon"></i> <!----> <!----></a>
3 . 編號3——搜索對話框
<input type="text" name="q" id="q" value="" placeholder="搜索"
class="search-input">
4 . 編號4——寫文章按鈕
<a class="btn write-btn" target="_blank" href="/writer#/">
<i class="iconfont ic-write"></i>寫文章</a>
5 . 編號5——標(biāo)題：爬蟲入門01作業(yè)
<h1 class="title">爬蟲入門01作業(yè)</h1>
6 . 編號6——作者框和用戶名
作者框：<span class="tag">作者</span>
用戶名：<span class="name"><a href="/u/99cd79c6cb07">mudu86</a></span>
7 . 編號7——信息：日期，字?jǐn)?shù)抛腕、閱讀量芋绸、評論數(shù)、喜歡担敌、贊賞
<span class="publish-time" data-toggle="tooltip" data-placement="bottom" title="" data-original-title="最后編輯于 2017.07.03 14:26">2017.07.03 12:25*</span>
<span class="wordage">字?jǐn)?shù) 636</span>
< <span class="views-count">閱讀 24</span>
<span class="comments-count">評論 2</span>
<span class="likes-count">喜歡 4</span>
<span class="rewards-count ">贊賞 1</span></div>
8 .編號8——文章編輯按鈕
<a href="/writer#/notebooks/14029055/notes/14139962" target="_blank" class="edit">編輯 > 文章</a>
9 . 編號9——正文
<div class="show-content">
<h3>課堂作業(yè)</h3>
<ul>
<li>
<p>要爬取的數(shù)據(jù)類別</p>
</li>
<li>
<p>對應(yīng)的數(shù)據(jù)源網(wǎng)站</p>
</li>
<li>
<p>爬取數(shù)據(jù)的URL</p>
</li>
<li>
<p>數(shù)據(jù)篩選規(guī)則(選做)</p>
</li>
</ul>
<h4>要爬取的數(shù)據(jù)類型</h4>
<p>我對金融行業(yè)中股票的信息感興趣摔敛，想要依次作為決策的依據(jù)，因此想要爬取股票信息全封，主要獲取的股票信息有：季報(bào)马昙、半年包桃犬、年報(bào)、公司重大公告行楞、國家宏觀金融政策攒暇、股價(jià)、成交量子房、龍虎榜數(shù)據(jù)形用、實(shí)時(shí)熱點(diǎn)。</p>
<h4>對應(yīng)的數(shù)據(jù)源網(wǎng)站</h4>
<ol>
<li>三大證券報(bào)：<ul>
<li><a target="_blank">中國證券報(bào)</a></li>
<li><a target="_blank">上海證券報(bào)</a></li>
<li><a target="_blank">證券時(shí)報(bào)</a></li>
</ul>
</li>
<li>兩大官方網(wǎng)站：<ul>
<li><a target="_blank">上海證券交易所</a></li>
<li>
<a target="_blank">上海證券交易所]</a> </li>
</ul>
</li>
<li>最大信息發(fā)布網(wǎng)站：<ul>
<li><a target="_blank">巨潮咨詢網(wǎng)</a></li>
</ul>
</li>
<li>財(cái)經(jīng)新聞網(wǎng)站：<ul>
<li><a target="_blank">東方財(cái)富網(wǎng)</a></li>
</ul>
</li>
<li>股票論壇：<ul>
<li><a target="_blank">雪球網(wǎng)</a></li>
</ul>
</li>
</ol>
<h4>爬取數(shù)據(jù)的URL</h4>
<ol>
<li>三大證券報(bào)：<ul>
<li>中國證券報(bào) ： <a target="_blank">http://www.cs.com.cn/gppd/</a>
</li>
<li>上海證券報(bào) ：<a target="_blank">http://ggjd.cnstock.com/gglist/search/ggkx证杭、http://news.cnstock.com/bwsd/index.html</a>
</li>
<li>證券時(shí)報(bào) ：<a target="_blank">http://data.stcn.com/</a>
</li>
</ul>
</li>
<li>兩大官方網(wǎng)站：<ul>
<li>上海證券交易所 ：<a target="_blank">http://www.sse.com.cn/disclosure/overview/</a>
</li>
<li>深圳證券交易所 ：<a target="_blank">http://www.szse.cn/main/disclosure/</a>
</li>
</ul>
</li>
<li>最大信息發(fā)布網(wǎng)站：<ul>
<li>巨潮咨詢網(wǎng) ：<a target="_blank">http://www.cninfo.com.cn/cninfo-new/index</a>
</li>
</ul>
</li>
<li>財(cái)經(jīng)新聞網(wǎng)站：<ul>
<li>東方財(cái)富網(wǎng) ： <a target="_blank">http://stock.eastmoney.com/report.html田度、http://stock.eastmoney.com/bidu.html</a> </li>
</ul>
</li>
<li>股票論壇：<ul>
<li>雪球網(wǎng) ： <a target="_blank">https://xueqiu.com/hq</a>
</li>
</ul>
</li>
</ol>
<h4>數(shù)據(jù)篩選規(guī)則</h4>
<p>股票消息分為：實(shí)時(shí)性和非實(shí)時(shí)性的消息，因此要分2種方式設(shè)定規(guī)則解愤。</p>
<ul>
<li>
<p>實(shí)時(shí)性消息： 每20分鐘刷新一次網(wǎng)站采集的數(shù)據(jù)镇饺，如果采集的數(shù)據(jù)中有自己設(shè)置的關(guān)鍵詞（例如：突發(fā)重大新聞，自己關(guān)心的股票琢歇，漲幅超過5%）兰怠，提取相應(yīng)的信息梦鉴。</p>
</li>
<li>
<p>非實(shí)時(shí)性消息：每年發(fā)布季報(bào)李茫、半年報(bào)、年報(bào)的日期肥橙，爬取上海證券交易所魄宏、深圳證券交易所、巨潮咨詢網(wǎng)中每個(gè)公司發(fā)布的年報(bào)摘要存筏，如果有自己設(shè)置的關(guān)鍵詞（營業(yè)額年增長率超過50%宠互、營業(yè)利潤率超過20%），提取對應(yīng)的公司信息椭坚。每日爬取雪球網(wǎng)中行情排行榜予跌、熱度排行榜、討論排行榜中上榜的股票善茎，并通過每周上榜股票的次數(shù)券册。</p>
</li>
</ul>
</div>
10.解析正文結(jié)構(gòu)：
- 標(biāo)題：三級標(biāo)題——課堂作業(yè)。
<h3> 課堂作業(yè) </h3>
- 無序序列：要爬取的數(shù)據(jù)類別垂涯、對應(yīng)的數(shù)據(jù)源網(wǎng)站烁焙、爬取數(shù)據(jù)的URL、數(shù)據(jù)篩選規(guī)則
<ul>
<li>
<p>要爬取的數(shù)據(jù)類別</p>
</li>
<li>
<p>對應(yīng)的數(shù)據(jù)源網(wǎng)站</p>
</li>
<li>
<p>爬取數(shù)據(jù)的URL</p>
</li>
<li>
<p>數(shù)據(jù)篩選規(guī)則(選做)</p>
</li>
</ul>
- 標(biāo)題：四級標(biāo)題——要爬取的數(shù)據(jù)類型
<h4>要爬取的數(shù)據(jù)類型</h4>
``
- 段落標(biāo)簽：
<p>我對金融行業(yè)中股票的信息感興趣耕赘，想要依次作為決策的依據(jù)骄蝇，因此想要爬取股票信息，主要獲取的股票信息有：季報(bào)操骡、半年包九火、年報(bào)赚窃、公司重大公告、國家宏觀金融政策岔激、股價(jià)考榨、成交量、龍虎榜數(shù)據(jù)鹦倚、實(shí)時(shí)熱點(diǎn)河质。</p>
- 有序序列和無序序列混合：
- 有序序列——三大證券報(bào)、兩大官方網(wǎng)站震叙、最大信息發(fā)布網(wǎng)站掀鹅、財(cái)經(jīng)新聞網(wǎng)站
- 無序序列——三大證券報(bào)中中國證券報(bào)、上海證券報(bào)媒楼、證券時(shí)報(bào)
無序序列
<ul>
<li><a target="_blank">中國證券報(bào)</a></li>
<li><a target="_blank">上海證券報(bào)</a></li>
<li><a target="_blank">證券時(shí)報(bào)</a></li>
</ul>
有序序列
<ol>
<li>三大證券報(bào)：
<li>兩大官方網(wǎng)站：
<li>最大信息發(fā)布網(wǎng)站：
<li>財(cái)經(jīng)新聞網(wǎng)站：
</ol>
有序和無序混合
<ol>
<li>三大證券報(bào)：<ul>
<li><a target="_blank">中國證券報(bào)</a></li>
<li><a target="_blank">上海證券報(bào)</a></li>
<li><a target="_blank">證券時(shí)報(bào)</a></li>
</ul>
</li>
<li>兩大官方網(wǎng)站：<ul>
<li><a target="_blank">上海證券交易所</a></li>
<li>
<a target="_blank">上海證券交易所]</a> </li>
</ul>
</li>
<li>最大信息發(fā)布網(wǎng)站：<ul>
<li><a target="_blank">巨潮咨詢網(wǎng)</a></li>
</ul>
</li>
<li>財(cái)經(jīng)新聞網(wǎng)站：<ul>
<li><a target="_blank">東方財(cái)富網(wǎng)</a></li>
</ul>
</li>
<li>股票論壇：<ul>
<li><a target="_blank">雪球網(wǎng)</a></li>
</ul>
</li>
</ol>
