最近寫了一個(gè)簡(jiǎn)單的搜索引擎黑毅，將網(wǎng)易首頁(yè)中的新聞扒下來(lái)進(jìn)行整理暑中，并能夠進(jìn)行搜索棍郎。
以下使用的開發(fā)環(huán)境是eclipse其障。
上工程結(jié)構(gòu)圖：
首先講解網(wǎng)絡(luò)爬蟲部分。
網(wǎng)絡(luò)爬蟲（又被稱為網(wǎng)頁(yè)蜘蛛涂佃，網(wǎng)絡(luò)機(jī)器人励翼，在FOAF社區(qū)中間，更經(jīng)常的稱為網(wǎng)頁(yè)追逐者）辜荠，是一種按照一定的規(guī)則汽抚，自動(dòng)地抓取萬(wàn)維網(wǎng)信息的程序或者腳本。
在這里伯病，用到了jsoup 造烁。jsoup 是一款Java 的HTML解析器，可直接解析某個(gè)URL地址午笛、HTML文本內(nèi)容惭蟋。它提供了一套非常省力的API，可通過DOM药磺，CSS以及類似于jQuery的操作方法來(lái)取出和操作數(shù)據(jù)告组。
jsoup開發(fā)手冊(cè) http://www.open-open.com/jsoup/
jsoup下載地址 http://jsoup.org/download
jsoup的jar包下載之后，導(dǎo)入我們的工程里就行了癌佩。
以下是獲取首頁(yè)中社會(huì)新聞的超鏈接以及插入數(shù)據(jù)庫(kù)的代碼木缝。
import java.sql.*;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
public class getURL{
public static void main(String[] args) {
try{
Document doc = Jsoup.connect("http://www.163.com").get();
Elements link=doc.select("a[href^=http://news.163.com/15]");
System.out.println("Links: "+link.size());
for (Element links : link) {
String url=links.attr("href");
System.out.println( url);
Class.forName("com.mysql.jdbc.Driver");
Connection conn=DriverManager.getConnection("jdbc:mysql://127.0.0.1:3306/search?useUnicode=true&characterEncoding=utf-8","root","123456");
System.out.println(url);
PreparedStatement pstmt=conn.prepareStatement("insert into geturl(url)values(?)");
pstmt.setString(1,url);
pstmt.executeUpdate();
}
}catch(Exception e){
System.out.print("錯(cuò)誤："+e.getMessage());
}
}
}
程序運(yùn)行結(jié)果如下
Links: 69
http://news.163.com/15/1018/10/B6714LQS00011229.html#f=resyswwwrank
http://news.163.com/15/1018/10/B6714LQS00011229.html#f=resyswwwrank
http://news.163.com/15/1018/01/B663HA6D00014Q4P.html#f=resyswwwrank
http://news.163.com/15/1018/01/B663HA6D00014Q4P.html#f=resyswwwrank
http://news.163.com/15/1018/00/B65VL94N00014AED.html#f=resyswwwrank
http://news.163.com/15/1018/00/B65VL94N00014AED.html#f=resyswwwrank
http://news.163.com/15/1018/09/B66S1BLF00011229.html#f=resyswwwrank
http://news.163.com/15/1018/09/B66S1BLF00011229.html#f=resyswwwrank
http://news.163.com/15/1018/11/B674F41400011229.html#f=resyswwwrank
獲取了鏈接地址后，就開始到網(wǎng)頁(yè)中扒取具體的新聞標(biāo)題和內(nèi)容了围辙，并且要插入數(shù)據(jù)庫(kù)氨肌。
import java.sql.*;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.select.Elements;
public class getArtical {
public static void main(String[] args) {
Connection conn= null;
PreparedStatement pstmt = null;
ResultSet rs=null;
try{
Class.forName("com.mysql.jdbc.Driver");
conn=DriverManager.getConnection("jdbc:mysql://127.0.0.1:3306/search?useUnicode=true&characterEncoding=utf-8","root","123456");
pstmt=conn.prepareStatement("select url from geturl ");
rs=pstmt.executeQuery();
while(rs.next()){
Document doc = Jsoup.connect(rs.getString("url")).get();
Elements head=doc.select("h1");
Elements pageContent=doc.select("p");
String title=head.text();
String content=pageContent.text();
System.out.println(title);
pstmt=conn.prepareStatement("insert into artical(title,content,url)values(?,?,?)");
pstmt.setString(1,title);
pstmt.setString(2,content);
pstmt.setString(3,rs.getString("url"));
pstmt.executeUpdate();
}
}catch(Exception e){
System.out.print("錯(cuò)誤："+e.getMessage());
}
}
}
運(yùn)行結(jié)果如下
廣州曬天價(jià)采購(gòu)預(yù)算:U盤千元 辦公室1平米140萬(wàn)
男子說(shuō)"他媽的"被起訴 法官引魯迅文章判其無(wú)罪
媒體揭少林師徒反目史:億元武校背后的權(quán)錢博弈
"海天盛筵"女主角涉賣淫被抓 曾被曝3天賺60萬(wàn)
海天盛筵外圍女涉嫌組織賣淫被抓 名企老總涉案
昆明航空多名空姐被惡搞塞進(jìn)行李架(圖)
以上兩段程序的運(yùn)行結(jié)果，行數(shù)還有很多酌畜，為了節(jié)省篇幅怎囚，我只截取了其中的一部分。這是因?yàn)椋侨【W(wǎng)頁(yè)內(nèi)容的輸出恳守，只是為了更方便的知道我們扒取網(wǎng)頁(yè)成功了考婴。
但不論是否輸出，對(duì)于搜索引擎的后續(xù)工作是沒有影響的催烘。
那么沥阱，現(xiàn)在網(wǎng)頁(yè)內(nèi)容已經(jīng)扒取完畢，接下來(lái)該做什么呢伊群？請(qǐng)見后續(xù)文章考杉，[搜索引擎——http://www.reibang.com/p/3e84e02626fd
此項(xiàng)目的完整代碼可以到我的github，search-engine進(jìn)行下載舰始。
