不亂于心,不困于情跪另。不畏將來拧抖,不念過往。如此免绿,安好唧席。
你的夢想是什么
之前一直在搞微博,定時轉(zhuǎn)發(fā)抽獎微博嘲驾,搞定后淌哟,meilexiawen。最近想想定時發(fā)點有意思的東西也不錯辽故,發(fā)啥呢徒仓?毒雞湯,沒錯誊垢!
【一個人至少擁有一個夢想掉弛,有一個理由去堅強(qiáng)。心若沒有棲息的地方喂走,到哪里都是在流浪殃饿。 ——三毛】
開始你的表演
-
首先找個毒雞湯網(wǎng)站,并定位關(guān)鍵節(jié)點芋肠。湯的成色還不錯乎芳。
心靈雞湯 -
按F12,對元素分析下业栅。選中其中一個秒咐,右鍵Copy selector。
#contentinside > div.totallikecontent > div > div > div.view-content > div.views-row.views-row-1.views-row-odd.views-row-first
這樣只能標(biāo)識一個碘裕,好在jsoup.select支持正則。
#contentinside > div.totallikecontent > div > div > div.view-content > div[class~=^views-row]
-
開始編寫代碼攒钳。目前沒發(fā)現(xiàn)網(wǎng)站有什么限制帮孔。除了.....
public void getTotallike() throws IOException { String url = "http://www.juzimi.com/totallike"; String ua = "User-Agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"; Document parse = Jsoup.connect(url).userAgent(ua).execute().parse(); Elements select = parse.select("#contentinside > div.totallikecontent > div > div > div.view-content > div[class~=^views-row]"); for (Element element : select) { String author = element.select("div > div.xqjulistwafo").text(); String content = element.select("div > div.views-field-phpcode-1 > a").text(); System.out.println(content +" "+author); } }
-
存儲這些雞湯,倒掉怪可惜的,我這里就統(tǒng)一放到redis里文兢,因為只爬了15條晤斩。
ArrayList<Object> poisons = new ArrayList<>(); for (Element element : select) { String author = element.select("div > div.xqjulistwafo").text(); String content = element.select("div > div.views-field-phpcode-1 > a").text(); System.out.println(content +" "+author); poisons.add(content + " " + author); } String value = JSONObject.toJSONString(poisons); stringRedisTemplate.opsForValue().set("Poison", value);
先生,您的雞湯
表演結(jié)束
每天定時姆坚,早晚各一次
番外
因為jsoup訪問網(wǎng)站時澳泵,沒指定User-Agent時會默認(rèn)帶下面這個User-Agent
Request() {
super(null);
this.method = Method.GET;
this.addHeader("Accept-Encoding", "gzip");
this.addHeader("User-Agent", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36");
this.parser = Parser.htmlParser();
}
看著和普通PC端UA沒什么區(qū)別,所以一般我都不帶(用默認(rèn)的)兼呵。奇怪的事就發(fā)生了兔辅。
基本內(nèi)容和作者都是亂的,每次還不一樣击喂,不知道是不是UA的問題维苔,我換了UA就沒問題了,Mac電腦的朋友可以測測看懂昂。