Jsoup爬取心靈毒雞湯

不亂于心,不困于情跪另。不畏將來拧抖,不念過往。如此免绿,安好唧席。

你的夢想是什么

之前一直在搞微博,定時轉(zhuǎn)發(fā)抽獎微博嘲驾,搞定后淌哟,meilexiawen。最近想想定時發(fā)點有意思的東西也不錯辽故,發(fā)啥呢徒仓?毒雞湯,沒錯誊垢!
【一個人至少擁有一個夢想掉弛,有一個理由去堅強(qiáng)。心若沒有棲息的地方喂走,到哪里都是在流浪殃饿。 ——三毛】

開始你的表演

  1. 首先找個毒雞湯網(wǎng)站,并定位關(guān)鍵節(jié)點芋肠。湯的成色還不錯乎芳。

    心靈雞湯
  2. 按F12,對元素分析下业栅。選中其中一個秒咐,右鍵Copy selector。

    #contentinside > div.totallikecontent > div > div > div.view-content > div.views-row.views-row-1.views-row-odd.views-row-first
    

    這樣只能標(biāo)識一個碘裕,好在jsoup.select支持正則。

    #contentinside > div.totallikecontent > div > div > div.view-content > div[class~=^views-row]
    
  3. 開始編寫代碼攒钳。目前沒發(fā)現(xiàn)網(wǎng)站有什么限制帮孔。除了.....

    public void getTotallike() throws IOException {
       String url = "http://www.juzimi.com/totallike";
       String ua = "User-Agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36";
       Document parse = Jsoup.connect(url).userAgent(ua).execute().parse();
    
       Elements select = parse.select("#contentinside > div.totallikecontent > div > div > div.view-content > div[class~=^views-row]");
       for (Element element : select) {
           String author = element.select("div > div.xqjulistwafo").text();
           String content = element.select("div > div.views-field-phpcode-1 > a").text();
           System.out.println(content +"   "+author);
       }
    }
    
  4. 存儲這些雞湯,倒掉怪可惜的,我這里就統(tǒng)一放到redis里文兢,因為只爬了15條晤斩。

        ArrayList<Object> poisons = new ArrayList<>();
        for (Element element : select) {
            String author = element.select("div > div.xqjulistwafo").text();
            String content  = element.select("div > div.views-field-phpcode-1 > a").text();
            System.out.println(content +"   "+author);
            poisons.add(content + "   " + author);
        }
        String value = JSONObject.toJSONString(poisons);
        stringRedisTemplate.opsForValue().set("Poison", value);
    
    先生,您的雞湯

表演結(jié)束

每天定時姆坚,早晚各一次

番外

因為jsoup訪問網(wǎng)站時澳泵,沒指定User-Agent時會默認(rèn)帶下面這個User-Agent

Request() {
            super(null);
            this.method = Method.GET;
            this.addHeader("Accept-Encoding", "gzip");
            this.addHeader("User-Agent", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36");
            this.parser = Parser.htmlParser();
        }

看著和普通PC端UA沒什么區(qū)別,所以一般我都不帶(用默認(rèn)的)兼呵。奇怪的事就發(fā)生了兔辅。



基本內(nèi)容和作者都是亂的,每次還不一樣击喂,不知道是不是UA的問題维苔,我換了UA就沒問題了,Mac電腦的朋友可以測測看懂昂。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末介时,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子凌彬,更是在濱河造成了極大的恐慌沸柔,老刑警劉巖,帶你破解...
    沈念sama閱讀 219,110評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件铲敛,死亡現(xiàn)場離奇詭異褐澎,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)原探,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,443評論 3 395
  • 文/潘曉璐 我一進(jìn)店門乱凿,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人咽弦,你說我怎么就攤上這事徒蟆。” “怎么了型型?”我有些...
    開封第一講書人閱讀 165,474評論 0 356
  • 文/不壞的土叔 我叫張陵段审,是天一觀的道長。 經(jīng)常有香客問我闹蒜,道長寺枉,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,881評論 1 295
  • 正文 為了忘掉前任绷落,我火速辦了婚禮姥闪,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘砌烁。我一直安慰自己筐喳,他們只是感情好催式,可當(dāng)我...
    茶點故事閱讀 67,902評論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著避归,像睡著了一般荣月。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上梳毙,一...
    開封第一講書人閱讀 51,698評論 1 305
  • 那天哺窄,我揣著相機(jī)與錄音,去河邊找鬼账锹。 笑死萌业,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的牌废。 我是一名探鬼主播咽白,決...
    沈念sama閱讀 40,418評論 3 419
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼鸟缕!你這毒婦竟也來了晶框?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,332評論 0 276
  • 序言:老撾萬榮一對情侶失蹤懂从,失蹤者是張志新(化名)和其女友劉穎授段,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體番甩,經(jīng)...
    沈念sama閱讀 45,796評論 1 316
  • 正文 獨居荒郊野嶺守林人離奇死亡侵贵,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,968評論 3 337
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了缘薛。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片窍育。...
    茶點故事閱讀 40,110評論 1 351
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖宴胧,靈堂內(nèi)的尸體忽然破棺而出漱抓,到底是詐尸還是另有隱情,我是刑警寧澤恕齐,帶...
    沈念sama閱讀 35,792評論 5 346
  • 正文 年R本政府宣布乞娄,位于F島的核電站,受9級特大地震影響显歧,放射性物質(zhì)發(fā)生泄漏仪或。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,455評論 3 331
  • 文/蒙蒙 一士骤、第九天 我趴在偏房一處隱蔽的房頂上張望范删。 院中可真熱鬧,春花似錦拷肌、人聲如沸瓶逃。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,003評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽厢绝。三九已至,卻和暖如春带猴,著一層夾襖步出監(jiān)牢的瞬間昔汉,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,130評論 1 272
  • 我被黑心中介騙來泰國打工拴清, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留靶病,地道東北人。 一個月前我還...
    沈念sama閱讀 48,348評論 3 373
  • 正文 我出身青樓口予,卻偏偏與公主長得像娄周,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子沪停,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,047評論 2 355

推薦閱讀更多精彩內(nèi)容

  • **2014真題Directions:Read the following text. Choose the be...
    又是夜半驚坐起閱讀 9,511評論 0 23
  • 問答題47 /72 常見瀏覽器兼容性問題與解決方案煤辨? 參考答案 (1)瀏覽器兼容問題一:不同瀏覽器的標(biāo)簽?zāi)J(rèn)的外補(bǔ)...
    _Yfling閱讀 13,754評論 1 92
  • 上海進(jìn)入黃梅天不是一天兩天的事,這瀝瀝落落的雨木张,灰色的天空众辨,讓人的心好不痛快。但是舷礼,上禮拜鹃彻,不管是上網(wǎng),還是進(jìn)入朋...
    ElleLee閱讀 33,476評論 14 12
  • 維羅妮卡平庸的生活妻献,沒有激動蛛株,沒有悲傷,什么都沒有育拨,就只有一天一天的重復(fù)谨履。談不上很幸福,也談不上不幸福至朗。她閉...
    家以純閱讀 355評論 2 3
  • 高雅別致的小皮裙包臀裙,帶一絲小俏皮,遮肉顯瘦的同事,勾勒出迷人曲線锹引。拼接的設(shè)計增添了時尚感,時尚范十足,擁有獨特...
    于賀賀閱讀 710評論 0 0