網(wǎng)絡(luò)爬蟲抓取圖片并上傳到fastdfs圖片不完整問題解決

注意:如果直接使用uri的連接將圖片上傳到fastdfs會導(dǎo)致圖片上傳不完整矿咕,所以需要將圖片先保存下來蒋畜,上傳完成后再刪除

Imagedownload

public static String fastdfsdownload(String imgUrl) {
        String filepath = "";
        File file = null;
        try {
            // 獲取圖片URL
            URL url = new URL(imgUrl);
            // 獲得連接
            URLConnection connection = url.openConnection();
            // 設(shè)置10秒的相應(yīng)時間
            connection.setConnectTimeout(10 * 1000);
            
            //模擬瀏覽器訪問询微,防止網(wǎng)站屏蔽
            connection.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.19 Safari/537.36");
            
            InputStream is = connection.getInputStream();
            if (is == null || is.available() <= 0) {
                return null;
            }
            //得到臨時文件
            file = getTemplateFile(is);
            
            filepath = fastDFS.upload(file);
            is.close();
        } catch (IOException e) {
            e.printStackTrace();
        }
        return filepath;
    }

public static File getTemplateFile(InputStream inputStream) {
        File file = null;
        try {
            file = File.createTempFile("temp_image", null);
        } catch (IOException e) {
            e.printStackTrace();
        }
        inputStreamToFile(inputStream, file);
        if (file.exists() && file.length() <= 0) {
            return null;
        }
        return file;
    }

    public static void inputStreamToFile(InputStream ins, File file) {
        try {
            OutputStream os = new FileOutputStream(file);
            try {
                int bytesRead = 0;
                byte[] buffer = new byte[8192];
                while ((bytesRead = ins.read(buffer, 0, 8192)) != -1) {
                    os.write(buffer, 0, bytesRead);
                }
                os.flush();
            } finally {
                if (os != null) {
                    os.close();
                }
                if (ins != null) {
                    ins.close();
                }
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

FastDFS

package com.neusoft.util;

import com.neusoft.fastdfsTemlate.FastDFSTemplate;
import com.neusoft.fastdfsTemlate.FastDfsInfo;
import com.neusoft.fastdfsTemlate.exception.FastDFSException;
import org.csource.common.NameValuePair;
import org.springframework.beans.factory.BeanFactory;
import org.springframework.context.support.ClassPathXmlApplicationContext;

import java.io.*;
import java.util.HashMap;
import java.util.Map;

public class FastDFS {
    private BeanFactory beanFactory = new ClassPathXmlApplicationContext("classpath:spring-fastdfs.xml");
    private FastDFSTemplate dfsTemplate = (FastDFSTemplate) beanFactory.getBean("fastDFSTemplate");

    public String upload(File tempFile) {
        InputStream is = null;
        try {
            is = new FileInputStream(tempFile);
        } catch (FileNotFoundException e) {
            e.printStackTrace();
        }
        byte[] bytes = null;
        try {
            bytes = new byte[is.available()];
            int length = is.read(bytes);
        } catch (IOException e) {
            e.printStackTrace();
        }
        Map<String, String> map = new HashMap<>();
        FastDfsInfo rv = null;
        try {
            rv = dfsTemplate.upload(bytes, "jpg", map);
        } catch (FastDFSException e) {
            e.printStackTrace();
        }finally {
            if (is != null) {
                try {
                    is.close();
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
            if (tempFile != null) {
                tempFile.delete();
            }
        }
        assert rv != null;
        return rv.getFileAbsolutePath();
    }
}

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末炫隶,一起剝皮案震驚了整個濱河市洞辣,隨后出現(xiàn)的幾起案子叉存,更是在濱河造成了極大的恐慌码俩,老刑警劉巖,帶你破解...
    沈念sama閱讀 222,252評論 6 516
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件鹉胖,死亡現(xiàn)場離奇詭異握玛,居然都是意外死亡,警方通過查閱死者的電腦和手機甫菠,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,886評論 3 399
  • 文/潘曉璐 我一進(jìn)店門挠铲,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人寂诱,你說我怎么就攤上這事拂苹。” “怎么了痰洒?”我有些...
    開封第一講書人閱讀 168,814評論 0 361
  • 文/不壞的土叔 我叫張陵瓢棒,是天一觀的道長。 經(jīng)常有香客問我丘喻,道長脯宿,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 59,869評論 1 299
  • 正文 為了忘掉前任泉粉,我火速辦了婚禮连霉,結(jié)果婚禮上榴芳,老公的妹妹穿的比我還像新娘。我一直安慰自己跺撼,他們只是感情好窟感,可當(dāng)我...
    茶點故事閱讀 68,888評論 6 398
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著歉井,像睡著了一般柿祈。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上哩至,一...
    開封第一講書人閱讀 52,475評論 1 312
  • 那天躏嚎,我揣著相機與錄音,去河邊找鬼憨募。 笑死紧索,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的菜谣。 我是一名探鬼主播珠漂,決...
    沈念sama閱讀 41,010評論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼尾膊!你這毒婦竟也來了媳危?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,924評論 0 277
  • 序言:老撾萬榮一對情侶失蹤冈敛,失蹤者是張志新(化名)和其女友劉穎待笑,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體抓谴,經(jīng)...
    沈念sama閱讀 46,469評論 1 319
  • 正文 獨居荒郊野嶺守林人離奇死亡暮蹂,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,552評論 3 342
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了癌压。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片仰泻。...
    茶點故事閱讀 40,680評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖滩届,靈堂內(nèi)的尸體忽然破棺而出集侯,到底是詐尸還是另有隱情,我是刑警寧澤帜消,帶...
    沈念sama閱讀 36,362評論 5 351
  • 正文 年R本政府宣布棠枉,位于F島的核電站,受9級特大地震影響泡挺,放射性物質(zhì)發(fā)生泄漏辈讶。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 42,037評論 3 335
  • 文/蒙蒙 一娄猫、第九天 我趴在偏房一處隱蔽的房頂上張望贱除。 院中可真熱鬧咳促,春花似錦、人聲如沸勘伺。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,519評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽飞醉。三九已至,卻和暖如春屯阀,著一層夾襖步出監(jiān)牢的瞬間缅帘,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,621評論 1 274
  • 我被黑心中介騙來泰國打工难衰, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留钦无,地道東北人。 一個月前我還...
    沈念sama閱讀 49,099評論 3 378
  • 正文 我出身青樓盖袭,卻偏偏與公主長得像失暂,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子鳄虱,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,691評論 2 361

推薦閱讀更多精彩內(nèi)容

  • Spring Cloud為開發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見模式的工具(例如配置管理弟塞,服務(wù)發(fā)現(xiàn),斷路器拙已,智...
    卡卡羅2017閱讀 134,711評論 18 139
  • FastDFS是用C語言編寫的一款開源的輕量級分布式文件系統(tǒng)决记。它對文件進(jìn)行管理,功能包括:文件存儲倍踪、文件同步系宫、文件...
    歡醉閱讀 4,049評論 3 12
  • 1 FastDFS簡介 FastDFS是一款類Google FS開源的輕量級分布式文件系統(tǒng),它用純C語言實現(xiàn)建车,支持...
    小小少年Boy閱讀 6,465評論 1 7
  • 半夜癞志,我突然想要喝罐啤酒往枷,告訴自己算是青春的一點肆意妄為吧。然而事實上我喝過酒的次數(shù)用一只手都可以數(shù)過來凄杯,最后我...
    甜面閱讀 524評論 0 0
  • 今年错洁,對孩子,少了耐心戒突,多了控制屯碴,少了同理心,多了很多憤怒膊存,人生导而,最痛苦的事情就是忱叭,越來越發(fā)現(xiàn)自己像某個自己...
    愛自滿溢閱讀 174評論 0 0