前言

文件上傳是一個(gè)老生常談的話題了，在文件相對比較小的情況下雌团，可以直接把文件轉(zhuǎn)化為字節(jié)流上傳到服務(wù)器燃领，但在文件比較大的情況下，用普通的方式進(jìn)行上傳锦援，這可不是一個(gè)好的辦法猛蔽，畢竟很少有人會(huì)忍受，當(dāng)文件上傳到一半中斷后灵寺，繼續(xù)上傳卻只能重頭開始上傳曼库，這種讓人不爽的體驗(yàn)。那有沒有比較好的上傳體驗(yàn)?zāi)芈园澹鸢赣械幕倏荩褪窍逻呉榻B的幾種上傳方式

詳細(xì)教程

秒傳

1、什么是秒傳
通俗的說叮称，你把要上傳的東西上傳种玛，服務(wù)器會(huì)先做MD5校驗(yàn)，如果服務(wù)器上有一樣的東西瓤檐，它就直接給你個(gè)新地址赂韵，其實(shí)你下載的都是服務(wù)器上的同一個(gè)文件，想要不秒傳挠蛉，其實(shí)只要讓MD5改變祭示，就是對文件本身做一下修改（改名字不行），例如一個(gè)文本文件碌秸，你多加幾個(gè)字，MD5就變了悄窃，就不會(huì)秒傳了.

2讥电、本文實(shí)現(xiàn)的秒傳核心邏輯

• a、利用redis的set方法存放文件上傳狀態(tài)轧抗，其中key為文件上傳的md5恩敌，value為是否上傳完成的標(biāo)志位，
• b横媚、當(dāng)標(biāo)志位true為上傳已經(jīng)完成纠炮，此時(shí)如果有相同文件上傳，則進(jìn)入秒傳邏輯灯蝴。如果標(biāo)志位為false恢口，則說明還沒上傳完成，此時(shí)需要在調(diào)用set的方法穷躁，保存塊號文件記錄的路徑耕肩，其中key為上傳文件md5加一個(gè)固定前綴，value為塊號文件記錄路徑

分片上傳

1.什么是分片上傳
分片上傳，就是將所要上傳的文件猿诸，按照一定的大小婚被，將整個(gè)文件分隔成多個(gè)數(shù)據(jù)塊（我們稱之為Part）來進(jìn)行分別上傳，上傳完之后再由服務(wù)端對所有上傳的文件進(jìn)行匯總整合成原始的文件梳虽。

2.分片上傳的場景

• 1.大文件上傳
• 2.網(wǎng)絡(luò)環(huán)境環(huán)境不好址芯，存在需要重傳風(fēng)險(xiǎn)的場景

斷點(diǎn)續(xù)傳

1、什么是斷點(diǎn)續(xù)傳
斷點(diǎn)續(xù)傳是在下載或上傳時(shí)窜觉，將下載或上傳任務(wù)（一個(gè)文件或一個(gè)壓縮包）人為的劃分為幾個(gè)部分谷炸，每一個(gè)部分采用一個(gè)線程進(jìn)行上傳或下載，如果碰到網(wǎng)絡(luò)故障竖螃，可以從已經(jīng)上傳或下載的部分開始繼續(xù)上傳或者下載未完成的部分淑廊，而沒有必要從頭開始上傳或者下載。本文的斷點(diǎn)續(xù)傳主要是針對斷點(diǎn)上傳場景特咆。

2季惩、應(yīng)用場景
斷點(diǎn)續(xù)傳可以看成是分片上傳的一個(gè)衍生，因此可以使用分片上傳的場景腻格，都可以使用斷點(diǎn)續(xù)傳画拾。

3、實(shí)現(xiàn)斷點(diǎn)續(xù)傳的核心邏輯
在分片上傳的過程中菜职，如果因?yàn)橄到y(tǒng)崩潰或者網(wǎng)絡(luò)中斷等異常因素導(dǎo)致上傳中斷青抛，這時(shí)候客戶端需要記錄上傳的進(jìn)度。在之后支持再次上傳時(shí)酬核，可以繼續(xù)從上次上傳中斷的地方進(jìn)行繼續(xù)上傳蜜另。

為了避免客戶端在上傳之后的進(jìn)度數(shù)據(jù)被刪除而導(dǎo)致重新開始從頭上傳的問題，服務(wù)端也可以提供相應(yīng)的接口便于客戶端對已經(jīng)上傳的分片數(shù)據(jù)進(jìn)行查詢嫡意，從而使客戶端知道已經(jīng)上傳的分片數(shù)據(jù)举瑰，從而從下一個(gè)分片數(shù)據(jù)開始繼續(xù)上傳。

4蔬螟、實(shí)現(xiàn)流程步驟

• a此迅、方案一，常規(guī)步驟
  將需要上傳的文件按照一定的分割規(guī)則旧巾，分割成相同大小的數(shù)據(jù)塊耸序；
  初始化一個(gè)分片上傳任務(wù)，返回本次分片上傳唯一標(biāo)識鲁猩；
  按照一定的策略（串行或并行）發(fā)送各個(gè)分片數(shù)據(jù)塊坎怪；
  發(fā)送完成后，服務(wù)端根據(jù)判斷數(shù)據(jù)上傳是否完整廓握，如果完整芋忿，則進(jìn)行數(shù)據(jù)塊合成得到原始文件炸客。
• b、方案二戈钢、本文實(shí)現(xiàn)的步驟
  前端（客戶端）需要根據(jù)固定大小對文件進(jìn)行分片痹仙，請求后端（服務(wù)端）時(shí)要帶上分片序號和大小
  服務(wù)端創(chuàng)建conf文件用來記錄分塊位置，conf文件長度為總分片數(shù)殉了，每上傳一個(gè)分塊即向conf文件中寫入一個(gè)127开仰，那么沒上傳的位置就是默認(rèn)的0,已上傳的就是Byte.MAX_VALUE 127（這步是實(shí)現(xiàn)斷點(diǎn)續(xù)傳和秒傳的核心步驟）
  服務(wù)器按照請求數(shù)據(jù)中給的分片序號和每片分塊大小（分片大小是固定且一樣的）算出開始位置薪铜，與讀取到的文件片段數(shù)據(jù)众弓，寫入文件。

5隔箍、分片上傳/斷點(diǎn)上傳代碼實(shí)現(xiàn)

• a谓娃、前端采用百度提供的webuploader的插件，進(jìn)行分片蜒滩。因本文主要介紹服務(wù)端代碼實(shí)現(xiàn)滨达，webuploader如何進(jìn)行分片，具體實(shí)現(xiàn)可以查看如下鏈接:
  http://fex.baidu.com/webuploader/getting-started.html
• b俯艰、后端用兩種方式實(shí)現(xiàn)文件寫入捡遍，一種是用RandomAccessFile，如果對RandomAccessFile不熟悉的朋友竹握，可以查看如下鏈接:
  https://blog.csdn.net/dimudan2015/article/details/81910690
  另一種是使用MappedByteBuffer画株，對MappedByteBuffer不熟悉的朋友，可以查看如下鏈接進(jìn)行了解:
  http://www.reibang.com/p/f90866dcbffc

后端進(jìn)行寫入操作的核心代碼

• a啦辐、RandomAccessFile實(shí)現(xiàn)方式

@UploadMode(mode = UploadModeEnum.RANDOM_ACCESS)  
@Slf4j  
public class RandomAccessUploadStrategy extends SliceUploadTemplate {  
  
  @Autowired  
  private FilePathUtil filePathUtil;  
  
  @Value("${upload.chunkSize}")  
  private long defaultChunkSize;  
  
  @Override  
  public boolean upload(FileUploadRequestDTO param) {  
    RandomAccessFile accessTmpFile = null;  
    try {  
      String uploadDirPath = filePathUtil.getPath(param);  
      File tmpFile = super.createTmpFile(param);  
      accessTmpFile = new RandomAccessFile(tmpFile, "rw");  
      //這個(gè)必須與前端設(shè)定的值一致  
      long chunkSize = Objects.isNull(param.getChunkSize()) ? defaultChunkSize * 1024 * 1024  
          : param.getChunkSize();  
      long offset = chunkSize * param.getChunk();  
      //定位到該分片的偏移量  
      accessTmpFile.seek(offset);  
      //寫入該分片數(shù)據(jù)  
      accessTmpFile.write(param.getFile().getBytes());  
      boolean isOk = super.checkAndSetUploadProgress(param, uploadDirPath);  
      return isOk;  
    } catch (IOException e) {  
      log.error(e.getMessage(), e);  
    } finally {  
      FileUtil.close(accessTmpFile);  
    }  
   return false;  
  }  
  
}  

• b谓传、MappedByteBuffer實(shí)現(xiàn)方式

@UploadMode(mode = UploadModeEnum.MAPPED_BYTEBUFFER)  
@Slf4j  
public class MappedByteBufferUploadStrategy extends SliceUploadTemplate {  
  
  @Autowired  
  private FilePathUtil filePathUtil;  
  
  @Value("${upload.chunkSize}")  
  private long defaultChunkSize;  
  
  @Override  
  public boolean upload(FileUploadRequestDTO param) {  
  
    RandomAccessFile tempRaf = null;  
    FileChannel fileChannel = null;  
    MappedByteBuffer mappedByteBuffer = null;  
    try {  
      String uploadDirPath = filePathUtil.getPath(param);  
      File tmpFile = super.createTmpFile(param);  
      tempRaf = new RandomAccessFile(tmpFile, "rw");  
      fileChannel = tempRaf.getChannel();  
  
      long chunkSize = Objects.isNull(param.getChunkSize()) ? defaultChunkSize * 1024 * 1024  
          : param.getChunkSize();  
      //寫入該分片數(shù)據(jù)  
      long offset = chunkSize * param.getChunk();  
      byte[] fileData = param.getFile().getBytes();  
      mappedByteBuffer = fileChannel  
.map(FileChannel.MapMode.READ_WRITE, offset, fileData.length);  
      mappedByteBuffer.put(fileData);  
      boolean isOk = super.checkAndSetUploadProgress(param, uploadDirPath);  
      return isOk;  
  
    } catch (IOException e) {  
      log.error(e.getMessage(), e);  
    } finally {  
  
      FileUtil.freedMappedByteBuffer(mappedByteBuffer);  
      FileUtil.close(fileChannel);  
      FileUtil.close(tempRaf);  
  
    }  
  
    return false;  
  }  
  
} 

• c、文件操作核心模板類代碼

@Slf4j  
public abstract class SliceUploadTemplate implements SliceUploadStrategy {  
  
  public abstract boolean upload(FileUploadRequestDTO param);  
  
  protected File createTmpFile(FileUploadRequestDTO param) {  
  
    FilePathUtil filePathUtil = SpringContextHolder.getBean(FilePathUtil.class);  
    param.setPath(FileUtil.withoutHeadAndTailDiagonal(param.getPath()));  
    String fileName = param.getFile().getOriginalFilename();  
    String uploadDirPath = filePathUtil.getPath(param);  
    String tempFileName = fileName + "_tmp";  
    File tmpDir = new File(uploadDirPath);  
    File tmpFile = new File(uploadDirPath, tempFileName);  
    if (!tmpDir.exists()) {  
      tmpDir.mkdirs();  
    }  
    return tmpFile;  
  }  
  
  @Override  
  public FileUploadDTO sliceUpload(FileUploadRequestDTO param) {  
  
    boolean isOk = this.upload(param);  
    if (isOk) {  
      File tmpFile = this.createTmpFile(param);  
      FileUploadDTO fileUploadDTO = this.saveAndFileUploadDTO(param.getFile().getOriginalFilename(), tmpFile);  
      return fileUploadDTO;  
    }  
    String md5 = FileMD5Util.getFileMD5(param.getFile());  
  
    Map<Integer, String> map = new HashMap<>();  
    map.put(param.getChunk(), md5);  
    return FileUploadDTO.builder().chunkMd5Info(map).build();  
  }  
  
  /**  
   * 檢查并修改文件上傳進(jìn)度  
   */  
  public boolean checkAndSetUploadProgress(FileUploadRequestDTO param, String uploadDirPath) {  
  
    String fileName = param.getFile().getOriginalFilename();  
    File confFile = new File(uploadDirPath, fileName + ".conf");  
    byte isComplete = 0;  
    RandomAccessFile accessConfFile = null;  
    try {  
      accessConfFile = new RandomAccessFile(confFile, "rw");  
      //把該分段標(biāo)記為 true 表示完成  
      System.out.println("set part " + param.getChunk() + " complete");  
      //創(chuàng)建conf文件文件長度為總分片數(shù)芹关，每上傳一個(gè)分塊即向conf文件中寫入一個(gè)127续挟，那么沒上傳的位置就是默認(rèn)0,已上傳的就是Byte.MAX_VALUE 127  
      accessConfFile.setLength(param.getChunks());  
      accessConfFile.seek(param.getChunk());  
      accessConfFile.write(Byte.MAX_VALUE);  
  
      //completeList 檢查是否全部完成,如果數(shù)組里是否全部都是127(全部分片都成功上傳)  
      byte[] completeList = FileUtils.readFileToByteArray(confFile);  
      isComplete = Byte.MAX_VALUE;  
      for (int i = 0; i < completeList.length && isComplete == Byte.MAX_VALUE; i++) {  
        //與運(yùn)算, 如果有部分沒有完成則 isComplete 不是 Byte.MAX_VALUE  
        isComplete = (byte) (isComplete & completeList[i]);  
        System.out.println("check part " + i + " complete?:" + completeList[i]);  
      }  
  
    } catch (IOException e) {  
      log.error(e.getMessage(), e);  
    } finally {  
      FileUtil.close(accessConfFile);  
    }  
 boolean isOk = setUploadProgress2Redis(param, uploadDirPath, fileName, confFile, isComplete);  
    return isOk;  
  }  
  
  /**  
   * 把上傳進(jìn)度信息存進(jìn)redis  
   */  
  private boolean setUploadProgress2Redis(FileUploadRequestDTO param, String uploadDirPath,  
      String fileName, File confFile, byte isComplete) {  
  
    RedisUtil redisUtil = SpringContextHolder.getBean(RedisUtil.class);  
    if (isComplete == Byte.MAX_VALUE) {  
      redisUtil.hset(FileConstant.FILE_UPLOAD_STATUS, param.getMd5(), "true");  
      redisUtil.del(FileConstant.FILE_MD5_KEY + param.getMd5());  
      confFile.delete();  
      return true;  
    } else {  
      if (!redisUtil.hHasKey(FileConstant.FILE_UPLOAD_STATUS, param.getMd5())) {  
        redisUtil.hset(FileConstant.FILE_UPLOAD_STATUS, param.getMd5(), "false");  
        redisUtil.set(FileConstant.FILE_MD5_KEY + param.getMd5(),  
            uploadDirPath + FileConstant.FILE_SEPARATORCHAR + fileName + ".conf");  
      }  
  
      return false;  
    }  
  }  
/**  
   * 保存文件操作  
   */  
  public FileUploadDTO saveAndFileUploadDTO(String fileName, File tmpFile) {  
  
    FileUploadDTO fileUploadDTO = null;  
  
    try {  
  
      fileUploadDTO = renameFile(tmpFile, fileName);  
      if (fileUploadDTO.isUploadComplete()) {  
        System.out  
            .println("upload complete !!" + fileUploadDTO.isUploadComplete() + " name=" + fileName);  
        //TODO 保存文件信息到數(shù)據(jù)庫  
  
      }  
  
    } catch (Exception e) {  
      log.error(e.getMessage(), e);  
    } finally {  
  
    }  
    return fileUploadDTO;  
  }  
/**  
   * 文件重命名  
   *  
   * @param toBeRenamed 將要修改名字的文件  
   * @param toFileNewName 新的名字  
   */  
  private FileUploadDTO renameFile(File toBeRenamed, String toFileNewName) {  
    //檢查要重命名的文件是否存在，是否是文件  
    FileUploadDTO fileUploadDTO = new FileUploadDTO();  
    if (!toBeRenamed.exists() || toBeRenamed.isDirectory()) {  
      log.info("File does not exist: {}", toBeRenamed.getName());  
      fileUploadDTO.setUploadComplete(false);  
      return fileUploadDTO;  
    }  
    String ext = FileUtil.getExtension(toFileNewName);  
    String p = toBeRenamed.getParent();  
    String filePath = p + FileConstant.FILE_SEPARATORCHAR + toFileNewName;  
    File newFile = new File(filePath);  
    //修改文件名  
    boolean uploadFlag = toBeRenamed.renameTo(newFile);  
  
    fileUploadDTO.setMtime(DateUtil.getCurrentTimeStamp());  
    fileUploadDTO.setUploadComplete(uploadFlag);  
    fileUploadDTO.setPath(filePath);  
    fileUploadDTO.setSize(newFile.length());  
    fileUploadDTO.setFileExt(ext);  
    fileUploadDTO.setFileId(toFileNewName);  
  
    return fileUploadDTO;  
  }  
}  

總結(jié)

在實(shí)現(xiàn)分片上傳的過程充边，需要前端和后端配合庸推，比如前后端的上傳塊號的文件大小常侦，前后端必須得要一致浇冰，否則上傳就會(huì)有問題。其次文件相關(guān)操作正常都是要搭建一個(gè)文件服務(wù)器的聋亡，比如使用fastdfs肘习、hdfs等。

本示例代碼在電腦配置為4核內(nèi)存8G情況下坡倔，上傳24G大小的文件漂佩，上傳時(shí)間需要30多分鐘脖含，主要時(shí)間耗費(fèi)在前端的md5值計(jì)算，后端寫入的速度還是比較快投蝉。如果項(xiàng)目組覺得自建文件服務(wù)器太花費(fèi)時(shí)間养葵，且項(xiàng)目的需求僅僅只是上傳下載，那么推薦使用阿里的oss服務(wù)器关拒，其介紹可以查看官網(wǎng):

https://help.aliyun.com/product/31815.html

阿里的oss它本質(zhì)是一個(gè)對象存儲(chǔ)服務(wù)器，而非文件服務(wù)器庸娱，因此如果有涉及到大量刪除或者修改文件的需求，oss可能就不是一個(gè)好的選擇熟尉。

文末提供一個(gè)oss表單上傳的鏈接demo归露，通過oss表單上傳，可以直接從前端把文件上傳到oss服務(wù)器斤儿，把上傳的壓力都推給oss服務(wù)器:

https://www.cnblogs.com/ossteam/p/4942227.html

來源：已賦值（作者-小度爺）