SpringBoot集成分布式對象存儲(分布式文件)MinIO

一、什么是MinIO匈子?

一句話:MinIO是高性能河胎、可擴(kuò)展、云原生支持虎敦、操作簡單游岳、開源的分布式對象存儲產(chǎn)品。

你可以把它和FastDFS原茅、HDFS作為類比,但它比其它都更簡單堕仔,極簡是MinIO的設(shè)計初衷之一擂橘,而且他的性能很好。

當(dāng)然也有很多商用的對象存儲服務(wù)摩骨,如阿里的OSS通贞、騰訊的COS,無需自己維護(hù)恼五,但需要付費昌罩。自建對象存儲還是香。

官網(wǎng)上的一句話:在中國:阿里巴巴灾馒、騰訊茎用、百度、中國聯(lián)通睬罗、華為轨功、中國移動等等9000多家企業(yè)也都在使用MinIO產(chǎn)品

官網(wǎng):http://www.minio.org.cn/

二、如何安裝部署容达?

下載地址:http://www.minio.org.cn/download.shtml

啟動命令

# windows
minio.exe server http://127.0.0.1/E:/person/article-tools/minio/data0 http://127.0.0.1/E:/person/article-tools/minio/data1 http://127.0.0.1/E:/person/article-tools/minio/data2 http://127.0.0.1/E:/person/article-tools/minio/data3
  • 這里面指定了4個分區(qū)(至少4個)古涧,具體可以根據(jù)您的實際情況進(jìn)行配置』ㄑ危可以四臺主機各一個數(shù)據(jù)存放位置羡滑,也可以兩臺主機各兩個存放位置菇爪。我這邊是四個存放位置都在一臺主機上。
  • 格式是 ip + 存放位置柒昏,如 http://127.0.0.1/E:/person/article-tools/minio/data0http://127.0.0.1/為ip地址凳宙,E:/person/article-tools/minio/data0為存放位置。

啟動成功后 默認(rèn)訪問地址 http://127.0.0.1:9000/昙楚,默認(rèn)賬號和密碼都是:minioadmin,創(chuàng)建一個test的桶(bucket)近速。

三、SpringBoot 集成 MinIO

pom.xml如下

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.3.2.RELEASE</version>
        <relativePath/>
    </parent>

    <modelVersion>4.0.0</modelVersion>
    <groupId>com.llh.minio</groupId>
    <artifactId>minio-demo</artifactId>
    <version>1.0.0</version>
    <name>minio-demo</name>
    <description>minio-demo</description>

    <properties>
        <java.version>1.8</java.version>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
        <spring-boot.version>2.3.7.RELEASE</spring-boot.version>
    </properties>

    <dependencies>
        <dependency>
            <groupId>io.minio</groupId>
            <artifactId>minio</artifactId>
            <version>8.2.2</version>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>

        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <version>1.18.20</version>
            <scope>provided</scope>
        </dependency>

    </dependencies>

</project>


MinioConfiguration

package com.llh.minio.config;

import io.minio.MinioClient;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

@Configuration
public class MinioConfiguration {

    private static final String END_POINT = "http://localhost:9000";

    private static final String USERNAME = "minioadmin";

    private static final String PASSWORD = "minioadmin";

    @Bean
    public MinioClient minioClient() {
        return new MinioClient.Builder()
                .endpoint(END_POINT)
                .credentials(USERNAME, PASSWORD)
                .build();
    }
}
  • 這里就是配置端口堪旧、用戶名削葱、密碼,注入MinioClient

TestController

package com.llh.minio.controller;

import io.minio.GetPresignedObjectUrlArgs;
import io.minio.MinioClient;
import io.minio.PutObjectArgs;
import io.minio.http.Method;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.PostMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;
import org.springframework.web.multipart.MultipartFile;

import javax.annotation.Resource;
import java.util.Objects;
import java.util.UUID;
import java.util.concurrent.TimeUnit;

@RestController
public class TestController {
    @Resource
    private MinioClient minioClient;

    // 和后臺桶名對應(yīng)
    private static final String TEST_BUCKET = "test";

    @PostMapping("upload")
    public String upload(@RequestParam(name = "file") MultipartFile file) {
        try {
            int idx = Objects.requireNonNull(file.getOriginalFilename()).lastIndexOf(".");
            String suffix = file.getOriginalFilename().substring(idx + 1);
            String fileName = UUID.randomUUID() + "." + suffix;

            // 保存文件
            minioClient.putObject(PutObjectArgs.builder()
                    .stream(file.getInputStream(), file.getSize(), PutObjectArgs.MIN_MULTIPART_SIZE)
                    .object(fileName)
                    .contentType(file.getContentType())
                    .bucket(TEST_BUCKET)
                    .build());
            return fileName;
        } catch (Exception e) {
            e.printStackTrace();
            return "";
        }
    }

    @GetMapping("getUrl")
    public String getUrl(@RequestParam(name = "path") String path) {
        try {
            // 獲取文件訪問地址 7天失效
            String url = minioClient.getPresignedObjectUrl(GetPresignedObjectUrlArgs.builder()
                    .bucket(TEST_BUCKET)
                    .object(path).
                    method(Method.GET)
                    .expiry(7, TimeUnit.DAYS).build());
            return url;
        } catch (Exception e) {
            e.printStackTrace();
            return "";
        }
    }
}

  • 這里是上傳文件接口 和 根據(jù)path返回訪問地址接口
  • 一般我們數(shù)據(jù)庫存放的是文件名淳梦,需要訪問的時候調(diào)用getUrl方法獲取全路徑訪問地址析砸。

MinioDemoApplication啟動類

package com.llh.minio;

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.boot.web.servlet.MultipartConfigFactory;
import org.springframework.context.annotation.Bean;
import org.springframework.util.unit.DataSize;

import javax.servlet.MultipartConfigElement;

/**
 * @author 小虎哥的技術(shù)博客
 */
@SpringBootApplication
public class MinioDemoApplication {

    public static void main(String[] args) {
        SpringApplication.run(MinioDemoApplication.class, args);
    }

    @Bean
    public MultipartConfigElement multipartConfigElement() {
        MultipartConfigFactory factory = new MultipartConfigFactory();
        factory.setMaxFileSize(DataSize.ofMegabytes(1024));
        factory.setMaxRequestSize(DataSize.ofMegabytes(1024));
        return factory.createMultipartConfig();
    }
}
  • 這里配置單文件上傳文件大小為1G,否則文件太大上傳會失敗爆袍。

四首繁、Postman測試

上傳文件


5.png
  • Body 類型選擇為File
  • 上傳成功返回文件路徑

獲取訪問/下載地址

五、MinIO文件格式

  • 四個存放位置


    7.png
  • 可以測試刪除其中一半的存放位置陨囊,它過一會兒就自動恢復(fù)了弦疮,比如刪除data0和data1,幾分鐘它就自動重新創(chuàng)建了文件,并且里面的內(nèi)容也恢復(fù)了蜘醋。

  • 有意思的是上傳的單個文件變成了文件夾


    2.png

  • 點擊到里面發(fā)現(xiàn)單個文件被拆分成了許多個小塊


    3.png

那么要下載文件只能通過官方的工具或者接口胁塞。

六、Nginx代理

生產(chǎn)環(huán)境中您是在多臺物理機部署MinIO压语,每臺物理機都有單獨的IP学辱,但是入口只能有一個,所以需要代理润绎。下面是Nginx代理的配置。

# http
upstream miniopass { 
    server localhost:9000; 
}

# server
location / {
    proxy_set_header Host $http_host;
    proxy_pass http://miniopass;
    client_max_body_size 1000m;
}

七、結(jié)語

有不懂的地方可以在評論區(qū)留言聪建,我們一起進(jìn)步汽馋!

源碼地址:https://github.com/tigerleeli/xiaohuge-blog/tree/master/spring-boot-minio

同步微信公眾號(還沒正式運營):小虎哥的技術(shù)博客

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末纺讲,一起剝皮案震驚了整個濱河市未檩,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌粥航,老刑警劉巖舵揭,帶你破解...
    沈念sama閱讀 217,734評論 6 505
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異躁锡,居然都是意外死亡午绳,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,931評論 3 394
  • 文/潘曉璐 我一進(jìn)店門映之,熙熙樓的掌柜王于貴愁眉苦臉地迎上來拦焚,“玉大人蜡坊,你說我怎么就攤上這事∈臧埽” “怎么了秕衙?”我有些...
    開封第一講書人閱讀 164,133評論 0 354
  • 文/不壞的土叔 我叫張陵,是天一觀的道長僵刮。 經(jīng)常有香客問我据忘,道長,這世上最難降的妖魔是什么搞糕? 我笑而不...
    開封第一講書人閱讀 58,532評論 1 293
  • 正文 為了忘掉前任勇吊,我火速辦了婚禮,結(jié)果婚禮上窍仰,老公的妹妹穿的比我還像新娘汉规。我一直安慰自己,他們只是感情好驹吮,可當(dāng)我...
    茶點故事閱讀 67,585評論 6 392
  • 文/花漫 我一把揭開白布针史。 她就那樣靜靜地躺著,像睡著了一般碟狞。 火紅的嫁衣襯著肌膚如雪啄枕。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,462評論 1 302
  • 那天族沃,我揣著相機與錄音频祝,去河邊找鬼。 笑死竭业,一個胖子當(dāng)著我的面吹牛智润,可吹牛的內(nèi)容都是我干的及舍。 我是一名探鬼主播未辆,決...
    沈念sama閱讀 40,262評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼锯玛!你這毒婦竟也來了咐柜?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,153評論 0 276
  • 序言:老撾萬榮一對情侶失蹤攘残,失蹤者是張志新(化名)和其女友劉穎拙友,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體歼郭,經(jīng)...
    沈念sama閱讀 45,587評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡遗契,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,792評論 3 336
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了病曾。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片牍蜂。...
    茶點故事閱讀 39,919評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡漾根,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出鲫竞,到底是詐尸還是另有隱情辐怕,我是刑警寧澤,帶...
    沈念sama閱讀 35,635評論 5 345
  • 正文 年R本政府宣布从绘,位于F島的核電站寄疏,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏僵井。R本人自食惡果不足惜陕截,卻給世界環(huán)境...
    茶點故事閱讀 41,237評論 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望驹沿。 院中可真熱鬧艘策,春花似錦、人聲如沸渊季。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,855評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽却汉。三九已至驯妄,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間合砂,已是汗流浹背青扔。 一陣腳步聲響...
    開封第一講書人閱讀 32,983評論 1 269
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留翩伪,地道東北人微猖。 一個月前我還...
    沈念sama閱讀 48,048評論 3 370
  • 正文 我出身青樓,卻偏偏與公主長得像缘屹,于是被迫代替她去往敵國和親凛剥。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,864評論 2 354

推薦閱讀更多精彩內(nèi)容