習(xí)慣上只是簡單把 Nginx 用作 WebServer仿吞，最近看了看它的插件志珍，發(fā)現(xiàn)其實(shí)有很多玩法给涕，特別是很多工作可以不再需要寫代碼了鬼佣，通過安裝配置插件就可以實(shí)現(xiàn)驶拱。本文以搭建一個(gè)文檔服務(wù)器為例，演示一下怎樣使用 Nginx 插件晶衷。
項(xiàng)目概述
本項(xiàng)目嘗試用Nginx的多個(gè)模塊搭建一個(gè)文檔服務(wù)器蓝纲，實(shí)現(xiàn)文件的上傳和瀏覽。純粹用Nginx實(shí)現(xiàn)是想講文件上傳作為一個(gè)獨(dú)立的基礎(chǔ)模塊晌纫，如果其他業(yè)務(wù)模塊需要文件管理功能税迷，可以直接使用。
項(xiàng)目地址：https://github.com/jasony62/tms-nginx-finder
安裝模塊
| 名稱 | 功能 | 指令 |
|---|---|---|
| echo-nginx-module | 快速響應(yīng)內(nèi)容 | echo |
| nginx-upload-module | 上傳文件 | upload_xxx |
| njs | 用 Javascript 處理業(yè)務(wù)邏輯 | js_xxx |
| set-misc-nginx-module | 在 nginx.conf 文件中處理變量 | set_unescape_uri |
| redis2-nginx-module | redis 客戶端 | redis2_xxx |
配置 Nginx
環(huán)境參數(shù)
| 環(huán)境變量 | 參數(shù)名 | 說明 |
|---|---|---|
| REDIS_KEY_UPLOAD_START_TIME | $redis_key_upload_start_time | Redis 中用于保存服務(wù)啟動時(shí)間的 key |
| REDIS_KEY_UPLOAD_COUNTER | $redis_key_upload_counter | Redis 中用于保存上傳文件次數(shù)的 key |
| REDIS_CHANNEL_UPLOAD | $redis_channel_upload | Redis 中接收上傳文件信息的 channel |
| LOCAL_UPLOAD_LOG | 本地保存上傳文件日志锹漱，指定了記箭养，不指定不記 |
需要在nginx.conf文件中添加如下設(shè)置，用env指令說明需要使用的環(huán)境變量哥牍，用js_set指令創(chuàng)建變量并賦值（沒有找到直接在配置文件中使用環(huán)境變量的方法）毕泌。
env REDIS_KEY_UPLOAD_START_TIME;
env REDIS_KEY_UPLOAD_COUNTER;
env REDIS_CHANNEL_UPLOAD;
js_include /usr/local/nginx/njs/upload.js;
js_set $redis_key_upload_start_time var_redis_key_upload_start_time;
js_set $redis_key_upload_counter var_redis_key_upload_counter;
js_set $redis_channel_upload var_redis_channel_upload;
訪問目錄
我們希望可以通過 Nginx 直接訪問某個(gè)目錄下的文件，例如：nginx 工作目錄下的 files 目錄嗅辣，在nginx.conf中添加如下內(nèi)容：
location = /files/ {
root .;
autoindex on;
}
上傳文件
我們用nginx-upload-module插件實(shí)現(xiàn)文件上傳功能撼泛。安裝完成后，在nginx.conf中添加如下配置：
location /upload/ {
# 指定上傳文件的存放位置
upload_store /usr/local/nginx/files;
# 設(shè)置轉(zhuǎn)發(fā)的信息
upload_set_form_field $upload_field_name.name "$upload_file_name";
upload_set_form_field $upload_field_name.content_type "$upload_content_type";
upload_set_form_field $upload_field_name.path "$upload_tmp_path";
upload_aggregate_form_field "$upload_field_name.md5" "$upload_file_md5";
upload_aggregate_form_field "$upload_field_name.size" "$upload_file_size";
# 文件上傳后轉(zhuǎn)發(fā)請求
upload_pass @upload_response;
# add_header "Content-Type" "text/html; charset=UTF-8";
# echo "echo: Upload done";
}
指令upload_pass是文件上傳后將文件的基本信息轉(zhuǎn)發(fā)到指定地址辩诞。接收上傳文件信息的地址用的是命名地址（named location）坎弯，它不是按照正則匹配的，用于內(nèi)部轉(zhuǎn)發(fā)（后面 njs 模塊會說明如何實(shí)現(xiàn)）。
上傳的文件會放在指令upload_store指定的位置抠忘，文件是由數(shù)字組成的遞增的字符撩炊，例如：0000000001，0000000002崎脉。如果不需要后續(xù)處理拧咳，可以不用轉(zhuǎn)發(fā)上傳文件數(shù)據(jù)，直接通過echo指令返回結(jié)果囚灼。
處理文件
因?yàn)闊o法指定上傳文件的命名（沒有擴(kuò)展名）骆膝，而且每次重啟 Nginx 都會從頭開始給文件命名，可能會覆蓋已有的文件灶体，這樣使用起來不方便阅签，所以希望能夠修改上傳文件的名字。這里我們使用了njs模塊蝎抽，在nginx.conf中添加如下配置：
js_include /usr/local/nginx/njs/upload.js;
location @upload_response {
js_content handle;
}
文件的命名由 3 個(gè)部分組成：服務(wù)啟動時(shí)間+啟動以來上傳的文件數(shù)加 1+擴(kuò)展名政钟，例如：20191224_124808_8.mp4。為了實(shí)現(xiàn)這個(gè)要求樟结，需要記錄服務(wù)啟動時(shí)間和上傳文件次數(shù)养交。最簡單的方法考慮是做成全局變量，但是在 Nginx 中沒有找到實(shí)現(xiàn)方法瓢宦。本來想可以把數(shù)據(jù)寫到本地文件中碎连，但是這樣應(yīng)該會有并發(fā)讀取的問題，所以決定用 Redis 來保存數(shù)據(jù)驮履。
訪問 Redis
Redis 中存放兩個(gè)數(shù)據(jù)：1鱼辙、啟動時(shí)間；2疲吸、計(jì)數(shù)器座每。每次上傳一個(gè)文件就通過啟動時(shí)間和計(jì)數(shù)器組合出一個(gè)文件名。獲取啟動時(shí)間用get命令摘悴，獲取計(jì)數(shù)器用incr命令峭梳。利用 redis2-nginx-module 模塊可以把 nginx 變成一個(gè) redis 客戶端，我們在nginx.conf中添加如下配置：
location = /redis/counter {
redis2_query get $redis_key_upload_start_time;
redis2_query incr $redis_key_upload_counter;
redis2_pass redis:6379;
}
Redis 除了存儲共享信息外蹂喻，我們還用它進(jìn)行事件通知葱椭，每次完成一個(gè)文件的處理后，利用 Redis 的發(fā)布訂閱機(jī)制發(fā)送一條上傳文件的信息口四，這樣如果其他的系統(tǒng)需要進(jìn)行擴(kuò)展可以接收這個(gè)事件孵运。在nginx.conf中添加如下配置：
location = /redis/publish {
set_unescape_uri $message $arg_message;
redis2_query publish $redis_channel_upload $message;
redis2_pass redis:6379;
}
容器化
為了便于使用，我們將整個(gè)項(xiàng)目做成 docker 容器蔓彩。容器有 3 個(gè)：Nginx 容器治笨，Redis 容器和 Redis-cli 容器驳概，其中 Redis-cli 是為了在 Redis 中設(shè)置初始值。
設(shè)置時(shí)區(qū)
alpine鏡像默認(rèn)的時(shí)區(qū)是UTC旷赖，和我們差了 8 個(gè)小時(shí)顺又。前面提到過需要將服務(wù)啟動時(shí)間作為上傳文件名的一部分，因此需要把失去調(diào)整為Asia/Shanghai等孵。Dockerfile 中添加如下內(nèi)容：
RUN sed -i 's?http://dl-cdn.alpinelinux.org/?https://mirrors.aliyun.com/?' /etc/apk/repositories && \
apk add -U tzdata && \
cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime && \
apk del tzdata
Redis 初始值
我們需要每次服務(wù)啟動時(shí)在 Redis 中記錄啟動時(shí)間稚照，想到最簡單的方法 Redis 服務(wù)啟動后，用redis-cli執(zhí)行如下命令俯萌。
date +'%Y%m%d_%H%M%S' | xargs redis-cli -h redis set uploadBootAt
環(huán)境變量
在docker-compose.yml文件中指定環(huán)境變量的值果录，如果需要可以通過docker-compose.override.yml文件覆蓋。
environment:
- REDIS_KEY_UPLOAD_START_TIME=upload:start_time
- REDIS_KEY_UPLOAD_COUNTER=upload:counter
- REDIS_CHANNEL_UPLOAD=upload:event
其他
volumes:
- ./nginx/nginx.conf:/usr/local/nginx/conf/nginx.conf:ro
- ./nginx/html:/usr/local/nginx/html
- ./nginx/njs:/usr/local/nginx/njs
- ./upload:/usr/local/nginx/files
這里分享個(gè)經(jīng)驗(yàn)咐熙。本來想讓文件上傳到容器中的tmp目錄下弱恒，然后再改名到volumes指定的目錄下。但是糖声，這樣需要在兩個(gè)device之間移動文件斤彼，是不允許的分瘦，所以改成了文件直接上傳到指定的目錄蘸泻，就地改名。
nginx.conf中設(shè)置連接 Redis嘲玫。
location = /redis/counter {
redis2_query get $redis_key_upload_start_time;
redis2_query incr $redis_key_upload_counter;
redis2_pass redis:6379;
}
這需要兩個(gè)容器之間進(jìn)行連接悦施，但事先我們并不知道地址是什么，解決的方法是在docker-compose.yml中進(jìn)行指定去团。
Containers for the linked service are reachable at a hostname identical to the alias, or the service name if no alias was specified.
nginx:
...
links:
- redis
JS 代碼說明
nginx.conf文件
env REDIS_KEY_UPLOAD_START_TIME;
js_set $redis_key_upload_start_time var_redis_key_upload_start_time;
njs/upload.js
//
function var_redis_key_upload_start_time(r) {
return process.env.REDIS_KEY_UPLOAD_START_TIME;
}
通過js_set指令可以解決在nginx.conf文件中無法引用環(huán)境變量給變量賦值的問題抡诞。
r.subrequest("/redis/counter", { method: "GET" }, function(res) {
......
});
用subrequest方法可以發(fā)起調(diào)用，但是不能對命名地址（named location）進(jìn)行調(diào)用土陪。
var fs = require("fs");
fs.renameSync(oFileData.path, newpath);
使用fs模塊可以進(jìn)行簡單的文件操作昼汗。但是不能用require調(diào)用自己編寫的模塊。
遺留問題
訪問控制問題鬼雀。
多文件上傳問題顷窒。
大文件續(xù)傳問題。
參考
一篇講解Nginx變量的文章源哩，推薦閱讀：https://blog.csdn.net/ok449a6x1i6qq0g660fv/article/details/80276506
