使用flask開發(fā)api——在CentOS下部署flask,使用gunicorn和supervisor部署服務(wù)

用flask開發(fā)了服務(wù)端的api嗅绸,過程中遇到了些坑脾猛,記錄部署上服務(wù)器的過程,以供后續(xù)使用鱼鸠。

安裝python3.6


本身服務(wù)器只安裝了python2猛拴,我需要安裝python3羹铅,所以就下載安裝python3.6,不能去動(dòng)已安裝的python2.X

1.下載

  wget https://www.python.org/ftp/python/3.6.6/Python-3.6.6.tar.xz

2. 解壓

  tar xvf  Python-3.6.6.tar.xz

3.編譯安裝

  進(jìn)入目錄 ./configure

  make && make install

python3源碼編譯已經(jīng)自帶pip3


創(chuàng)建原生虛擬環(huán)境


也可以不用虛擬環(huán)境愉昆,如不用則跳過這步

cd /opt/app_server/your_project_name


python3 -m venv <venv_name>

# 比如: python3 -m venv test_venv
# 創(chuàng)建成功后职员,就會(huì)創(chuàng)建一個(gè)test_venv目錄,該目錄下就會(huì)有基礎(chǔ)的python3文件

# 最后激活虛擬環(huán)境:

source test_venv/bin/activate

# 激活成功后跛溉,會(huì)在控制臺(tái)中顯示虛擬環(huán)境的名稱焊切。


安裝項(xiàng)目中需要的python 模塊


1.安裝模塊

# 先生成項(xiàng)目需要的模塊:我這使用pipreqs,如果沒有安裝先安裝: pip3 install pipreqs
# 這個(gè)工具的好處是可以通過對(duì)項(xiàng)目目錄的掃描芳室,自動(dòng)發(fā)現(xiàn)使用了那些類庫(kù)专肪,自動(dòng)生成依賴清單。缺點(diǎn)是可能會(huì)有些偏差堪侯,需要檢查并自己調(diào)整下嚎尤。

# 進(jìn)入本地項(xiàng)目目錄運(yùn)行:
pipreqs ./
# 生成requirements.txt文件

# 把requirements.txt文件放到服務(wù)器上
pip3 install -r requirements.txt  # 安裝相應(yīng)模塊

2. 安裝cx_Oracle

# 項(xiàng)目中需要連接oracle數(shù)據(jù)庫(kù),所以要安裝cx_Oracle:

pip3 install cx_Oracle

# 安裝時(shí)會(huì)檢查系統(tǒng)中Oracle Client libraries的配置伍宦,如果沒配置則會(huì)報(bào)錯(cuò)芽死。
# 所以需要先配置Oracle Client libraries:具體可見https://oracle.github.io/odpi/doc/installation.html#linux

# 配置完后,安裝不會(huì)報(bào)錯(cuò)次洼。要注意:下載的cx_Oracle安裝文件一定要跟pyhton的位數(shù)和版本一致,pyhton的位數(shù)最好是跟系統(tǒng)位數(shù)一致关贵。


安裝配置測(cè)試Gunicorn


1. 安裝gunicorn

# 安裝gunicorn
pip3 install gunicorn

# 等待安裝完成
# 創(chuàng)建gunicorn存放日志文件夾,我這創(chuàng)建在項(xiàng)目目錄下滓玖,方便查找
sudo mkdir /opt/app_server/your_project_name/logs
# 更改權(quán)限
sudo chmod -R 777 /opt/app_server/your_project_name/logs

2.測(cè)試gunicorn

# 這個(gè)時(shí)候其實(shí)已經(jīng)可以運(yùn)行了,進(jìn)入項(xiàng)目路徑下质蕉,運(yùn)行:
gunicorn -b 0.0.0.0:8000 run:app
# run是flask的啟動(dòng)python文件势篡,app則是flask應(yīng)用程序?qū)嵗?# 通過gunicorn -h可以看到gunicorn有非常多的配置項(xiàng)

3.創(chuàng)建gunicorn配置文件

配置文件的配置詳解可以見:https://blog.csdn.net/y472360651/article/details/78538188

# -*- coding: utf-8 -*-
# 為了更好的管理gunicorn,通常會(huì)寫個(gè)config文件模暗,在項(xiàng)目目錄下創(chuàng)建gunicorn_conf.py文件禁悠,內(nèi)容如下
import os
import multiprocessing

# 獲取當(dāng)前該配置文件的絕對(duì)路徑。gunicorn的配置文件是python文件,所以可以直接寫python代碼

path_of_current_file = os.path.abspath(__file__)

path_of_current_dir = os.path.split(path_of_current_file)[0]

chdir = path_of_current_dir

#workers = multiprocessing.cpu_count() * 2 + 1  # 可以理解為進(jìn)程數(shù)兑宇,會(huì)自動(dòng)分配到你機(jī)器上的多CPU碍侦,完成簡(jiǎn)單并行化

workers = 1  # 我這里不用多進(jìn)程

worker_class = 'sync'  # 默認(rèn)的worker的類型,如何選擇見:[http://docs](http://docs).[gunicorn.org/en/stable/design.html#choosing-a-worker-type](http://gunicorn.org/en/stable/design.html#choosing-a-worker-type)

bind = '0.0.0.0:18088'  # 服務(wù)使用的端口

pidfile = '%s/gunicorn.pid' % path_of_current_dir  # 存放Gunicorn進(jìn)程pid的位置隶糕,便于跟蹤

accesslog = '%s/logs/gunicorn_access.log' % path_of_current_dir  # 存放訪問日志的位置瓷产,注意首先需要存在logs文件夾,Gunicorn才可自動(dòng)創(chuàng)建log文件

errorlog = '%s/logs/gunicorn_error.log' % path_of_current_dir  # 存放錯(cuò)誤日志的位置枚驻,可與訪問日志相同

reload = True  # 如果應(yīng)用的代碼有變動(dòng)濒旦,work將會(huì)自動(dòng)重啟,適用于開發(fā)階段

daemon = False   # 是否后臺(tái)運(yùn)行

debug = False

timeout = 5   # server端的請(qǐng)求超時(shí)秒數(shù)

loglevel = 'error'

4.用gunicorn配置文件啟動(dòng)

gunicorn run:app -c your_path/gunicorn_conf.conf

# 可以看看日志是否啟動(dòng)再登,嘗試訪問看是否成功尔邓。

5.重啟/關(guān)閉gunicorn進(jìn)程

查看Gunicorn進(jìn)程

pstree -ap|grep gunicorn

重啟Gunicorn任務(wù)

kill -HUP 7865

關(guān)閉Gunicorn任務(wù)

kill -9 7862


安裝配置supervisor做守護(hù)進(jìn)程


雖然gunicorn在配置了daemon參數(shù)為True后晾剖,就是控制面板關(guān)閉后,進(jìn)程也不會(huì)退出梯嗽,但不會(huì)出錯(cuò)后自動(dòng)重啟等操作齿尽。所以還是需要使用supervisor做后臺(tái)守護(hù)。注意灯节,如果要用supervisor管理gunicorn的循头,gunicorn的配置文件中一定要把daemon設(shè)置為False,如果配置daemon = True的話supervisor啟動(dòng)就會(huì)報(bào)錯(cuò)显晶。所以但凡用supervisor管理的話贷岸,需要將守護(hù)進(jìn)程模式改掉。

# 退出虛擬環(huán)境
deactivate

1.如果服務(wù)器中沒有安裝supervisor磷雇,先進(jìn)行安裝

# yum的方式
# supervisor沒有發(fā)布在標(biāo)準(zhǔn)的CentOS源偿警,需要安裝epel源。
# 這種方式安裝的可能不是最新版本唯笙,但比較方便螟蒸,安裝完成之后,配置文件會(huì)自動(dòng)幫你生成崩掘。
# 還有個(gè)問題七嫌,我發(fā)現(xiàn)用yum安裝的老版本(2.x的版本)配置文件里沒有[include]選項(xiàng),手動(dòng)添加也沒用苞慢,不知道是不是我沒配置好诵原。

sudo yum install supervisor  


# 我這使用easy_install的方式安裝

easy_install supervisor  

# 安裝完后是沒有配置文件的,需要手動(dòng)添加

echo_supervisord_conf > /etc/supervisord.conf  

# 這里添加好的配置文件里有[include]選項(xiàng)挽放,只是被注釋了绍赛。

2.配置supervisor 配置文件

默認(rèn)配置文件有些地方是需要更改的。打開配置文件查看發(fā)現(xiàn)辑畦,supervisord.pid 以及 supervisor.sock 是放在 /tmp 目錄下吗蚌,但是 /tmp 目錄是存放臨時(shí)文件,里面的文件是會(huì)被 Linux 系統(tǒng)刪除的纯出,一旦這些文件丟失蚯妇,就無法再通過 supervisorctl 來執(zhí)行 restart 和 stop 命令了,會(huì)報(bào)錯(cuò)暂筝,所以修改這些目錄:

[unix_http_server]

;file=/tmp/supervisor.sock   ; (the path to the socket file)

;修改為 /var/run 目錄箩言,避免被系統(tǒng)刪除

file=/var/run/supervisor.sock   ; (the path to the socket file)

;chmod=0700                 ; socket file mode (default 0700)

;chown=nobody:nogroup       ; socket file uid:gid owner

;username=user              ; (default is no username (open server))

;password=123               ; (default is no password (open server))

;[inet_http_server]         ; inet (TCP) server disabled by default

;port=127.0.0.1:9001        ; (ip_address:port specifier, *:port for ;all iface)

;username=user              ; (default is no username (open server))

;password=123               ; (default is no password (open server))

...

[supervisord]

;logfile=/tmp/supervisord.log ; (main log file;default $CWD/supervisord.log)

;修改為 /var/log 目錄,避免被系統(tǒng)刪除

logfile=/var/log/supervisor/supervisord.log ; (main log file;default $CWD/supervisord.log)

logfile_maxbytes=50MB        ; (max main logfile bytes b4 rotation;default 50MB)

logfile_backups=10           ; (num of main logfile rotation backups;default 10)

loglevel=info                ; (log level;default info; others: debug,warn,trace)

;pidfile=/tmp/supervisord.pid ; (supervisord pidfile;default supervisord.pid)

;修改為 /var/run 目錄焕襟,避免被系統(tǒng)刪除

pidfile=/var/run/supervisord.pid ; (supervisord pidfile;default supervisord.pid)

...

;設(shè)置啟動(dòng)supervisord的用戶分扎,一般情況下不要輕易用root用戶來啟動(dòng),除非你真的確定要這么做

;user=chrism                 ; (default is current user, required if root)

...

[supervisorctl]

; 必須和'unix_http_server'里面的設(shè)定匹配

;serverurl=unix:///tmp/supervisor.sock ; use a unix:// URL  for a unix socket

;修改為 /var/run 目錄胧洒,避免被系統(tǒng)刪除

serverurl=unix:///var/run/supervisor.sock ; use a unix:// URL  for a unix socket

;serverurl=[http://127.0.0.1:9001](http://127.0.0.1:9001) ; use an http:// url to specify an inet socket

;username=chris              ; should be same as http_username if set

;password=123                ; should be same as http_password if set

...

supervisor的配置參數(shù)較多畏吓,詳細(xì)的配置及說明墨状,請(qǐng)參考官方文檔介紹,分號(hào)(;)開頭的配置表示注釋

為剛才創(chuàng)建的文件夾賦予權(quán)限:(如果指定了啟動(dòng)用戶 user菲饼,那么應(yīng)注意相關(guān)文件的權(quán)限問題肾砂,包括日志文件,否則會(huì)出現(xiàn)沒有權(quán)限的錯(cuò)誤宏悦。)

sudo chmod 777 /var/run
sudo chmod 777 /var/log



include配置

# 我們有多個(gè)項(xiàng)目不想在默認(rèn)配置文件里改镐确,為了便于區(qū)分,可以自己創(chuàng)建一個(gè)配置文件饼煞,然后在默認(rèn)的配置文件supervisord.conf里最后加上如下字段:
[include]
files = /etc/supervisor/*.conf
# *表示導(dǎo)入任何后綴為conf的文件源葫,也可以指定文件名導(dǎo)入. 多個(gè)conf文件使用空格分開即可
# supervisor文件夾如果不存在可以自行創(chuàng)建,當(dāng)然也可以放在其他任何可訪問的位置

在/etc/supervisor/下增加配置文件:my_job.conf

[program:my_job]
command=/opt/app_server/gunicorn_server_parkinglot/Envs/bin/gunicorn run:app -c /opt/app_server/gunicorn_server_parkinglot/my_job/gunicorn_conf.py
directory=/opt/app_server/gunicorn_server_parkinglot/my_job
autostart=true
autorestart=true
stopasgroup=true
stdout_logfile=/opt/app_server/gunicorn_server_parkinglot/my_job/logs/gunicorn_supervisor.log
stderr_logfile=/opt/app_server/gunicorn_server_parkinglot/my_job/logs/gunicorn_supervisor_err.log



使用瀏覽器管理
supervisor 同時(shí)提供了通過瀏覽器來管理進(jìn)程的方法砖瞧,只需要打開下面代碼的注釋就可以了息堂。(就是把前面的;刪除块促,如果是遠(yuǎn)程訪問的則把ip改成0.0.0.0)

[inet_http_server]         ; inet (TCP) server disabled by default
port=0.0.0.0:9001        ; (ip_address:port specifier, *:port for ;all iface)
username=user              ; (default is no username (open server))
password=123               ; (default is no password (open server))


3.命令

supervisord : 啟動(dòng)supervisor
supervisorctl reload :修改完配置文件后重新啟動(dòng)supervisor
supervisorctl status :查看supervisor監(jiān)管的進(jìn)程狀態(tài)
supervisorctl start 進(jìn)程名 :?jiǎn)?dòng)XXX進(jìn)程
supervisorctl stop 進(jìn)程名 :停止XXX進(jìn)程
supervisorctl stop all:停止全部進(jìn)程荣堰,注:start、restart竭翠、stop都不會(huì)載入最新的配置文件振坚。
supervisorctl update:根據(jù)最新的配置文件,啟動(dòng)新配置或有改動(dòng)的進(jìn)程斋扰,配置沒有改動(dòng)的進(jìn)程不會(huì)受影響而重啟

4.啟動(dòng)

啟動(dòng)supervisord后渡八,可以訪問服務(wù)器IP地址:9001,輸入賬號(hào)密碼后就會(huì)看到管理界面传货。


PS : 我第一次啟動(dòng)的時(shí)候報(bào)錯(cuò)了:

2018-08-09 15:00:29,772 INFO gave up: my_job entered FATAL state, too many start retries too quickly

后來發(fā)現(xiàn)是因?yàn)榍懊嬲f的gunicorn配置文件里屎鳍,daemon參數(shù)忘記改回False了,故報(bào)錯(cuò)损离。改回配置后哥艇,重啟還是失敗绝编,看了下進(jìn)程僻澎,原來之前supervisor報(bào)錯(cuò)的時(shí)候其實(shí)gunicorn是已經(jīng)啟動(dòng)了,所以要先把已經(jīng)啟動(dòng)的gunicorn進(jìn)程kill掉十饥,然后重啟supervisor窟勃,OK!測(cè)試逗堵,通過秉氧!


后續(xù)


因?yàn)槲业氖墙涌贏PI服務(wù),沒有用到靜態(tài)文件蜒秤,沒有對(duì)nginx進(jìn)行說明汁咏,后面如有項(xiàng)目需要的可以再對(duì)nginx進(jìn)行了解亚斋。

我這里沒有把supervisor設(shè)置為開機(jī)自動(dòng)啟動(dòng),如有需要可參考https://blog.csdn.net/u011069013/article/details/73732855

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末攘滩,一起剝皮案震驚了整個(gè)濱河市帅刊,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌漂问,老刑警劉巖赖瞒,帶你破解...
    沈念sama閱讀 218,755評(píng)論 6 507
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異蚤假,居然都是意外死亡栏饮,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,305評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門磷仰,熙熙樓的掌柜王于貴愁眉苦臉地迎上來袍嬉,“玉大人,你說我怎么就攤上這事芒划《梗” “怎么了?”我有些...
    開封第一講書人閱讀 165,138評(píng)論 0 355
  • 文/不壞的土叔 我叫張陵民逼,是天一觀的道長(zhǎng)泵殴。 經(jīng)常有香客問我,道長(zhǎng)拼苍,這世上最難降的妖魔是什么笑诅? 我笑而不...
    開封第一講書人閱讀 58,791評(píng)論 1 295
  • 正文 為了忘掉前任,我火速辦了婚禮疮鲫,結(jié)果婚禮上吆你,老公的妹妹穿的比我還像新娘。我一直安慰自己俊犯,他們只是感情好妇多,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,794評(píng)論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著燕侠,像睡著了一般者祖。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上绢彤,一...
    開封第一講書人閱讀 51,631評(píng)論 1 305
  • 那天七问,我揣著相機(jī)與錄音,去河邊找鬼茫舶。 笑死械巡,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播讥耗,決...
    沈念sama閱讀 40,362評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼有勾,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來了古程?” 一聲冷哼從身側(cè)響起柠衅,我...
    開封第一講書人閱讀 39,264評(píng)論 0 276
  • 序言:老撾萬榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎籍琳,沒想到半個(gè)月后菲宴,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,724評(píng)論 1 315
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡趋急,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,900評(píng)論 3 336
  • 正文 我和宋清朗相戀三年喝峦,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片呜达。...
    茶點(diǎn)故事閱讀 40,040評(píng)論 1 350
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡谣蠢,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出查近,到底是詐尸還是另有隱情眉踱,我是刑警寧澤,帶...
    沈念sama閱讀 35,742評(píng)論 5 346
  • 正文 年R本政府宣布霜威,位于F島的核電站谈喳,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏戈泼。R本人自食惡果不足惜婿禽,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,364評(píng)論 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望大猛。 院中可真熱鬧扭倾,春花似錦、人聲如沸挽绩。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,944評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)唉堪。三九已至模聋,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間巨坊,已是汗流浹背撬槽。 一陣腳步聲響...
    開封第一講書人閱讀 33,060評(píng)論 1 270
  • 我被黑心中介騙來泰國(guó)打工此改, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留趾撵,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 48,247評(píng)論 3 371
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像占调,于是被迫代替她去往敵國(guó)和親暂题。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,979評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容