Flask源碼之從WSGI協(xié)議說起(一)

引言

我們知道web應(yīng)用的本質(zhì)就是:

  1. 瀏覽器發(fā)送一個(gè)HTTP請求
  2. 服務(wù)器收到請求,處理業(yè)務(wù)邏輯挠进,生成html匪蟀、json等數(shù)據(jù)
  3. 服務(wù)器把html提岔、json等數(shù)據(jù)放在HTTP響應(yīng)的body中發(fā)送給瀏覽器
  4. 瀏覽器收到http響應(yīng)

可以看到這一過程我們需要接受、解析HTTP請求和發(fā)送HTTP響應(yīng)主巍,如果這些都由我們自己來寫的話冠息,我們需要自己處理包括建立TCP連接(HTTP協(xié)議是建立在TCP之上)、解析原始HTTP請求等工作孕索,這太麻煩了逛艰。所以我們需要:

  1. 一個(gè)HTTP服務(wù)器軟件幫我們處理這些工作
  2. Web應(yīng)用框架專注于處理業(yè)務(wù)邏輯

而WSGI就是約定HTTP服務(wù)器軟件和Web應(yīng)用框架交互的協(xié)議

WSGI協(xié)議

WSGI協(xié)議主要包括兩部分,服務(wù)端和應(yīng)用框架端

具體來說搞旭,服務(wù)端就是HTTP服務(wù)器把HTTP原始請求(字節(jié)形式)封裝成一個(gè)dict對象散怖,調(diào)用應(yīng)用框架的如下函數(shù)application菇绵,dict對象傳給environ參數(shù),并提供一個(gè)start_response回調(diào)函數(shù)镇眷。

應(yīng)用框架處理完業(yè)務(wù)邏輯之后咬最,回過頭來調(diào)用start_response這個(gè)函數(shù)讓HTTP服務(wù)器軟件發(fā)送HTTP響應(yīng)給瀏覽器

def application(environ, start_response):
    start_response('200 OK', [('Content-Type', 'text/html')])
    return [b'<h1>Hello, web!</h1>']
img

Gunicon

gunicorn是一個(gè)用python寫的實(shí)現(xiàn)了WSGI協(xié)議的HTTP Server,也就是HTTP服務(wù)器

我們來看一下它是如何啟動我們的項(xiàng)目的

# 創(chuàng)建虛擬環(huán)境
virtualenv --python=python3 venv
# 安裝gunicorn
pip install gunicorn
# 查看我們的應(yīng)用代碼
cat myapp.py 
def application(environ, start_response):
    start_response('200 OK', [('Content-Type', 'text/html')])
    return [b'<h1>Hello, web!</h1>']
# 這行命令的意思是gunicorn從myapp這個(gè)模塊中導(dǎo)入application這個(gè)對象
# 相當(dāng)于 from myapp import application
# 然后開啟四個(gè)worker來處理瀏覽器發(fā)送過來的http請求
# 要注意的是欠动,進(jìn)程不共享內(nèi)存永乌,所以每個(gè)worker都實(shí)例化了一個(gè)application對象,這在有些場景下或許是一個(gè)問題
gunicorn -w 4 myapp:application

[2020-12-22 07:03:22 -0800] [50121] [INFO] Starting gunicorn 20.0.4
[2020-12-22 07:03:22 -0800] [50121] [INFO] Listening at: http://127.0.0.1:8000 (50121)
[2020-12-22 07:03:22 -0800] [50121] [INFO] Using worker: sync
[2020-12-22 07:03:22 -0800] [50124] [INFO] Booting worker with pid: 50124
[2020-12-22 07:03:22 -0800] [50125] [INFO] Booting worker with pid: 50125
[2020-12-22 07:03:22 -0800] [50126] [INFO] Booting worker with pid: 50126
[2020-12-22 07:03:22 -0800] [50127] [INFO] Booting worker with pid: 50127


也就是任何python web框架只要實(shí)現(xiàn)了這個(gè)application函數(shù)或者有實(shí)現(xiàn)了__call__方法的對象具伍,就可以了就可以被gunicorn調(diào)用翅雏,一定程度上起到了解耦的作用

class Application(object):
    def __call__(environ,start_response):
        start_response('200 OK', [('Content-Type', 'text/html')])
        return [b'<h1>Hello, web!</h1>']

我們自己來實(shí)現(xiàn)HTTP 服務(wù)器軟件或者叫WSGI Server呢?

代碼有點(diǎn)長人芽,建議在電腦上慢慢看望几,邏輯很簡單

  1. 創(chuàng)建socket對象
  2. 開啟一個(gè)循環(huán),從socket對象中不停接受客戶端的連接
  3. 連接建立了就開始接收數(shù)據(jù)(字節(jié))萤厅,把數(shù)據(jù)封裝成environ對象(dict)
  4. 調(diào)用應(yīng)用框架的application函數(shù)橄抹,傳入envirionstart_response參數(shù)

vim my_wsgi_server.py

# -*- coding: UTF-8 -*-
import io
import socket
import sys


class WSGIServer(object):
    address_family = socket.AF_INET
    socket_type = socket.SOCK_STREAM
    request_queue_size = 1

    def __init__(self, server_address):
        # Create a listening socket
        self.listen_socket = listen_socket = socket.socket(
            self.address_family,
            self.socket_type
        )
        # Allow to reuse the same address
        listen_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
        # Bind
        listen_socket.bind(server_address)
        # Activate
        listen_socket.listen(self.request_queue_size)
        # Get server host name and port
        host, port = self.listen_socket.getsockname()[:2]
        self.server_name = socket.getfqdn(host)
        self.server_port = port
        # Return headers set by Web framework/Web application
        self.headers_set = []

    def set_app(self, application):
        self.application = application

    def serve_forever(self):
        listen_socket = self.listen_socket
        while True:
            # 輪詢獲取客戶端的TCP連接
            self.client_connection, client_address = listen_socket.accept()
            # 處理一個(gè)HTTP請求,然后關(guān)閉
            self.handle_one_request()

    def handle_one_request(self):
        request_data = self.client_connection.recv(1024)
        self.request_data = request_data = request_data.decode('utf-8')
        # Print formatted request data a la 'curl -v'
        print(''.join(
            f'< {line}\n' for line in request_data.splitlines()
        ))

        self.parse_request(request_data)

        # 把原始的HTTP請求變成dict字典
        env = self.get_environ()

        # 這里就是WSGI協(xié)議部分
        # 傳入包含請求信息的dict對象和回調(diào)函數(shù)start_response
        result = self.application(env, self.start_response)

        # Construct a response and send it back to the client
        self.finish_response(result)

    def parse_request(self, text):
        request_line = text.splitlines()[0]
        request_line = request_line.rstrip('\r\n')
        # Break down the request line into components
        (self.request_method,  # GET
         self.path,  # /hello
         self.request_version  # HTTP/1.1
         ) = request_line.split()

    def get_environ(self):
        env = {}
        # The following code snippet does not follow PEP8 conventions
        # but it's formatted the way it is for demonstration purposes
        # to emphasize the required variables and their values
        #
        # Required WSGI variables
        env['wsgi.version'] = (1, 0)
        env['wsgi.url_scheme'] = 'http'
        env['wsgi.input'] = io.StringIO(self.request_data)
        env['wsgi.errors'] = sys.stderr
        env['wsgi.multithread'] = False
        env['wsgi.multiprocess'] = False
        env['wsgi.run_once'] = False
        # Required CGI variables
        env['REQUEST_METHOD'] = self.request_method  # GET
        env['PATH_INFO'] = self.path  # /hello
        env['SERVER_NAME'] = self.server_name  # localhost
        env['SERVER_PORT'] = str(self.server_port)  # 8888
        return env

    def start_response(self, status, response_headers, exc_info=None):
        # Add necessary server headers
        server_headers = [
            ('Date', 'Mon, 15 Jul 2019 5:54:48 GMT'),
            ('Server', 'WSGIServer 0.2'),
        ]
        self.headers_set = [status, response_headers + server_headers]
        # To adhere to WSGI specification the start_response must return
        # a 'write' callable. We simplicity's sake we'll ignore that detail
        # for now.
        # return self.finish_response

    def finish_response(self, result):
        try:
            status, response_headers = self.headers_set
            response = f'HTTP/1.1 {status}\r\n'
            for header in response_headers:
                response += '{0}: {1}\r\n'.format(*header)
            response += '\r\n'
            for data in result:
                response += data.decode('utf-8')
            # Print formatted response data a la 'curl -v'
            print(''.join(
                f'> {line}\n' for line in response.splitlines()
            ))
            response_bytes = response.encode()
            self.client_connection.sendall(response_bytes)
        finally:
            self.client_connection.close()


SERVER_ADDRESS = (HOST, PORT) = '', 8888


def make_server(server_address, application):
    server = WSGIServer(server_address)
    server.set_app(application)
    return server


if __name__ == '__main__':
    if len(sys.argv) < 2:
        sys.exit('Provide a WSGI application object as module:callable')
    # 獲取python my_wsgi_server.py后面的第一個(gè)參數(shù)
    app_path = sys.argv[1]
    module, application = app_path.split(':')
    # myapp
    module = __import__(module)
    # myapp.application
    application = getattr(module, application)
    # 創(chuàng)建http服務(wù)器
    httpd = make_server(SERVER_ADDRESS, application)
    print(f'WSGIServer: Serving HTTP on port {PORT} ...\n')

    httpd.serve_forever()

我們用自己寫的wsgi server調(diào)用自己寫的application祈坠,也就是應(yīng)用框架

python3 my_wsgi_server.py myapp:application

至此害碾,你就成功用自己寫的wsgi server運(yùn)行了自己的應(yīng)用代碼

你還可以嘗試用這個(gè)wsgi server運(yùn)行flask

pip3 install flask

vim flask_app

from flask import Flask

flask_app = Flask(__name__)


@flask_app.route('/')
def hello_world():
    return "hello flask"

# python3 my_wsgi_server.py flask_app:flask_app

python3 my_wsgi_server.py flask_app:flask_app

訪問8888端口

git clone git@github.com:johnson329/flask_src.git
git checkout 6723f55
virtualenv --python=python3 venv
source venv/bin/activate
pip3 install -r requirements.txt
python3 my_wsgi_server.py flask_app:flask_app

參考

Let’s Build A Web Server. Part 1.

Let’s Build A Web Server. Part 2.

pep-3333

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市赦拘,隨后出現(xiàn)的幾起案子慌随,更是在濱河造成了極大的恐慌,老刑警劉巖躺同,帶你破解...
    沈念sama閱讀 212,454評論 6 493
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件阁猜,死亡現(xiàn)場離奇詭異,居然都是意外死亡蹋艺,警方通過查閱死者的電腦和手機(jī)剃袍,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,553評論 3 385
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來捎谨,“玉大人民效,你說我怎么就攤上這事√尉龋” “怎么了畏邢?”我有些...
    開封第一講書人閱讀 157,921評論 0 348
  • 文/不壞的土叔 我叫張陵,是天一觀的道長检吆。 經(jīng)常有香客問我舒萎,道長,這世上最難降的妖魔是什么蹭沛? 我笑而不...
    開封第一講書人閱讀 56,648評論 1 284
  • 正文 為了忘掉前任臂寝,我火速辦了婚禮章鲤,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘咆贬。我一直安慰自己败徊,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,770評論 6 386
  • 文/花漫 我一把揭開白布素征。 她就那樣靜靜地躺著集嵌,像睡著了一般。 火紅的嫁衣襯著肌膚如雪御毅。 梳的紋絲不亂的頭發(fā)上根欧,一...
    開封第一講書人閱讀 49,950評論 1 291
  • 那天,我揣著相機(jī)與錄音端蛆,去河邊找鬼凤粗。 笑死,一個(gè)胖子當(dāng)著我的面吹牛今豆,可吹牛的內(nèi)容都是我干的嫌拣。 我是一名探鬼主播,決...
    沈念sama閱讀 39,090評論 3 410
  • 文/蒼蘭香墨 我猛地睜開眼呆躲,長吁一口氣:“原來是場噩夢啊……” “哼异逐!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起插掂,我...
    開封第一講書人閱讀 37,817評論 0 268
  • 序言:老撾萬榮一對情侶失蹤灰瞻,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后辅甥,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體酝润,經(jīng)...
    沈念sama閱讀 44,275評論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,592評論 2 327
  • 正文 我和宋清朗相戀三年璃弄,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了要销。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 38,724評論 1 341
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡夏块,死狀恐怖疏咐,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情脐供,我是刑警寧澤凳鬓,帶...
    沈念sama閱讀 34,409評論 4 333
  • 正文 年R本政府宣布,位于F島的核電站患民,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏垦梆。R本人自食惡果不足惜匹颤,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 40,052評論 3 316
  • 文/蒙蒙 一仅孩、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧印蓖,春花似錦辽慕、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,815評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至他宛,卻和暖如春船侧,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背厅各。 一陣腳步聲響...
    開封第一講書人閱讀 32,043評論 1 266
  • 我被黑心中介騙來泰國打工镜撩, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人队塘。 一個(gè)月前我還...
    沈念sama閱讀 46,503評論 2 361
  • 正文 我出身青樓袁梗,卻偏偏與公主長得像,于是被迫代替她去往敵國和親憔古。 傳聞我的和親對象是個(gè)殘疾皇子遮怜,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,627評論 2 350

推薦閱讀更多精彩內(nèi)容