python 隨筆 --- 從SocketServer 講起

從SocketServer 講起

    +------------+
    | BaseServer |
    +------------+
          |
          v
    +-----------+        +------------------+
    | TCPServer |------->| UnixStreamServer |
    +-----------+        +------------------+
          |
          v
    +-----------+        +--------------------+
    | UDPServer |------->| UnixDatagramServer |
    +-----------+        +--------------------+

整個(gè)模塊的結(jié)構(gòu)大概是這樣的熄攘,由BaseServer衍生出TCPServer补鼻,UDPServer胀葱,然后以此為基類,后續(xù)還有HTTPServer(SocketServer.TCPServer)唇牧,class WSGIServer(HTTPServer)罕扎,但入口都是接下去要說的SockerServer中的一些類。

BaseServer 有以下的一些方法

Methods for the caller:

    - __init__(server_address, RequestHandlerClass)
    - serve_forever(poll_interval=0.5)
    - shutdown()
    - handle_request()  # if you do not use serve_forever()
    - fileno() -> int   # for select()

    Methods that may be overridden:

    - server_bind()
    - server_activate()
    - get_request() -> request, client_address
    - handle_timeout()
    - verify_request(request, client_address)
    - server_close()
    - process_request(request, client_address)
    - shutdown_request(request)
    - close_request(request)
    - handle_error()

    Methods for derived classes:

    - finish_request(request, client_address)

    Class variables that may be overridden by derived classes or
    instances:

    - timeout
    - address_family
    - socket_type
    - allow_reuse_address

    Instance variables:

    - RequestHandlerClass
    - socket

這其中有一系列鉤子方法留著給子類復(fù)寫以實(shí)現(xiàn)其特有的功能丐重。其中實(shí)現(xiàn)具體處理邏輯的為_handle_request_noblock方法

def _handle_request_noblock(self):
    """Handle one request, without blocking.

    I assume that select.select has returned that the socket is
    readable before this function was called, so there should be
    no risk of blocking in get_request().
    """
    try:
        request, client_address = self.get_request()
    except socket.error:
        return
    if self.verify_request(request, client_address):
        try:
            self.process_request(request, client_address)
        except:
            self.handle_error(request, client_address)
            self.shutdown_request(request)

get_request 需要子類來實(shí)現(xiàn)腔召,獲取request和address,而后由process_request 來處理扮惦,process_request 會依次調(diào)用finish_request 和shutdown_request,finish_request會調(diào)用RequestHandlerClass(需要傳入臀蛛,為具體處理的handler)。

def serve_forever(self, poll_interval=0.5):
    self.__is_shut_down.clear()
    try:
        while not self.__shutdown_request:
            # XXX: Consider using another file descriptor or
            # connecting to the socket to wake this up instead of
            # polling. Polling reduces our responsiveness to a
            # shutdown request and wastes cpu at all other times.
            r, w, e = _eintr_retry(select.select, [self], [], [],
                                   poll_interval)
            if self in r:
                self._handle_request_noblock()
    finally:
        self.__shutdown_request = False
        self.__is_shut_down.set()

在serve_forever 中崖蜜,會使用select 獲取需要處理的內(nèi)容浊仆,再調(diào)用上邊的_handle_request_noblock。

簡單的流程是這樣的豫领,BaseServer中定義了一些處理流程方面的東西抡柿,并沒有任何具體的處理,所有的處理流程等恐,都留給了子類洲劣。另外還有些上述沒提到的留給TCP 和UDPserver的方法,比如TCP的server_bind等不一一說了课蔬,具體看代碼囱稽。

Threading , Forking

這個(gè)模塊非常巧妙的使用mix-in class實(shí)現(xiàn)了Threading和Forking。

通過上面的分析我們知道二跋,核心的處理邏輯是process_request方法战惊,以多線程為例,如果我們要實(shí)現(xiàn)多線程扎即,其實(shí)只需要對這個(gè)方法做些改動即可吞获。

def process_request_thread(self, request, client_address):
    """Same as in BaseServer but as a thread.
    In addition, exception handling is done here.
    """
    try:
        self.finish_request(request, client_address)
        self.shutdown_request(request)
    except:
        self.handle_error(request, client_address)
        self.shutdown_request(request)

def process_request(self, request, client_address):
    """Start a new thread to process the request."""
    t = threading.Thread(target = self.process_request_thread,
                         args = (request, client_address))
    t.daemon = self.daemon_threads
    t.start()
class ThreadingUDPServer(ThreadingMixIn, UDPServer): pass

就是這么簡單的實(shí)現(xiàn),同樣的還有ForkingMixIn 铺遂, 這兩個(gè)mix-in class在后續(xù)很多地方都還會使用到衫哥,簡直是mix-in使用的完美范例茎刚。

handler

handler的基類是BaseRequestHandler,非常的短襟锐。

def __init__(self, request, client_address, server):
    self.request = request
    self.client_address = client_address
    self.server = server
    self.setup()
    try:
        self.handle()
    finally:
        self.finish()

def setup(self):
    pass

def handle(self):
    pass

def finish(self):
    pass

而后還有兩個(gè)具體的實(shí)現(xiàn),StreamRequestHandler 和DatagramRequestHandler膛锭,分別用于TCP 和UDPServer中粮坞,也只是簡單實(shí)現(xiàn)了setup和finish蚊荣,核心handle方法留給子類實(shí)現(xiàn)。

入BaseHttpServer中莫杈,有一個(gè)BaseHTTPRequestHandler互例,針對http協(xié)議做了一系列處理,當(dāng)然筝闹,既然以base開頭媳叨,也只是為后續(xù)實(shí)現(xiàn)提供方便。如werkzeug.serving中的WSGIRequestHandler关顷,在繼承BaseHTTPRequestHandler的基礎(chǔ)上糊秆,做了一些修改,用于適配wsgi標(biāo)準(zhǔn)议双。如需要傳入application痘番,用于處理具體業(yè)務(wù)。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末平痰,一起剝皮案震驚了整個(gè)濱河市汞舱,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌宗雇,老刑警劉巖昂芜,帶你破解...
    沈念sama閱讀 216,744評論 6 502
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異赔蒲,居然都是意外死亡说铃,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,505評論 3 392
  • 文/潘曉璐 我一進(jìn)店門嘹履,熙熙樓的掌柜王于貴愁眉苦臉地迎上來腻扇,“玉大人,你說我怎么就攤上這事砾嫉∮卓粒” “怎么了?”我有些...
    開封第一講書人閱讀 163,105評論 0 353
  • 文/不壞的土叔 我叫張陵焕刮,是天一觀的道長舶沿。 經(jīng)常有香客問我,道長配并,這世上最難降的妖魔是什么括荡? 我笑而不...
    開封第一講書人閱讀 58,242評論 1 292
  • 正文 為了忘掉前任,我火速辦了婚禮溉旋,結(jié)果婚禮上畸冲,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好邑闲,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,269評論 6 389
  • 文/花漫 我一把揭開白布算行。 她就那樣靜靜地躺著,像睡著了一般苫耸。 火紅的嫁衣襯著肌膚如雪州邢。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,215評論 1 299
  • 那天褪子,我揣著相機(jī)與錄音量淌,去河邊找鬼。 笑死嫌褪,一個(gè)胖子當(dāng)著我的面吹牛类少,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播渔扎,決...
    沈念sama閱讀 40,096評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼硫狞,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了晃痴?” 一聲冷哼從身側(cè)響起残吩,我...
    開封第一講書人閱讀 38,939評論 0 274
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎倘核,沒想到半個(gè)月后泣侮,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,354評論 1 311
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡紧唱,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,573評論 2 333
  • 正文 我和宋清朗相戀三年活尊,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片漏益。...
    茶點(diǎn)故事閱讀 39,745評論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡蛹锰,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出绰疤,到底是詐尸還是另有隱情铜犬,我是刑警寧澤,帶...
    沈念sama閱讀 35,448評論 5 344
  • 正文 年R本政府宣布轻庆,位于F島的核電站癣猾,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏余爆。R本人自食惡果不足惜纷宇,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,048評論 3 327
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望蛾方。 院中可真熱鬧像捶,春花似錦上陕、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,683評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽五芝。三九已至痘儡,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間枢步,已是汗流浹背沉删。 一陣腳步聲響...
    開封第一講書人閱讀 32,838評論 1 269
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留醉途,地道東北人矾瑰。 一個(gè)月前我還...
    沈念sama閱讀 47,776評論 2 369
  • 正文 我出身青樓,卻偏偏與公主長得像隘擎,于是被迫代替她去往敵國和親殴穴。 傳聞我的和親對象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,652評論 2 354

推薦閱讀更多精彩內(nèi)容

  • 譯者說 Tornado 4.3于2015年11月6日發(fā)布货葬,該版本正式支持Python3.5的async/await...
    TaoBeier閱讀 3,041評論 0 10
  • Android 自定義View的各種姿勢1 Activity的顯示之ViewRootImpl詳解 Activity...
    passiontim閱讀 172,085評論 25 707
  • Volley源碼分析之流程和緩存 前言 Android一開始提供了HttpURLConnection和HttpCl...
    大寫ls閱讀 619評論 0 6
  • 最近在學(xué)習(xí)Python看了一篇文章寫得不錯(cuò)采幌,是在腳本之家里的,原文如下震桶,很有幫助: 一休傍、網(wǎng)絡(luò)知識的一些介紹 soc...
    qtruip閱讀 2,708評論 0 6
  • 一個(gè)圓拱門里有兩個(gè)人,他們周身的藍(lán)色蹲姐,似乎代表著他們的情感象海一樣的深邃浩瀚磨取,他們握著的手在兩人的中心,看上去積極...
    儲晴whj閱讀 129評論 0 0