很多公司正在從Python和其他編程語言中遷移出來犀填,這樣他們可以提高他們的操作性能并節(jié)省服務器的價格,但實際上并不需要图贸。Python可以成為這項工作的正確工具冕广。
Python社區(qū)最近在性能方面做了很多工作。CPython 3.6通過新的字典實現提高了整體解釋器的性能撒汉。由于引入了更快的調用約定和字典查找緩存,CPython 3.7將會更快睬辐。
對于數字處理任務宾肺,您可以使用PyPy及其即時代碼編譯侵俗。你也可以運行NumPy的測試套件,它現在已經改進了與C擴展的整體兼容性增拥。預計今年晚些時候PyPy將達到Python 3.5的一致性洪橘。
所有這些偉大的工作激勵我在Python廣泛使用的領域之一 - 網絡和微服務開發(fā)領域進行創(chuàng)新跪者。
進入Japronto熄求!
Japronto是一款全新的微型框架,專為滿足您的微服務需求而量身定制忘衍。其主要目標包括快速卿城,可擴展和輕量級。借助asyncio瑟押,它可以讓您同時進行同步編程和異步編程。它無恥地快速嫩舟。甚至比NodeJS和Go還要快怀偷。
勘誤表:正如用戶@heppu指出的那樣椎工,Go的stdlib HTTP服務器的速度比圖中顯示的要快12%。還有一個非常棒的fasthttp服務器掰吕,在這個特定的基準測試中顯然比Japronto 慢18%。真棒畴栖!詳情請參閱httpsgithub.comsqueaky-pljaprontopull12和httpsgithub.comsqueaky-pljaprontopull14八千。
我們還可以看到,Meinheld WSGI服務器幾乎與NodeJS和Go類似照皆。盡管它有固有的阻塞設計,但與前面四個是異步Python解決方案相比沸停,它是一個出色的表現者。所以不要相信任何人說異步系統(tǒng)總是更快愤钾。它們幾乎總是更加并發(fā),但除此之外還有更多杂瘸。
我使用“Hello world!”應用程序來執(zhí)行此微型基準測試败玉,但它清楚地表明了許多解決方案的服務器框架開銷镜硕。
這些結果是在具有8個VCPU的AWS c4.2xlarge實例上獲得的运翼,這些實例在圣保羅地區(qū)啟動,采用默認共享租賃和HVM虛擬化和磁性存儲血淌。該機器運行的是Linux 4.4.0-53-通用x86_64內核的Ubuntu 16.04.1 LTS(Xenial Xerus)财剖。該操作系統(tǒng)報告Xeon?CPU E5-2666 v3 @ 2.90GHz CPU。我使用了Python 3.6峰伙,我從源代碼中全新編譯。
公平地說策彤,所有參賽者(包括Go)都運行單一工作流程。服務器使用wrk進行負載測試店诗,每個連接使用1個線程音榜,100個連接和24個同時(流水線)請求(2400個請求的累積并行度)。
HTTP流水線在這里至關重要擦囊,因為它是Japronto在執(zhí)行請求時考慮的優(yōu)化之一违霞。
大多數服務器以與非流水客戶端相同的方式執(zhí)行流水線客戶端的請求瞬场。他們不試圖優(yōu)化它。(事實上眼五,Sanic和Meinheld也會默默地放棄來自流水線客戶端的請求彤灶,這違反了HTTP 1.1協議。)
簡而言之幌陕,流水線技術是客戶端在通過相同TCP連接發(fā)送后續(xù)請求之前不需要等待響應的技術。為了確保通信的完整性苞轿,服務器以相同的順序發(fā)回幾個響應請求。
我將本篇博文的代碼都已經打包放在我的群里啦瑟俭。
如果需要代碼或者需要有關python的資料都可以加契邀。四九一,三零八坯门,六五九,備注跨界欠橘,我就明白是你了
優(yōu)化的細節(jié)
當許多小的GET請求被客戶端一起流水線化時现恼,它們很可能會在服務器端到達一個TCP數據包(感謝Nagle的算法),然后通過一次系統(tǒng)調用回讀叉袍。
與在處理空間內部移動內存相比,執(zhí)行系統(tǒng)調用并將數據從內核空間移動到用戶空間是一項非常昂貴的操作喳逛。這就是為什么執(zhí)行盡可能少的系統(tǒng)調用很重要(但不能少于)。
當Japronto接收數據并成功解析出幾個請求時姐呐,它會盡可能快地執(zhí)行所有請求,并以正確的順序將響應粘合回來皮钠,然后在一次系統(tǒng)調用中寫回赠法。事實上,內核可以幫助膠合部分款侵,這要歸功于Japronto尚未使用的分散聚集IO系統(tǒng)調用侧纯。
請注意新锈,這并非總是可行眶熬,因為有些請求可能需要很長時間,等待它們會不必要地增加延遲拳缠。
調整啟發(fā)式時要小心贸弥,并考慮系統(tǒng)調用的成本和預期的請求完成時間窟坐。
除了延遲寫入流水線客戶端外盔憨,還有其他一些代碼使用的技術。
Japronto幾乎完全由C 語言編寫郁岩。解析器,協議驯用,連接收割者,路由器记餐,請求和響應對象被寫為C擴展薇正。
在明確詢問之前片酝,Japronto努力推遲創(chuàng)建其內部結構的Python對象。例如练湿,只有在視圖中請求時才會創(chuàng)建標題字典审轮。所有的標記邊界都已經標記過,但是標準鍵的標準化疾渣,以及第一次訪問時創(chuàng)建了幾個str對象。
Japronto依靠優(yōu)秀的picohttpparser C庫來解析狀態(tài)行杈女,頭文件和分塊的HTTP消息主體。Picohttpparser直接采用現代CPU中具有SSE4.2擴展(幾乎所有10年前的x86_64 CPU都有)的文本處理指令來快速匹配HTTP令牌的邊界达椰。I O由super awesome uvloop處理项乒,它本身就是libuv的一個包裝。在最低級別板丽,這是epoll系統(tǒng)調用的橋梁,提供讀寫準備就緒的異步通知猖辫。
Python是一種垃圾收集語言砚殿,因此在設計高性能系統(tǒng)時需要注意,以免不必要地增加垃圾收集器的壓力似炎。Japronto的內部設計試圖避免參考周期,并根據需要盡可能少地分配解除分配贩毕。它通過將一些對象預先分配到所謂的舞臺上來實現這一點仆嗦。它還會嘗試重用Python對象辉阶,以便將來的請求不再引用而不是拋棄它們。
所有的分配都是以4KB的倍數完成的垃僚。內部結構是精心布局的规辱,這樣經常使用的數據在內存中足夠接近,從而最大限度地減少了緩存未命中的可能性罕袋。
Japronto試圖不必在緩沖區(qū)之間進行復制,并且在現場進行了許多操作溅固。例如,它在路由器進程匹配之前對路徑進行百分比解碼。
目前Japronto一個非常堅實的功能集:
- 支持分塊上傳的HTTP 1.x實現
- 完全支持HTTP流水線
- 與可配置收割者保持連接
- 支持同步和異步視圖
- 基于分叉的主
- 多工作者模型
- 支持在更改上重新加載代碼
- 簡單的路由
我將本篇博文的代碼都已經打包放在我的群里啦掠河。
如果需要代碼或者需要有關python的資料都可以加。四九一唠摹,三零八奉瘤,六五九,備注跨界盗温,我就明白是你了