有沒有一種編程語言可以每秒達到100萬次請求帝火?python!

很多公司正在從Python和其他編程語言中遷移出來犀填,這樣他們可以提高他們的操作性能并節(jié)省服務器的價格,但實際上并不需要图贸。Python可以成為這項工作的正確工具冕广。

Python社區(qū)最近在性能方面做了很多工作。CPython 3.6通過新的字典實現提高了整體解釋器的性能撒汉。由于引入了更快的調用約定和字典查找緩存,CPython 3.7將會更快睬辐。

對于數字處理任務宾肺,您可以使用PyPy及其即時代碼編譯侵俗。你也可以運行NumPy的測試套件,它現在已經改進了與C擴展的整體兼容性增拥。預計今年晚些時候PyPy將達到Python 3.5的一致性洪橘。

所有這些偉大的工作激勵我在Python廣泛使用的領域之一 - 網絡和微服務開發(fā)領域進行創(chuàng)新跪者。

進入Japronto熄求!

Japronto是一款全新的微型框架,專為滿足您的微服務需求而量身定制忘衍。其主要目標包括快速卿城,可擴展和輕量級。借助asyncio瑟押,它可以讓您同時進行同步編程和異步編程。它無恥地快速嫩舟。甚至比NodeJS和Go還要快怀偷。

Japronto:https://github.com/squeaky-pl/japronto

Python微框架(藍色),黑暗力量(綠色)和Japronto(紫色)

勘誤表:正如用戶@heppu指出的那樣椎工,Go的stdlib HTTP服務器的速度比圖中顯示的要快12%。還有一個非常棒的fasthttp服務器掰吕,在這個特定的基準測試中顯然比Japronto 慢18%。真棒畴栖!詳情請參閱httpsgithub.comsqueaky-pljaprontopull12和httpsgithub.comsqueaky-pljaprontopull14八千。

我們還可以看到,Meinheld WSGI服務器幾乎與NodeJS和Go類似照皆。盡管它有固有的阻塞設計,但與前面四個是異步Python解決方案相比沸停,它是一個出色的表現者。所以不要相信任何人說異步系統(tǒng)總是更快愤钾。它們幾乎總是更加并發(fā),但除此之外還有更多杂瘸。

我使用“Hello world!”應用程序來執(zhí)行此微型基準測試败玉,但它清楚地表明了許多解決方案的服務器框架開銷镜硕。

這些結果是在具有8個VCPU的AWS c4.2xlarge實例上獲得的运翼,這些實例在圣保羅地區(qū)啟動,采用默認共享租賃和HVM虛擬化和磁性存儲血淌。該機器運行的是Linux 4.4.0-53-通用x86_64內核的Ubuntu 16.04.1 LTS(Xenial Xerus)财剖。該操作系統(tǒng)報告Xeon?CPU E5-2666 v3 @ 2.90GHz CPU。我使用了Python 3.6峰伙,我從源代碼中全新編譯。

公平地說策彤,所有參賽者(包括Go)都運行單一工作流程。服務器使用wrk進行負載測試店诗,每個連接使用1個線程音榜,100個連接和24個同時(流水線)請求(2400個請求的累積并行度)。

HTTP流水線(圖片信用維基百科)

HTTP流水線在這里至關重要擦囊,因為它是Japronto在執(zhí)行請求時考慮的優(yōu)化之一违霞。

大多數服務器以與非流水客戶端相同的方式執(zhí)行流水線客戶端的請求瞬场。他們不試圖優(yōu)化它。(事實上眼五,Sanic和Meinheld也會默默地放棄來自流水線客戶端的請求彤灶,這違反了HTTP 1.1協議。)

簡而言之幌陕,流水線技術是客戶端在通過相同TCP連接發(fā)送后續(xù)請求之前不需要等待響應的技術。為了確保通信的完整性苞轿,服務器以相同的順序發(fā)回幾個響應請求。

我將本篇博文的代碼都已經打包放在我的群里啦瑟俭。
如果需要代碼或者需要有關python的資料都可以加契邀。四九一,三零八坯门,六五九,備注跨界欠橘,我就明白是你了

優(yōu)化的細節(jié)

當許多小的GET請求被客戶端一起流水線化時现恼,它們很可能會在服務器端到達一個TCP數據包(感謝Nagle的算法),然后通過一次系統(tǒng)調用回讀叉袍。

與在處理空間內部移動內存相比,執(zhí)行系統(tǒng)調用并將數據從內核空間移動到用戶空間是一項非常昂貴的操作喳逛。這就是為什么執(zhí)行盡可能少的系統(tǒng)調用很重要(但不能少于)。

當Japronto接收數據并成功解析出幾個請求時姐呐,它會盡可能快地執(zhí)行所有請求,并以正確的順序將響應粘合回來皮钠,然后在一次系統(tǒng)調用中寫回赠法。事實上,內核可以幫助膠合部分款侵,這要歸功于Japronto尚未使用的分散聚集IO系統(tǒng)調用侧纯。

請注意新锈,這并非總是可行眶熬,因為有些請求可能需要很長時間,等待它們會不必要地增加延遲拳缠。

調整啟發(fā)式時要小心贸弥,并考慮系統(tǒng)調用的成本和預期的請求完成時間窟坐。

Japronto使用內插法給出了分組連續(xù)數據的1,214,440 RPS中位數哲鸳,計算結果為第50百分位數

除了延遲寫入流水線客戶端外盔憨,還有其他一些代碼使用的技術。

Japronto幾乎完全由C 語言編寫郁岩。解析器,協議驯用,連接收割者,路由器记餐,請求和響應對象被寫為C擴展薇正。

在明確詢問之前片酝,Japronto努力推遲創(chuàng)建其內部結構的Python對象。例如练湿,只有在視圖中請求時才會創(chuàng)建標題字典审轮。所有的標記邊界都已經標記過,但是標準鍵的標準化疾渣,以及第一次訪問時創(chuàng)建了幾個str對象。

Japronto依靠優(yōu)秀的picohttpparser C庫來解析狀態(tài)行杈女,頭文件和分塊的HTTP消息主體。Picohttpparser直接采用現代CPU中具有SSE4.2擴展(幾乎所有10年前的x86_64 CPU都有)的文本處理指令來快速匹配HTTP令牌的邊界达椰。I O由super awesome uvloop處理项乒,它本身就是libuv的一個包裝。在最低級別板丽,這是epoll系統(tǒng)調用的橋梁,提供讀寫準備就緒的異步通知猖辫。

Picohttpparser依賴SSE4.2和CMPESTRI x86_64進行解析

Python是一種垃圾收集語言砚殿,因此在設計高性能系統(tǒng)時需要注意,以免不必要地增加垃圾收集器的壓力似炎。Japronto的內部設計試圖避免參考周期,并根據需要盡可能少地分配解除分配贩毕。它通過將一些對象預先分配到所謂的舞臺上來實現這一點仆嗦。它還會嘗試重用Python對象辉阶,以便將來的請求不再引用而不是拋棄它們。

所有的分配都是以4KB的倍數完成的垃僚。內部結構是精心布局的规辱,這樣經常使用的數據在內存中足夠接近,從而最大限度地減少了緩存未命中的可能性罕袋。

Japronto試圖不必在緩沖區(qū)之間進行復制,并且在現場進行了許多操作溅固。例如,它在路由器進程匹配之前對路徑進行百分比解碼。

目前Japronto一個非常堅實的功能集:

  • 支持分塊上傳的HTTP 1.x實現
  • 完全支持HTTP流水線
  • 與可配置收割者保持連接
  • 支持同步和異步視圖
  • 基于分叉的主
  • 多工作者模型
  • 支持在更改上重新加載代碼
  • 簡單的路由

我將本篇博文的代碼都已經打包放在我的群里啦掠河。
如果需要代碼或者需要有關python的資料都可以加。四九一唠摹,三零八奉瘤,六五九,備注跨界盗温,我就明白是你了

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市斧蜕,隨后出現的幾起案子砚偶,更是在濱河造成了極大的恐慌,老刑警劉巖染坯,帶你破解...
    沈念sama閱讀 219,188評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件单鹿,死亡現場離奇詭異掀宋,居然都是意外死亡,警方通過查閱死者的電腦和手機囤萤,發(fā)現死者居然都...
    沈念sama閱讀 93,464評論 3 395
  • 文/潘曉璐 我一進店門是趴,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人唆途,你說我怎么就攤上這事∶挥樱” “怎么了温赔?”我有些...
    開封第一講書人閱讀 165,562評論 0 356
  • 文/不壞的土叔 我叫張陵,是天一觀的道長陶贼。 經常有香客問我,道長痹屹,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,893評論 1 295
  • 正文 為了忘掉前任志衍,我火速辦了婚禮聊替,結果婚禮上,老公的妹妹穿的比我還像新娘佃牛。我一直安慰自己,他們只是感情好象缀,可當我...
    茶點故事閱讀 67,917評論 6 392
  • 文/花漫 我一把揭開白布爷速。 她就那樣靜靜地躺著,像睡著了一般惫东。 火紅的嫁衣襯著肌膚如雪毙石。 梳的紋絲不亂的頭發(fā)上颓遏,一...
    開封第一講書人閱讀 51,708評論 1 305
  • 那天,我揣著相機與錄音滤灯,去河邊找鬼曼玩。 笑死鳞骤,一個胖子當著我的面吹牛黍判,可吹牛的內容都是我干的。 我是一名探鬼主播美旧,決...
    沈念sama閱讀 40,430評論 3 420
  • 文/蒼蘭香墨 我猛地睜開眼窟她,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了震糖?” 一聲冷哼從身側響起趴腋,我...
    開封第一講書人閱讀 39,342評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎颁井,沒想到半個月后蠢护,有當地人在樹林里發(fā)現了一具尸體雅宾,經...
    沈念sama閱讀 45,801評論 1 317
  • 正文 獨居荒郊野嶺守林人離奇死亡眉抬,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 37,976評論 3 337
  • 正文 我和宋清朗相戀三年懈凹,在試婚紗的時候發(fā)現自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片介评。...
    茶點故事閱讀 40,115評論 1 351
  • 序言:一個原本活蹦亂跳的男人離奇死亡爬舰,死狀恐怖寒瓦,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情杂腰,我是刑警寧澤,帶...
    沈念sama閱讀 35,804評論 5 346
  • 正文 年R本政府宣布蜡镶,位于F島的核電站恤筛,受9級特大地震影響,放射性物質發(fā)生泄漏毒坛。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,458評論 3 331
  • 文/蒙蒙 一屯伞、第九天 我趴在偏房一處隱蔽的房頂上張望豪直。 院中可真熱鬧劣摇,春花似錦弓乙、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,008評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽巧婶。三九已至涂乌,卻和暖如春艺栈,著一層夾襖步出監(jiān)牢的瞬間骂倘,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,135評論 1 272
  • 我被黑心中介騙來泰國打工诅需, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人堰塌。 一個月前我還...
    沈念sama閱讀 48,365評論 3 373
  • 正文 我出身青樓,卻偏偏與公主長得像般此,于是被迫代替她去往敵國和親牵现。 傳聞我的和親對象是個殘疾皇子铐懊,可洞房花燭夜當晚...
    茶點故事閱讀 45,055評論 2 355

推薦閱讀更多精彩內容