萌新踩坑日常

1.在用netstat -lpt查看服務器監(jiān)聽的所有端口以及對應的進程id時修陡,如果是root啟動的進程寞冯,而用非root賬號查看,是看不到進程id的

2.一般非root權(quán)限的進程不能綁定80端口(http請求的默認端口),兩種方法解決:

a)以root權(quán)限啟動程序

b)修改執(zhí)行文件權(quán)限

chown root:root xxx

chmod 777 xxx

chmod u+s xxx

3.Python3.4以上才支持asyncio,3.5.3以上才支持aiohttp

4.安裝python有時候Script目錄可能是空的饼疙,就是這么任性,卸掉重裝吧╮(╯╰)╭

5.同時創(chuàng)建多個http請求慕爬,當請求數(shù)超過500左右時進程報錯:

too many file descriptors in select()

先說結(jié)論:同時創(chuàng)建的網(wǎng)絡請求數(shù)超過了系統(tǒng)的文件描述符數(shù)量限制(win=512,linux=1024)窑眯,別掙扎了屏积,多開幾臺物理機xjb搞吧

不服氣的話可能會嘗試這些辦法:

a)修改進程可使用的文件描述符數(shù)量:

首先你要pip install pypiwin32

然后

import win32file

win32file._setmaxstdio(1024)

最后結(jié)論:沒吊用,這個只能修改本進程的fd磅甩,aiohttp庫最后調(diào)用操作系統(tǒng)的select()方法肾请,這里并不能修改select()允許的fd數(shù)量(修改注冊表的USERProcessHandleQuota也沒有用哦)

b)既然select不行,那我就換epoll/iocp

首先你要裝twisted庫

然后這個庫是用c++14標準寫的更胖,直接pip install twisted會提示:

error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft VisualC++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools

打開連接地址,發(fā)現(xiàn)要下一個vs裝一下隔显。喵喵喵却妨?傻子才裝vs,不然我直接用c++擼一個了還寫毛的python

不想裝vs括眠,那就去https://www.lfd.uci.edu/~gohlke/pythonlibs/下twisted的安裝包彪标,然后pip一下就能用了

裝上twisted庫再擼一套,發(fā)現(xiàn)依然不能創(chuàng)建超過500個http請求哦╮(╯╰)╭

最后結(jié)論:沒吊用

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末掷豺,一起剝皮案震驚了整個濱河市捞烟,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌当船,老刑警劉巖题画,帶你破解...
    沈念sama閱讀 222,865評論 6 518
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異德频,居然都是意外死亡苍息,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,296評論 3 399
  • 文/潘曉璐 我一進店門壹置,熙熙樓的掌柜王于貴愁眉苦臉地迎上來竞思,“玉大人,你說我怎么就攤上這事钞护「桥纾” “怎么了?”我有些...
    開封第一講書人閱讀 169,631評論 0 364
  • 文/不壞的土叔 我叫張陵难咕,是天一觀的道長课梳。 經(jīng)常有香客問我,道長余佃,這世上最難降的妖魔是什么惦界? 我笑而不...
    開封第一講書人閱讀 60,199評論 1 300
  • 正文 為了忘掉前任,我火速辦了婚禮咙冗,結(jié)果婚禮上沾歪,老公的妹妹穿的比我還像新娘。我一直安慰自己雾消,他們只是感情好灾搏,可當我...
    茶點故事閱讀 69,196評論 6 398
  • 文/花漫 我一把揭開白布挫望。 她就那樣靜靜地躺著,像睡著了一般狂窑。 火紅的嫁衣襯著肌膚如雪媳板。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,793評論 1 314
  • 那天泉哈,我揣著相機與錄音蛉幸,去河邊找鬼。 笑死丛晦,一個胖子當著我的面吹牛奕纫,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播烫沙,決...
    沈念sama閱讀 41,221評論 3 423
  • 文/蒼蘭香墨 我猛地睜開眼匹层,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了锌蓄?” 一聲冷哼從身側(cè)響起升筏,我...
    開封第一講書人閱讀 40,174評論 0 277
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎瘸爽,沒想到半個月后您访,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,699評論 1 320
  • 正文 獨居荒郊野嶺守林人離奇死亡剪决,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,770評論 3 343
  • 正文 我和宋清朗相戀三年洋只,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片昼捍。...
    茶點故事閱讀 40,918評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡识虚,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出妒茬,到底是詐尸還是另有隱情担锤,我是刑警寧澤,帶...
    沈念sama閱讀 36,573評論 5 351
  • 正文 年R本政府宣布乍钻,位于F島的核電站肛循,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏银择。R本人自食惡果不足惜多糠,卻給世界環(huán)境...
    茶點故事閱讀 42,255評論 3 336
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望浩考。 院中可真熱鬧夹孔,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,749評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至怜俐,卻和暖如春身堡,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背拍鲤。 一陣腳步聲響...
    開封第一講書人閱讀 33,862評論 1 274
  • 我被黑心中介騙來泰國打工贴谎, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人季稳。 一個月前我還...
    沈念sama閱讀 49,364評論 3 379
  • 正文 我出身青樓擅这,卻偏偏與公主長得像,于是被迫代替她去往敵國和親绞幌。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 45,926評論 2 361

推薦閱讀更多精彩內(nèi)容