subprocess的使用問題

subprocess.wait()與subprocess.communicate()使用問題

subprocess就是開啟一個子進程,自己去執(zhí)行命令士败,這個子進程的狀態(tài)肯定得收集莺匠,這時候就需要調(diào)用wait或者communicate了钙勃,手冊上面也注明了這兩個方法的特點:在數(shù)據(jù)超過PIPE的緩存時旭愧,wait會阻塞進程;communicate會把所有的數(shù)據(jù)都讀取到內(nèi)存中

那么現(xiàn)在就有一個問題了慈参,當我shell命令執(zhí)行的結(jié)果很大時,我是該用wait還是communicate刮萌?用wait直接就阻塞了驮配,肯定不行,用communicate也不行着茸,如果很大的文件僧凤,數(shù)據(jù)都保存在內(nèi)存,主機直接就卡死了元扔。

解決辦法:數(shù)據(jù)一行一行讀取躯保,讀取完之后wait,這樣既保證了不會阻塞(PIPE中數(shù)據(jù)有進有出澎语,最后空了才wait)途事,又保證了不會占用大量主機內(nèi)存(在內(nèi)存中的數(shù)據(jù)只有一行l(wèi)ine)。
p1=subprocess.Popen(comm1,shell=True,stdout=subprocess.PIPE)
for line in p1.stdout:
    pass
p1.wait()

subprocess.Popen():

在一些復雜場景中擅羞,我們需要將一個進程的執(zhí)行輸出作為另一個進程的輸入尸变。在另一些場景中,我們需要先進入到某個輸入環(huán)境减俏,然后再執(zhí)行一系列的指令等召烂。這個時候我們就需要使用到suprocess的Popen()方法。該方法有以下參數(shù):

args:shell命令娃承,可以是字符串奏夫,或者序列類型怕篷,如list,tuple。

bufsize:緩沖區(qū)大小酗昼,可不用關心

stdin,stdout,stderr:分別表示程序的標準輸入廊谓,標準輸出及標準錯誤

shell:與上面方法中用法相同

cwd:用于設置子進程的當前目錄

env:用于指定子進程的環(huán)境變量。如果env=None麻削,則默認從父進程繼承環(huán)境變量

universal_newlines:不同系統(tǒng)的的換行符不同蒸痹,當該參數(shù)設定為true時,則表示使用\n作為換行符
例如:

a = subprocess.Popen('mkdir subprocesstest',shell=True,cwd='/root')

還有:
import subprocess
child1 = subprocess.Popen(["cat","/etc/passwd"], stdout=subprocess.PIPE)
child2 = subprocess.Popen(["grep","0:0"],stdin=child1.stdout, stdout=subprocess.PIPE)
out = child2.communicate()

參考
python subprocess模塊使用總結(jié)

?著作權歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末呛哟,一起剝皮案震驚了整個濱河市叠荠,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌扫责,老刑警劉巖蝙叛,帶你破解...
    沈念sama閱讀 206,968評論 6 482
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異公给,居然都是意外死亡借帘,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,601評論 2 382
  • 文/潘曉璐 我一進店門淌铐,熙熙樓的掌柜王于貴愁眉苦臉地迎上來肺然,“玉大人,你說我怎么就攤上這事腿准〖势穑” “怎么了?”我有些...
    開封第一講書人閱讀 153,220評論 0 344
  • 文/不壞的土叔 我叫張陵吐葱,是天一觀的道長街望。 經(jīng)常有香客問我,道長弟跑,這世上最難降的妖魔是什么灾前? 我笑而不...
    開封第一講書人閱讀 55,416評論 1 279
  • 正文 為了忘掉前任,我火速辦了婚禮孟辑,結(jié)果婚禮上哎甲,老公的妹妹穿的比我還像新娘。我一直安慰自己饲嗽,他們只是感情好炭玫,可當我...
    茶點故事閱讀 64,425評論 5 374
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著貌虾,像睡著了一般吞加。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,144評論 1 285
  • 那天衔憨,我揣著相機與錄音叶圃,去河邊找鬼。 笑死巫财,一個胖子當著我的面吹牛盗似,可吹牛的內(nèi)容都是我干的哩陕。 我是一名探鬼主播平项,決...
    沈念sama閱讀 38,432評論 3 401
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼悍及!你這毒婦竟也來了闽瓢?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 37,088評論 0 261
  • 序言:老撾萬榮一對情侶失蹤心赶,失蹤者是張志新(化名)和其女友劉穎扣讼,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體缨叫,經(jīng)...
    沈念sama閱讀 43,586評論 1 300
  • 正文 獨居荒郊野嶺守林人離奇死亡椭符,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,028評論 2 325
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了耻姥。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片销钝。...
    茶點故事閱讀 38,137評論 1 334
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖琐簇,靈堂內(nèi)的尸體忽然破棺而出蒸健,到底是詐尸還是另有隱情,我是刑警寧澤婉商,帶...
    沈念sama閱讀 33,783評論 4 324
  • 正文 年R本政府宣布似忧,位于F島的核電站,受9級特大地震影響丈秩,放射性物質(zhì)發(fā)生泄漏盯捌。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 39,343評論 3 307
  • 文/蒙蒙 一蘑秽、第九天 我趴在偏房一處隱蔽的房頂上張望挽唉。 院中可真熱鬧,春花似錦筷狼、人聲如沸瓶籽。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,333評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽塑顺。三九已至,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間严拒,已是汗流浹背扬绪。 一陣腳步聲響...
    開封第一講書人閱讀 31,559評論 1 262
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留裤唠,地道東北人挤牛。 一個月前我還...
    沈念sama閱讀 45,595評論 2 355
  • 正文 我出身青樓,卻偏偏與公主長得像种蘸,于是被迫代替她去往敵國和親墓赴。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 42,901評論 2 345

推薦閱讀更多精彩內(nèi)容

  • 1.os.system('cmd') os.system('cat /proc/cpuinfo') 直接執(zhí)行參數(shù)中...
    奇_66a0閱讀 13,788評論 0 5
  • 處于學習別人代碼風格階段航瞭,github參考學習程序程序開頭會有 一是用來指定腳本語言為 Python诫硕,二是用來指定...
    lifesmily閱讀 1,038評論 0 0
  • From: https://blog.linuxeye.com/375.html 從Python 2.4開始,Py...
    pzka158閱讀 2,993評論 0 2
  • 最近在項目中遇到一個需求刊侯,前端發(fā)來一個命令章办,這個命令是去執(zhí)行傳遞過來的一個腳本(shell 或者python),并...
    llicety閱讀 49,989評論 8 19
  • 10/365(2016.12.25)#HR修煉# 杰克韋爾奇曾說過“人力資源負責人在任何企業(yè)中都應該是第二號人物”...
    魔法豆閱讀 1,160評論 1 4