pandas效率探索(三)

按行遍歷

測試程序:對一個10萬行的datafeame數(shù)據(jù)先分組 再按行遍歷 計(jì)算總個數(shù)
最快的方式:轉(zhuǎn)換成數(shù)組,再使用for循環(huán)

count = 0
start = time()
for userid,user_group in test_data[0:100000].groupby(by=['userid']):
    for index,row in enumerate(user_group.values):
        count +=1          
stop = time()
print str(count)
print(str(stop-start) + '秒卜范!')
print 'ok!'

輸出:12.504999876秒海雪!

使用內(nèi)置的iterrows函數(shù):

count = 0
start = time()
for userid,user_group in test_data[0:100000].groupby(by=['userid']):
    for index,row in user_group.iterrows():
        count +=1          
stop = time()
print str(count)
print(str(stop-start) + '秒奥裸!')
print 'ok!'

輸出:20.3080000877秒沪袭!

使用內(nèi)置的itertuples函數(shù) 最慢:

count = 0
start = time()
for userid,user_group in test_data[0:100000].groupby(by=['userid']):
    for row in user_group.itertuples():
        count +=1          
stop = time()
print str(count)
print(str(stop-start) + '秒!')
print 'ok!'

輸出:110.143000126秒!

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末埠啃,一起剝皮案震驚了整個濱河市畦攘,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌知押,老刑警劉巖,帶你破解...
    沈念sama閱讀 211,265評論 6 490
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件罢绽,死亡現(xiàn)場離奇詭異静盅,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)蒿叠,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,078評論 2 385
  • 文/潘曉璐 我一進(jìn)店門市咽,熙熙樓的掌柜王于貴愁眉苦臉地迎上來痊银,“玉大人施绎,你說我怎么就攤上這事」茸恚” “怎么了?”我有些...
    開封第一講書人閱讀 156,852評論 0 347
  • 文/不壞的土叔 我叫張陵抖单,是天一觀的道長遇八。 經(jīng)常有香客問我,道長押蚤,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 56,408評論 1 283
  • 正文 為了忘掉前任次屠,我火速辦了婚禮,結(jié)果婚禮上劫灶,老公的妹妹穿的比我還像新娘。我一直安慰自己本昏,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,445評論 5 384
  • 文/花漫 我一把揭開白布怔昨。 她就那樣靜靜地躺著宿稀,像睡著了一般趁舀。 火紅的嫁衣襯著肌膚如雪祝沸。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,772評論 1 290
  • 那天奉狈,我揣著相機(jī)與錄音涩惑,去河邊找鬼嘹吨。 笑死境氢,一個胖子當(dāng)著我的面吹牛碰纬,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播悦析,決...
    沈念sama閱讀 38,921評論 3 406
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼亭螟!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起预烙,我...
    開封第一講書人閱讀 37,688評論 0 266
  • 序言:老撾萬榮一對情侶失蹤道媚,失蹤者是張志新(化名)和其女友劉穎翘县,沒想到半個月后谴分,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體锈麸,經(jīng)...
    沈念sama閱讀 44,130評論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡忘伞,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,467評論 2 325
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了氓奈。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片僧凰。...
    茶點(diǎn)故事閱讀 38,617評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖训措,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情绩鸣,我是刑警寧澤,帶...
    沈念sama閱讀 34,276評論 4 329
  • 正文 年R本政府宣布化借,位于F島的核電站捡多,受9級特大地震影響蓖康,放射性物質(zhì)發(fā)生泄漏垒手。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,882評論 3 312
  • 文/蒙蒙 一科贬、第九天 我趴在偏房一處隱蔽的房頂上張望泳梆。 院中可真熱鬧榜掌,春花似錦、人聲如沸憎账。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,740評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽看政。三九已至抄罕,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間呆贿,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,967評論 1 265
  • 我被黑心中介騙來泰國打工冒晰, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人竟块。 一個月前我還...
    沈念sama閱讀 46,315評論 2 360
  • 正文 我出身青樓,卻偏偏與公主長得像蒋情,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子棵癣,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,486評論 2 348

推薦閱讀更多精彩內(nèi)容