Python 不是 C

英文原文:Python Is Not C? http://www.oschina.net/translate/python_is_not_c

我一直使用 Python,用它處理各種數(shù)據(jù)科學(xué)項(xiàng)目馋贤。 Python 以易用聞名。有編碼經(jīng)驗(yàn)者學(xué)習(xí)數(shù)天就能上手(或有效使用它)。

聽(tīng)起來(lái)很不錯(cuò)棺聊,不過(guò)耀销,如果你既用 Python,同時(shí)也是用其他語(yǔ)言之景,比如說(shuō) C 的話斤富,或許會(huì)存在一些問(wèn)題。

給你舉個(gè)我自己經(jīng)歷的例子吧锻狗。 我精通命令式語(yǔ)言满力,如 C 和 C++。對(duì)古老經(jīng)典的語(yǔ)言如Lisp 和 ?Prolog 能熟練使用轻纪。另外油额,我也用過(guò)Java蓖墅,Javascript 和 PHP 一段時(shí)間眯停。(那么,學(xué)習(xí)) Python 對(duì)我來(lái)講不是很簡(jiǎn)單嗎伦忠?事實(shí)上崇众,只是看起來(lái)容易掂僵,我給自己挖了個(gè)坑:我像用 C 一樣去用 Python航厚。

具體情況,請(qǐng)向下看锰蓬。

一個(gè)最近的項(xiàng)目中幔睬,需要處理地理空間數(shù)據(jù)。給出(任務(wù))是 gps 追蹤 25,000 個(gè)左右位置點(diǎn)芹扭,需要根據(jù)給定的經(jīng)緯度麻顶,重復(fù)定位距離最短的點(diǎn)。我第一反應(yīng)是冯勉,翻查(已經(jīng)實(shí)現(xiàn)的)計(jì)算已知經(jīng)緯度兩點(diǎn)間距離的代碼片段澈蚌。代碼可以在 John D. ?Cook 寫的這篇code?available?in?the?public?domain中找得到。

萬(wàn)事俱備! 只要寫一段 Python 函數(shù)灼狰,返回與輸入坐標(biāo)距離最短的點(diǎn)索引(25,000 點(diǎn)數(shù)組中的索引)宛瞄,就萬(wàn)事大吉了:

def closest_distance(lat,lon,trkpts):

d = 100000.0

best = -1

r = trkpts.index

for i in r:

lati = trkpts.ix[i,'Lat']

loni = trkpts.ix[i,'Lon']

md =?distance_on_unit_sphere(lat, lon, lati, loni)

if d > md

best = i

d = md

return best

其中,distance_on_unit_sphere是 John D. Cook's 書中的函數(shù)交胚,trkpts是數(shù)組份汗,包含 gps 追蹤的點(diǎn)坐標(biāo)(實(shí)際上,是pandas 中的數(shù)據(jù)幀蝴簇,注杯活,pandas 是 python 第三方數(shù)據(jù)分析擴(kuò)展包)。

上述函數(shù)與我以前用 C 實(shí)現(xiàn)的函數(shù)基本相同熬词。 它遍歷(迭代)trkpts數(shù)組旁钧,將迄今為止(距離給定坐標(biāo)位置)的距離最短的點(diǎn)索引值,保存到本地變量best中互拾。

目前為止歪今,情況還不錯(cuò),雖然 Python 語(yǔ)法與 C 有很多差別颜矿,但寫這段代碼寄猩,并沒(méi)有花去我太多時(shí)間。

代碼寫起來(lái)快骑疆,但執(zhí)行起來(lái)卻很慢田篇。例如,我指定428 個(gè)點(diǎn)箍铭,命名為waypoints(導(dǎo)航點(diǎn)泊柬,路點(diǎn),導(dǎo)航路線中的關(guān)鍵點(diǎn))诈火。導(dǎo)航時(shí)兽赁,我要為每個(gè)導(dǎo)航點(diǎn) waypoint 找出距離最短的點(diǎn)。為428 個(gè)導(dǎo)航點(diǎn) waypoint 查找距離最短點(diǎn)的程序,在我的筆記本上運(yùn)行了3 分 6 秒闸氮。

之后,我改為查詢計(jì)算曼哈坦距離教沾,這是近似值蒲跨。我不再計(jì)算兩點(diǎn)間的精確距離,而是計(jì)算東西軸距離和南北軸距離授翻。計(jì)算曼哈坦距離的函數(shù)如下:

def manhattan_distance(lat1, lon1, lat2, lon2):

lat = (lat1+lat2)/2.0

return abs(lat1-lat2)+abs(math.cos(math.radians(lat))*(lon1-lon2))

實(shí)際上或悲,我用了一個(gè)更簡(jiǎn)化的函數(shù),忽略一個(gè)因素堪唐,即維度曲線上 1 度差距比經(jīng)度曲線上的 1 度差距要大得多巡语。簡(jiǎn)化函數(shù)如下:

def manhattan_distance1(lat1, lon1, lat2, lon2):

return abs(lat1-lat2)+abs(lon1-lon2)

closest 函數(shù)修改為:

def closest_manhattan_distance1(lat,lon,trkpts):

d = 100000.0

best = -1

r = trkpts.index

for i in r:

lati = trkpts.ix[i,'Lat']

loni = trkpts.ix[i,'Lon']

md =?manhattan_distance1(lat, lon, lati, loni)

if d > md

best = i

d = md

return best

如果將 Manhattan_distance 函數(shù)體換進(jìn)來(lái),速度還可以快些:

def closest_manhattan_distance2(lat,lon,trkpts):

d = 100000.0

best = -1

r = trkpts.index

for i in r:

lati = trkpts.ix[i,'Lat']

loni = trkpts.ix[i,'Lon']

md =?abs(lat-lati)+abs(lon-loni)

if d > md

best = i

d = md

return best

在計(jì)算的最短距離點(diǎn)上淮菠,用這個(gè)函數(shù)與用 John's 的函數(shù)效果相同男公。我希望我的直覺(jué)是對(duì)的。越簡(jiǎn)單就越快『狭辏現(xiàn)在這個(gè)程序用了 2 分 37 秒枢赔。提速了 18%。?很好拥知,但還不夠激動(dòng)人心踏拜。

我決定正確使用 Python。這意味著要利用 pandas 支持的數(shù)組運(yùn)算低剔。這些數(shù)組運(yùn)算操作源于numpy包速梗。通過(guò)調(diào)用這些數(shù)組操作,代碼實(shí)現(xiàn)更簡(jiǎn)練:

def closest(lat,lon,trkpts):

cl = numpy.abs(trkpts.Lat - lat) + numpy.abs(trkpts.Lon - lon)

return cl.idxmin()

該函數(shù)與之前函數(shù)的返回結(jié)果相同襟齿。在我的筆記本上運(yùn)行時(shí)間花費(fèi)了 0.5 秒姻锁。整整快了 300 倍!? 300 倍,,也即30,000 %蕊唐。不可思議屋摔。?提速的原因是 numpy 數(shù)組操作運(yùn)算用 C 實(shí)現(xiàn)。因此替梨, 我們將最好的兩面結(jié)合起來(lái)了:?我們得到 C 的速度和 Python 的簡(jiǎn)潔性钓试。

教訓(xùn)很明確:別用 C 的方式寫 Python 代碼。用 numpy 數(shù)組運(yùn)算副瀑,不要用數(shù)組遍歷弓熏。對(duì)我來(lái)說(shuō),這是思維上的轉(zhuǎn)變糠睡。

Update on July 2, 2015挽鞠。文章討論在Hacker?News。一些評(píng)論沒(méi)有注意到(missed )我用到了 pandas 數(shù)據(jù)幀的情況。主要是它在數(shù)據(jù)分析中很常用信认。如果我只是要快速的查詢最短距離點(diǎn)材义,且我時(shí)間充分,我可以使用 C 或 C++ 編寫四叉樹(shù)(實(shí)現(xiàn))嫁赏。

Second update on July 2, 2015其掂。有個(gè)評(píng)論提到numba也能對(duì)代碼提速。我就試了一下潦蝇。

這是我的做法款熬,與你的情況不一定相同。 首先攘乒,要說(shuō)明的是贤牛,不同的 python 安裝版,實(shí)驗(yàn)的結(jié)果不一定相同则酝。我的實(shí)驗(yàn)環(huán)境是 windows 系統(tǒng)上安裝 Anaconda殉簸,同時(shí)也安裝了一些擴(kuò)展包」炼铮可能這些包和 numba 存在干擾喂链。.

首先,輸入下面的安裝命令妥泉,安裝 numba:

$?conda?install?numba

這是我命令行界面上的反饋:

之后我發(fā)現(xiàn)椭微,numba 在 anaconda 安裝套件中已存在。?也可能安裝指令有變更也說(shuō)不定盲链。

推薦的 numba 用法:

@jit

def closest_func(lat,lon,trkpts,func):

d = 100000.0

best = -1

r = trkpts.index

for i in r:

lati = trkpts.ix[i,'Lat']

loni = trkpts.ix[i,'Lon']

md = abs(lat - lati) + abs(lon - loni)

if d > md:

#print d, dlat, dlon, lati, loni

best = i

d = md

return best

我沒(méi)有發(fā)現(xiàn)運(yùn)行時(shí)間提高蝇率。我也嘗試了更積極的編譯參數(shù)設(shè)置:

@jit(nopython=True)

def closest_func(lat,lon,trkpts,func):

d = 100000.0

best = -1

r = trkpts.index

for i in r:

lati = trkpts.ix[i,'Lat']

loni = trkpts.ix[i,'Lon']

md = abs(lat - lati) + abs(lon - loni)

if d > md:

#print d, dlat, dlon, lati, loni

best = i

d = md

return best

這次運(yùn)行代碼時(shí),出現(xiàn)一個(gè)錯(cuò)誤:

看來(lái)刽沾,pandas 比 numba 處理代碼更智能本慕。

當(dāng)然,我也能花時(shí)間修改數(shù)據(jù)結(jié)構(gòu)侧漓,使 numba 能正確編譯(compile)锅尘。可是布蔗,我為什么要這么干呢? 用 numpy 寫的代碼運(yùn)行的足夠快了藤违。反正,我一直在用 numpy 和 pandas 纵揍。為什么不繼續(xù)用呢?

也有建議我用pypy顿乒。這當(dāng)然有意義,不過(guò)...我用的是托管服務(wù)器上的Jupyter?notebooks(注泽谨,在線瀏覽器的 python 交互式開(kāi)發(fā)環(huán)境)璧榄。我用的是它提供的 python 內(nèi)核特漩,也即,官方的(regular)Python 2.7.x 內(nèi)核骨杂。并沒(méi)有提供 Pypy 選擇涂身。

也有建議用Cython。好吧搓蚪,如果我回頭要編譯代碼?访得,那我干脆直接用 C 和 C++ 就好了。我用 python陕凹,是因?yàn)椋峁┝嘶?notebooks(注:網(wǎng)頁(yè)版在線開(kāi)發(fā)環(huán)境)的交互式特性鳄炉,可以快速原型實(shí)現(xiàn)杜耙。這卻不是 Cython 的設(shè)計(jì)目標(biāo)。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末拂盯,一起剝皮案震驚了整個(gè)濱河市佑女,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌谈竿,老刑警劉巖团驱,帶你破解...
    沈念sama閱讀 218,204評(píng)論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異空凸,居然都是意外死亡嚎花,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,091評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門呀洲,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)紊选,“玉大人,你說(shuō)我怎么就攤上這事道逗”眨” “怎么了?”我有些...
    開(kāi)封第一講書人閱讀 164,548評(píng)論 0 354
  • 文/不壞的土叔 我叫張陵滓窍,是天一觀的道長(zhǎng)卖词。 經(jīng)常有香客問(wèn)我,道長(zhǎng)吏夯,這世上最難降的妖魔是什么此蜈? 我笑而不...
    開(kāi)封第一講書人閱讀 58,657評(píng)論 1 293
  • 正文 為了忘掉前任,我火速辦了婚禮噪生,結(jié)果婚禮上舶替,老公的妹妹穿的比我還像新娘。我一直安慰自己杠园,他們只是感情好顾瞪,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,689評(píng)論 6 392
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著,像睡著了一般陈醒。 火紅的嫁衣襯著肌膚如雪惕橙。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書人閱讀 51,554評(píng)論 1 305
  • 那天钉跷,我揣著相機(jī)與錄音弥鹦,去河邊找鬼。 笑死爷辙,一個(gè)胖子當(dāng)著我的面吹牛彬坏,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播膝晾,決...
    沈念sama閱讀 40,302評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼栓始,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了血当?” 一聲冷哼從身側(cè)響起幻赚,我...
    開(kāi)封第一講書人閱讀 39,216評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎臊旭,沒(méi)想到半個(gè)月后落恼,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,661評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡离熏,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,851評(píng)論 3 336
  • 正文 我和宋清朗相戀三年佳谦,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片滋戳。...
    茶點(diǎn)故事閱讀 39,977評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡吠昭,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出胧瓜,到底是詐尸還是另有隱情矢棚,我是刑警寧澤,帶...
    沈念sama閱讀 35,697評(píng)論 5 347
  • 正文 年R本政府宣布府喳,位于F島的核電站蒲肋,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏钝满。R本人自食惡果不足惜兜粘,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,306評(píng)論 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望弯蚜。 院中可真熱鬧孔轴,春花似錦、人聲如沸碎捺。這莊子的主人今日做“春日...
    開(kāi)封第一講書人閱讀 31,898評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至晋柱,卻和暖如春优构,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背雁竞。 一陣腳步聲響...
    開(kāi)封第一講書人閱讀 33,019評(píng)論 1 270
  • 我被黑心中介騙來(lái)泰國(guó)打工钦椭, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人碑诉。 一個(gè)月前我還...
    沈念sama閱讀 48,138評(píng)論 3 370
  • 正文 我出身青樓彪腔,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親进栽。 傳聞我的和親對(duì)象是個(gè)殘疾皇子德挣,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,927評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容