英文原文:Python Is Not C? http://www.oschina.net/translate/python_is_not_c
我一直使用 Python,用它處理各種數(shù)據(jù)科學(xué)項(xiàng)目馋贤。 Python 以易用聞名。有編碼經(jīng)驗(yàn)者學(xué)習(xí)數(shù)天就能上手(或有效使用它)。
聽(tīng)起來(lái)很不錯(cuò)棺聊,不過(guò)耀销,如果你既用 Python,同時(shí)也是用其他語(yǔ)言之景,比如說(shuō) C 的話斤富,或許會(huì)存在一些問(wèn)題。
給你舉個(gè)我自己經(jīng)歷的例子吧锻狗。 我精通命令式語(yǔ)言满力,如 C 和 C++。對(duì)古老經(jīng)典的語(yǔ)言如Lisp 和 ?Prolog 能熟練使用轻纪。另外油额,我也用過(guò)Java蓖墅,Javascript 和 PHP 一段時(shí)間眯停。(那么,學(xué)習(xí)) Python 對(duì)我來(lái)講不是很簡(jiǎn)單嗎伦忠?事實(shí)上崇众,只是看起來(lái)容易掂僵,我給自己挖了個(gè)坑:我像用 C 一樣去用 Python航厚。
具體情況,請(qǐng)向下看锰蓬。
一個(gè)最近的項(xiàng)目中幔睬,需要處理地理空間數(shù)據(jù)。給出(任務(wù))是 gps 追蹤 25,000 個(gè)左右位置點(diǎn)芹扭,需要根據(jù)給定的經(jīng)緯度麻顶,重復(fù)定位距離最短的點(diǎn)。我第一反應(yīng)是冯勉,翻查(已經(jīng)實(shí)現(xiàn)的)計(jì)算已知經(jīng)緯度兩點(diǎn)間距離的代碼片段澈蚌。代碼可以在 John D. ?Cook 寫的這篇code?available?in?the?public?domain中找得到。
萬(wàn)事俱備! 只要寫一段 Python 函數(shù)灼狰,返回與輸入坐標(biāo)距離最短的點(diǎn)索引(25,000 點(diǎn)數(shù)組中的索引)宛瞄,就萬(wàn)事大吉了:
def closest_distance(lat,lon,trkpts):
d = 100000.0
best = -1
r = trkpts.index
for i in r:
lati = trkpts.ix[i,'Lat']
loni = trkpts.ix[i,'Lon']
md =?distance_on_unit_sphere(lat, lon, lati, loni)
if d > md
best = i
d = md
return best
其中,distance_on_unit_sphere是 John D. Cook's 書中的函數(shù)交胚,trkpts是數(shù)組份汗,包含 gps 追蹤的點(diǎn)坐標(biāo)(實(shí)際上,是pandas 中的數(shù)據(jù)幀蝴簇,注杯活,pandas 是 python 第三方數(shù)據(jù)分析擴(kuò)展包)。
上述函數(shù)與我以前用 C 實(shí)現(xiàn)的函數(shù)基本相同熬词。 它遍歷(迭代)trkpts數(shù)組旁钧,將迄今為止(距離給定坐標(biāo)位置)的距離最短的點(diǎn)索引值,保存到本地變量best中互拾。
目前為止歪今,情況還不錯(cuò),雖然 Python 語(yǔ)法與 C 有很多差別颜矿,但寫這段代碼寄猩,并沒(méi)有花去我太多時(shí)間。
代碼寫起來(lái)快骑疆,但執(zhí)行起來(lái)卻很慢田篇。例如,我指定428 個(gè)點(diǎn)箍铭,命名為waypoints(導(dǎo)航點(diǎn)泊柬,路點(diǎn),導(dǎo)航路線中的關(guān)鍵點(diǎn))诈火。導(dǎo)航時(shí)兽赁,我要為每個(gè)導(dǎo)航點(diǎn) waypoint 找出距離最短的點(diǎn)。為428 個(gè)導(dǎo)航點(diǎn) waypoint 查找距離最短點(diǎn)的程序,在我的筆記本上運(yùn)行了3 分 6 秒闸氮。
之后,我改為查詢計(jì)算曼哈坦距離教沾,這是近似值蒲跨。我不再計(jì)算兩點(diǎn)間的精確距離,而是計(jì)算東西軸距離和南北軸距離授翻。計(jì)算曼哈坦距離的函數(shù)如下:
def manhattan_distance(lat1, lon1, lat2, lon2):
lat = (lat1+lat2)/2.0
return abs(lat1-lat2)+abs(math.cos(math.radians(lat))*(lon1-lon2))
實(shí)際上或悲,我用了一個(gè)更簡(jiǎn)化的函數(shù),忽略一個(gè)因素堪唐,即維度曲線上 1 度差距比經(jīng)度曲線上的 1 度差距要大得多巡语。簡(jiǎn)化函數(shù)如下:
def manhattan_distance1(lat1, lon1, lat2, lon2):
return abs(lat1-lat2)+abs(lon1-lon2)
closest 函數(shù)修改為:
def closest_manhattan_distance1(lat,lon,trkpts):
d = 100000.0
best = -1
r = trkpts.index
for i in r:
lati = trkpts.ix[i,'Lat']
loni = trkpts.ix[i,'Lon']
md =?manhattan_distance1(lat, lon, lati, loni)
if d > md
best = i
d = md
return best
如果將 Manhattan_distance 函數(shù)體換進(jìn)來(lái),速度還可以快些:
def closest_manhattan_distance2(lat,lon,trkpts):
d = 100000.0
best = -1
r = trkpts.index
for i in r:
lati = trkpts.ix[i,'Lat']
loni = trkpts.ix[i,'Lon']
md =?abs(lat-lati)+abs(lon-loni)
if d > md
best = i
d = md
return best
在計(jì)算的最短距離點(diǎn)上淮菠,用這個(gè)函數(shù)與用 John's 的函數(shù)效果相同男公。我希望我的直覺(jué)是對(duì)的。越簡(jiǎn)單就越快『狭辏現(xiàn)在這個(gè)程序用了 2 分 37 秒枢赔。提速了 18%。?很好拥知,但還不夠激動(dòng)人心踏拜。
我決定正確使用 Python。這意味著要利用 pandas 支持的數(shù)組運(yùn)算低剔。這些數(shù)組運(yùn)算操作源于numpy包速梗。通過(guò)調(diào)用這些數(shù)組操作,代碼實(shí)現(xiàn)更簡(jiǎn)練:
def closest(lat,lon,trkpts):
cl = numpy.abs(trkpts.Lat - lat) + numpy.abs(trkpts.Lon - lon)
return cl.idxmin()
該函數(shù)與之前函數(shù)的返回結(jié)果相同襟齿。在我的筆記本上運(yùn)行時(shí)間花費(fèi)了 0.5 秒姻锁。整整快了 300 倍!? 300 倍,,也即30,000 %蕊唐。不可思議屋摔。?提速的原因是 numpy 數(shù)組操作運(yùn)算用 C 實(shí)現(xiàn)。因此替梨, 我們將最好的兩面結(jié)合起來(lái)了:?我們得到 C 的速度和 Python 的簡(jiǎn)潔性钓试。
教訓(xùn)很明確:別用 C 的方式寫 Python 代碼。用 numpy 數(shù)組運(yùn)算副瀑,不要用數(shù)組遍歷弓熏。對(duì)我來(lái)說(shuō),這是思維上的轉(zhuǎn)變糠睡。
Update on July 2, 2015挽鞠。文章討論在Hacker?News。一些評(píng)論沒(méi)有注意到(missed )我用到了 pandas 數(shù)據(jù)幀的情況。主要是它在數(shù)據(jù)分析中很常用信认。如果我只是要快速的查詢最短距離點(diǎn)材义,且我時(shí)間充分,我可以使用 C 或 C++ 編寫四叉樹(shù)(實(shí)現(xiàn))嫁赏。
Second update on July 2, 2015其掂。有個(gè)評(píng)論提到numba也能對(duì)代碼提速。我就試了一下潦蝇。
這是我的做法款熬,與你的情況不一定相同。 首先攘乒,要說(shuō)明的是贤牛,不同的 python 安裝版,實(shí)驗(yàn)的結(jié)果不一定相同则酝。我的實(shí)驗(yàn)環(huán)境是 windows 系統(tǒng)上安裝 Anaconda殉簸,同時(shí)也安裝了一些擴(kuò)展包」炼铮可能這些包和 numba 存在干擾喂链。.
首先,輸入下面的安裝命令妥泉,安裝 numba:
$?conda?install?numba
這是我命令行界面上的反饋:
之后我發(fā)現(xiàn)椭微,numba 在 anaconda 安裝套件中已存在。?也可能安裝指令有變更也說(shuō)不定盲链。
推薦的 numba 用法:
@jit
def closest_func(lat,lon,trkpts,func):
d = 100000.0
best = -1
r = trkpts.index
for i in r:
lati = trkpts.ix[i,'Lat']
loni = trkpts.ix[i,'Lon']
md = abs(lat - lati) + abs(lon - loni)
if d > md:
#print d, dlat, dlon, lati, loni
best = i
d = md
return best
我沒(méi)有發(fā)現(xiàn)運(yùn)行時(shí)間提高蝇率。我也嘗試了更積極的編譯參數(shù)設(shè)置:
@jit(nopython=True)
def closest_func(lat,lon,trkpts,func):
d = 100000.0
best = -1
r = trkpts.index
for i in r:
lati = trkpts.ix[i,'Lat']
loni = trkpts.ix[i,'Lon']
md = abs(lat - lati) + abs(lon - loni)
if d > md:
#print d, dlat, dlon, lati, loni
best = i
d = md
return best
這次運(yùn)行代碼時(shí),出現(xiàn)一個(gè)錯(cuò)誤:
看來(lái)刽沾,pandas 比 numba 處理代碼更智能本慕。
當(dāng)然,我也能花時(shí)間修改數(shù)據(jù)結(jié)構(gòu)侧漓,使 numba 能正確編譯(compile)锅尘。可是布蔗,我為什么要這么干呢? 用 numpy 寫的代碼運(yùn)行的足夠快了藤违。反正,我一直在用 numpy 和 pandas 纵揍。為什么不繼續(xù)用呢?
也有建議我用pypy顿乒。這當(dāng)然有意義,不過(guò)...我用的是托管服務(wù)器上的Jupyter?notebooks(注泽谨,在線瀏覽器的 python 交互式開(kāi)發(fā)環(huán)境)璧榄。我用的是它提供的 python 內(nèi)核特漩,也即,官方的(regular)Python 2.7.x 內(nèi)核骨杂。并沒(méi)有提供 Pypy 選擇涂身。
也有建議用Cython。好吧搓蚪,如果我回頭要編譯代碼?访得,那我干脆直接用 C 和 C++ 就好了。我用 python陕凹,是因?yàn)椋峁┝嘶?notebooks(注:網(wǎng)頁(yè)版在線開(kāi)發(fā)環(huán)境)的交互式特性鳄炉,可以快速原型實(shí)現(xiàn)杜耙。這卻不是 Cython 的設(shè)計(jì)目標(biāo)。