Python下gdal的安裝戏锹,及解決運(yùn)行過(guò)程中可能出現(xiàn)的memory error問(wèn)題

最近迷上了用python處理衛(wèi)星數(shù)據(jù)冠胯,gdal包是不得不提的一個(gè)。本篇文章寫于程序運(yùn)行時(shí)的等待過(guò)程中锦针,時(shí)間緊迫不免有些疏漏荠察。另置蜀,我本人也只是一只菜雞,寫此教程的目的悉盆,也在于總結(jié)這兩星期的經(jīng)驗(yàn)教訓(xùn)盯荤,祭奠一下走過(guò)的彎路浪費(fèi)的時(shí)間。希望各位大佬們不要笑話焕盟,也請(qǐng)多多提建議秋秤,幫助小張同學(xué)提高業(yè)務(wù)能力。廢話不再多說(shuō)脚翘,進(jìn)入正題W坡!来农!

"gdal"是一個(gè)開源的鞋真、功能強(qiáng)大的柵格文件讀寫庫(kù)∥钟冢可是它的"安裝"有時(shí)卻讓小白們感到疼痛涩咖;好不容易跟著教程安裝成了,在運(yùn)行過(guò)程中繁莹,當(dāng)需要處理的數(shù)據(jù)太大時(shí)檩互,卻被頻頻提示"內(nèi)存錯(cuò)誤"?– 如,memoryerror:unable to allocate 43.9 mib for an array with shape (4800, 4800) and data typeuint16咨演。

出現(xiàn)"memoryerror"的原因有很多闸昨。其中一種是因?yàn)椤?b>python版本過(guò)低/在win64操作系統(tǒng)上安裝了win32版本的python”;當(dāng)安裝的是32位的python時(shí)雪标,即使用戶將”虛擬內(nèi)存”的設(shè)置的再大零院,也無(wú)法從根本上解決” memoryerror”(虛擬內(nèi)存的設(shè)置請(qǐng)參照https://zhuanlan.zhihu.com/p/37332255)溉跃。原因在小節(jié)一中詳述村刨。本篇教程將從最基本的windows系統(tǒng)下的python安裝開始講起,希望可以幫助遇此問(wèn)題的蟲友撰茎。

教程目錄如下:

一.Python的下載嵌牺、安裝和配置

二.當(dāng)電腦中裝有多個(gè)python版本時(shí),如何使他們兼容

三.用”pip install”法在python下安裝gdal庫(kù)

四.配置windows虛擬內(nèi)存

##############################################################################

一.Python的下載龄糊、安裝和配置

電腦上裝有arcgis等軟件的小白會(huì)發(fā)現(xiàn)逆粹,python2.7早已順帶被裝載了自己的電腦里。需注意的是 –此python版本的環(huán)境是32位的炫惩!即使電腦內(nèi)存非常大僻弹,處理非常大的衛(wèi)星數(shù)據(jù)時(shí),你的32位python也非常有可能遇到"memoryerror"問(wèn)題他嚷。這是因?yàn)?32位操作系統(tǒng)可以尋址2的32次方個(gè)字節(jié)的內(nèi)存范圍蹋绽,64位操作系統(tǒng)則可尋址2的64次方個(gè)字節(jié)的內(nèi)存范圍芭毙。因此,32位的操作系統(tǒng)理論上只能使用約4GB的內(nèi)存卸耘,要是想讓程序使用超過(guò)4GB的內(nèi)存退敦,就要選擇64位的操作系統(tǒng)。"

圖一: Python版本的選擇

Python可以在https://www.python.org/上免費(fèi)下載蚣抗,我選擇了64位的Python 3.8.6侈百。安裝包選擇的是Windows x86-64 executable installer (圖一), 因?yàn)樗奖阌脩糇远x”程序儲(chǔ)存路徑”以及自動(dòng)添加”path環(huán)境變量”。 自定義”程序儲(chǔ)存路徑” 就不贅述了翰铡,個(gè)人認(rèn)為路徑越簡(jiǎn)單越好(我就直接存儲(chǔ)為"C:\python3.8" , 以下的講解也以此為示范钝域,大家可以根據(jù)自己的便利選擇儲(chǔ)存路徑)。


圖二: 檢查path下是否已經(jīng)添加"C:\python3.8\Scripts\" 和"C:\python3.8\"

安裝好后两蟀,檢查系統(tǒng)環(huán)境變量的path (圖二)(檢查方式請(qǐng)參照: https://jingyan.baidu.com/article/8ebacdf02d3c2949f65cd5d0.html)网梢。若打開系統(tǒng)變量的path,發(fā)現(xiàn)已經(jīng)有"C:\python3.8\Scripts\" 和"C:\python3.8\" 赂毯,則說(shuō)明path已經(jīng)被設(shè)置好战虏;若沒(méi)有的話,可自己手動(dòng)添加党涕。

二.當(dāng)電腦中裝有多個(gè)python版本時(shí)烦感,如何使他們兼容

有一個(gè)需要注意的問(wèn)題- 當(dāng)電腦里安裝了多個(gè)版本的Python時(shí),并嘗試裝一些包如gdal或者更新pip時(shí)膛堤,會(huì)報(bào)錯(cuò)手趣。那么如何配置才能使他們兼容,不影響用戶的使用呢肥荔?原則就是將不同版本下的"python.exe"和"pip.exe"分別命名绿渣。如,將Python3.8.6的命名為”python38.exe”和”pip38.exe”燕耿; 將Python2.7.5的命名為”python27.exe”和”pip27.exe”中符。具體請(qǐng)參照https://blog.csdn.net/qq_40260867/article/details/84062299。在此不做贅述誉帅。

我的電腦里同時(shí)裝有Python3.8.6和Python2.7.5淀散。打開CMD檢查一下”兼容”是否設(shè)置成功 (打開cmd的方式https://jingyan.baidu.com/article/e4511cf329b0e42b845eaf2e.html)。分別輸入python27和python38蚜锨,若像如圖三顯示的那樣档插,就是設(shè)置成功了。


圖三: 在cmd中進(jìn)一步檢查兩個(gè)版本的python的兼容是否設(shè)置妥當(dāng)

三.用”pip install”法在python下安裝gdal庫(kù)

先在https://www.lfd.uci.edu/~gohlke/pythonlibs/里下載合適版本的gdal whl文件亚再。版本的選擇主要取決于windows操作系統(tǒng)的位數(shù)python的版本郭膛。我是64位操作系統(tǒng),準(zhǔn)備在python3.8.6下安裝gdal庫(kù)氛悬,所以選擇下載”GDAL?3.1.3?cp38?cp38?win_amd64.whl”(圖四)则剃。cp后的38表示支持python3.3.6凄诞,amd后的64表示支持64位操作系統(tǒng)。記住下載gdal whl文件的儲(chǔ)存位置忍级。我的存在"C:\Users\zhang\Downloads"下帆谍。


?圖四: gdal whl 文件的版本選擇

gdal通過(guò)cmd用"pip instal"語(yǔ)法安裝。在第二小節(jié)里轴咱,我將python3.8.6的pip命名為了pip38汛蝙,所以在這里用pip38而不是pip。pip38 install后接續(xù)下載的gdal whl文件的儲(chǔ)存地址朴肺。如窖剑,pip38 install C:\Users\zhang\Downloads\GDAL-3.1.3-cp38-cp38-win_amd64.whl (圖五

圖五: cmd中用pip install 安裝gdal包;安裝成功后會(huì)顯示"successfully"等字樣戈稿,因?yàn)槲乙呀?jīng)安裝過(guò)了西土,所以此出安裝的結(jié)果顯示的是"Requirement already satisfied"

五.?配置windows虛擬內(nèi)存

至此,gdal已經(jīng)成功在python3.8.6中成功安裝了鞍盗。為了進(jìn)一步確保程序運(yùn)行過(guò)程中需了,不會(huì)再出現(xiàn)內(nèi)存錯(cuò)誤,我們可以進(jìn)一步配置windows虛擬內(nèi)存般甲。虛擬內(nèi)存的設(shè)置請(qǐng)參照https://zhuanlan.zhihu.com/p/37332255?肋乍。內(nèi)存可以根據(jù)自己的需要自定義設(shè)置大小。由圖六可以看到敷存,目前C盤下墓造,我的可用空間為:37686MB。我將初始大小以及最大值均設(shè)置為: 30000MB锚烦。當(dāng)然這是一個(gè)比較夸張的設(shè)定觅闽。為了不要再由內(nèi)存錯(cuò)誤,我也是拼了涮俄。

設(shè)置好后重啟電腦蛉拙。然后在python3.8中運(yùn)行代碼。無(wú)錯(cuò)禽拔!快速刘离!流暢室叉!開心的蹦蹦跳跳6闷堋!<牒邸野来!


圖六: 虛擬內(nèi)存的設(shè)置
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市踪旷,隨后出現(xiàn)的幾起案子曼氛,更是在濱河造成了極大的恐慌豁辉,老刑警劉巖,帶你破解...
    沈念sama閱讀 219,039評(píng)論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件舀患,死亡現(xiàn)場(chǎng)離奇詭異徽级,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)聊浅,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,426評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門餐抢,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人低匙,你說(shuō)我怎么就攤上這事旷痕。” “怎么了顽冶?”我有些...
    開封第一講書人閱讀 165,417評(píng)論 0 356
  • 文/不壞的土叔 我叫張陵欺抗,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我强重,道長(zhǎng)绞呈,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,868評(píng)論 1 295
  • 正文 為了忘掉前任间景,我火速辦了婚禮报强,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘拱燃。我一直安慰自己秉溉,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,892評(píng)論 6 392
  • 文/花漫 我一把揭開白布碗誉。 她就那樣靜靜地躺著召嘶,像睡著了一般。 火紅的嫁衣襯著肌膚如雪哮缺。 梳的紋絲不亂的頭發(fā)上弄跌,一...
    開封第一講書人閱讀 51,692評(píng)論 1 305
  • 那天,我揣著相機(jī)與錄音尝苇,去河邊找鬼铛只。 笑死,一個(gè)胖子當(dāng)著我的面吹牛糠溜,可吹牛的內(nèi)容都是我干的淳玩。 我是一名探鬼主播,決...
    沈念sama閱讀 40,416評(píng)論 3 419
  • 文/蒼蘭香墨 我猛地睜開眼非竿,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼蜕着!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起红柱,我...
    開封第一講書人閱讀 39,326評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤承匣,失蹤者是張志新(化名)和其女友劉穎蓖乘,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體韧骗,經(jīng)...
    沈念sama閱讀 45,782評(píng)論 1 316
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡嘉抒,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,957評(píng)論 3 337
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了袍暴。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片众眨。...
    茶點(diǎn)故事閱讀 40,102評(píng)論 1 350
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖容诬,靈堂內(nèi)的尸體忽然破棺而出娩梨,到底是詐尸還是另有隱情,我是刑警寧澤览徒,帶...
    沈念sama閱讀 35,790評(píng)論 5 346
  • 正文 年R本政府宣布狈定,位于F島的核電站,受9級(jí)特大地震影響习蓬,放射性物質(zhì)發(fā)生泄漏纽什。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,442評(píng)論 3 331
  • 文/蒙蒙 一躲叼、第九天 我趴在偏房一處隱蔽的房頂上張望芦缰。 院中可真熱鬧,春花似錦枫慷、人聲如沸让蕾。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,996評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)探孝。三九已至,卻和暖如春誉裆,著一層夾襖步出監(jiān)牢的瞬間顿颅,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,113評(píng)論 1 272
  • 我被黑心中介騙來(lái)泰國(guó)打工足丢, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留粱腻,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 48,332評(píng)論 3 373
  • 正文 我出身青樓斩跌,卻偏偏與公主長(zhǎng)得像绍些,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子滔驶,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,044評(píng)論 2 355