從三月份開始上城市數(shù)據(jù)團(tuán)的課(我的學(xué)習(xí)筆記是3月17日開始)滩援,到現(xiàn)在五月中,終于差不多上完了碰煌,也看了近百個(gè)視頻蝌以。回頭一看還是個(gè)小成就栋荸。寫一點(diǎn)總結(jié)筆記菇怀。
起緣是因?yàn)槲易龅禺a(chǎn)方面凭舶,一直有關(guān)注他們的公眾號(hào),看到有相關(guān)課程就毫不猶豫的報(bào)了名爱沟。
城市數(shù)據(jù)團(tuán)在網(wǎng)易云課堂上一共開了四門課帅霜。按照我學(xué)習(xí)的順序是:
- 爬蟲入門,零編程數(shù)據(jù)爬取攻略
- 美感培養(yǎng)呼伸,數(shù)據(jù)可視化專題強(qiáng)化
- 小白逆襲身冀,數(shù)據(jù)分析實(shí)戰(zhàn)進(jìn)階心理
- 從零到一,python網(wǎng)頁爬蟲攻略
另外還有一個(gè)大鵬教你玩數(shù)據(jù)括享,主要就2個(gè)視頻搂根,還有發(fā)現(xiàn)城市的秘密就是pdf,有跟他們的公眾號(hào)的就不用特別再看了铃辖。
第一個(gè)是零編程爬蟲入門剩愧,主要先講火車頭采集器。當(dāng)時(shí)我對(duì)學(xué)編程爬蟲還很抗拒娇斩,覺得用采集器好方便啊仁卷。這個(gè)上手也確實(shí)很快,很有成就感犬第。用來入門挺好的锦积。
實(shí)踐:爬了鏈家等幾個(gè)網(wǎng)站,后來不需要就沒有繼續(xù)爬歉嗓。
第二個(gè)是美感培養(yǎng)丰介,因?yàn)樽孕舙pt做的不錯(cuò),所以有關(guān)ppt的視頻課我都略過了鉴分。這里主要是powermap的用法哮幢。因?yàn)閜owermap是excel2013年后提供的插件,所以可以u(píng)pdate一下冠场。其中的動(dòng)態(tài)圖比較有用家浇,我跟著做了一份廣州各區(qū)房?jī)r(jià)增長(zhǎng)的動(dòng)態(tài)圖。(正好這一年廣州房?jī)r(jià)嗖嗖的長(zhǎng)碴裙,效果好明顯的钢悲。)
后來加了bdp圖表的制作,也很方便舔株,因?yàn)槭窃诰€平臺(tái)莺琳,上手很快,基本上看過視頻就會(huì)操作了载慈。
第三個(gè)是數(shù)據(jù)分析實(shí)戰(zhàn)惭等,前面講的excel一些操作技巧屬于提高辦公效率的范疇。接下來是qgis办铡,也是我感覺最有用的辞做,因?yàn)檫@個(gè)領(lǐng)域并不是很多人涉及琳要,不像已經(jīng)講濫了的ppt,excel秤茅。但是做出來的分析和圖表可以很酷炫稚补。
這個(gè)難度比較大一點(diǎn),主要是軟件功能比較復(fù)雜框喳,而且需要多圖層加載课幕。比如柵格圖,就會(huì)生成一套柵格圖的圖層文件(一套五垮,不止一個(gè))乍惊。做完一個(gè)項(xiàng)目,文件夾里滿滿都是文件放仗,有些自己都想不起來是干什么的了润绎,又不敢刪掉,好煩匙监。
如果入門不深凡橱,其實(shí)主要掌握熱力圖和柵格圖也可以過關(guān)。像泰森多邊形和德洛內(nèi)三角這些略為復(fù)雜的空間分析手段亭姥,就不用深入了,反正做出來也很難解釋給吃瓜群眾顾稀。
這個(gè)軟件對(duì)于個(gè)人專業(yè)幫助很大达罗,對(duì)于建筑師來講,雖然每天都和道路静秆,坐標(biāo)打交道粮揉,但常用的軟件還是cad,或者ps,sku這些抚笔,對(duì)archgis扶认,qgis這些會(huì)比較陌生。這種全信息的地理平臺(tái)殊橙,可以把地域參數(shù)(比如人口辐宾,經(jīng)濟(jì),房?jī)r(jià)增長(zhǎng)率)很直接的和經(jīng)緯度落實(shí)在一起膨蛮,對(duì)于數(shù)據(jù)分析和展現(xiàn)非常的有幫助叠纹。
后來我根據(jù)學(xué)到的技能,結(jié)合廣州土地等數(shù)據(jù)分析敞葛,再用柵格圖和熱力圖等展現(xiàn)出來誉察,寫了一篇廣州土地出讓的分析文,因?yàn)樵谛袃?nèi)惹谐,用地理信息系統(tǒng)的大概還比較少持偏,這類的數(shù)據(jù)展現(xiàn)也不多驼卖,所以也比較特別,在內(nèi)部微信號(hào)發(fā)表出來后鸿秆,立刻被某地產(chǎn)大號(hào)轉(zhuǎn)載款慨,有6000+的閱讀量,也算不錯(cuò)了谬莹。
運(yùn)用qgis的缺點(diǎn)就是合適的shp文件并不是隨手可得檩奠,比如廣州2014-2015年市區(qū)劃分有很大調(diào)整,我差點(diǎn)連新區(qū)的文件都找不到附帽,最后花了一點(diǎn)點(diǎn)錢才下載到手埠戳。而且手頭上的shp地圖也就是分區(qū)的,還沒有能劃分到街區(qū)的蕉扮,所以數(shù)據(jù)還沒能落得很細(xì)整胃,比如無法比較珠江新城(廣州的cbd)和其他周邊地區(qū)的數(shù)據(jù)。當(dāng)然還有一個(gè)辦法就得自己比較費(fèi)力的合并整理喳钟,這步工作我還沒有做屁使。所以雖然qgis是很有用的軟件,但它的功能我可能還遠(yuǎn)遠(yuǎn)沒有發(fā)掘出來奔则。
第四個(gè)就是python爬蟲蛮寂,也是我個(gè)人花時(shí)間最多的課程。因?yàn)橥瑫r(shí)還買書學(xué)習(xí)易茬,也加入了專門的學(xué)習(xí)群酬蹋。這也是我做筆記最多的一門課。但畢竟這是一門腳本語言抽莱,需要從根本上理解邏輯和代碼范抓,和一般的軟件操作并不一樣。很坦白的講食铐,我覺得python這門課講的不是特別特別好匕垫,雖然大鵬很深入淺出,也很努力的把重點(diǎn)集中在50個(gè)視頻左右虐呻,但網(wǎng)頁爬取是一個(gè)比較動(dòng)態(tài)的過程象泵,每一個(gè)網(wǎng)頁都不太一樣。對(duì)于小白來說铃慷,最后只有2個(gè)實(shí)戰(zhàn)其實(shí)是不夠的单芜,也還不太深入±绻瘢看完視頻后還有挺多爬蟲不會(huì)的洲鸠,也是有點(diǎn)挫敗感的。
如果要改進(jìn)的話,個(gè)人的建議是多加入一些實(shí)戰(zhàn)課扒腕,并進(jìn)行深一點(diǎn)的拓展绢淀,比如app的爬取,甚至更高階比如panda瘾腰,scapy這些皆的。那我就不用來來去去找其他資料啦。
其他方面蹋盆,數(shù)據(jù)團(tuán)的qq網(wǎng)上答疑也很及時(shí)费薄,至少不是完全沒有回音。另外軟件給的很大方栖雾。比如qgis楞抡,anacoda這些軟件都是直接下載,真是滿方便的析藕。
一百多節(jié)課說過去也過去了召廷,大多是我利用午休時(shí)間看的,半小時(shí)左右可以看1-2個(gè)視頻账胧,感覺也不是特別辛苦竞慢,也做了滿滿一本筆記。兩個(gè)月的業(yè)余時(shí)間(不是全部)學(xué)了以上所述的滿有用的幾項(xiàng)技能治泥,總的來說還是很推薦的筹煮,所以寫下此文,供大家參考车摄,也作為自己的一項(xiàng)學(xué)習(xí)總結(jié)寺谤。日后還要多多練習(xí),把學(xué)費(fèi)十倍百倍的掙回來(笑)吮播。