去哪兒旅游數(shù)據(jù)可視化

之前一段時(shí)間把畢業(yè)論文搞完了莱褒。幫學(xué)弟對(duì)旅游景點(diǎn)的數(shù)據(jù)進(jìn)行可視化的展示

一、數(shù)據(jù)準(zhǔn)備

這里使用的是去哪兒的旅游數(shù)據(jù),參考的是大吉大利小米醬的簡(jiǎn)書(shū)http://www.reibang.com/p/b7627e67b6b9有興趣的可以去看看蟹倾。大吉大利小米醬
簡(jiǎn)書(shū)寫(xiě)的俏皮風(fēng)趣(吾輩之楷模)。

import time,requests, re
from lxml import etree
import pandas as pd

def getPage(url):
    headers = {
        'Accept':'application/json, text/javascript, */*; q=0.01',
        'Accept-Encoding':'gzip, deflate',
        'Accept-Language':'zh-CN,zh;q=0.9,en;q=0.8',
        'Connection':'keep-alive',
        'cookie':'QN1=dXrghVzaM0cN+wYpRryRAg==; QN269=9B0D2CC075F511E9BCA9FA163ED025F3; _i=ueHd8xMxBTVXqvCA4qR470Um5eyX; QunarGlobal=10.86.213.150_21340582_16ab448be93_7a80|1557803849001; QN99=647; fid=eda14267-76af-406d-975d-9e098c9d50f4; __utma=183398822.428737805.1557803850.1557803850.1557803850.1; __utmz=183398822.1557803850.1.1.utmcsr=baidu|utmccn=(organic)|utmcmd=organic|utmctr=%E5%A5%BD123%E6%97%85%E6%B8%B8; _jzqa=1.1924495795568354000.1557803852.1557803852.1557803852.1; _jzqx=1.1557803852.1557803852.1.jzqsr=hotel%2Equnar%2Ecom|jzqct=/.-; QN71="NTguMjQzLjI1NC4xMjk65a6J5b69OjE="; QN57=15578038546700.26539516250028505; QN67=1211; cto_lwid=06e141f7-870f-42ca-9519-312c3587bed8; QN63=%E7%83%AD%E9%97%A8%E6%99%AF%E7%82%B9%7C%E5%AE%89%E5%BE%BD; csrfToken=ZrtgmFh4YnLvKzqP8dCzzti2JoLh7sFz; _vi=3di8PYGZ-R9GtBBMOJN2tlBVR_KX-2jyHo6YmCS3JC-NB1B9rZnnrT7ZlQIEIdYWcInEmtNp0xdr9Aaf4mU9WCoN7q_-8QEnQ3m2goXxwFZpqYH8gGaupHTLFP-ak8JMAES3K_yVSwvsNpRb_qYHXgc4xajzIvF93Hnj_YkbVQDN; Hm_lvt_15577700f8ecddb1a927813c81166ade=1557803855,1558319263; QN300=auto_4e0d874a; QN205=auto_4e0d874a; QN277=auto_4e0d874a; QN267=79056878cd9f7ec1; QN58=1558319262033%7C1558319518464%7C2; Hm_lpvt_15577700f8ecddb1a927813c81166ade=1558319519; JSESSIONID=A509706026389E421E058210F3BEF192; Request-Node=f6769d42991e67d1c5a98893de33d1f3; QN271=06f7c456-ac81-4bdb-b833-ddfbc81ab633',
        'Host':'piao.qunar.com',
        'Referer':'http://piao.qunar.com/ticket/list.htm?keyword=%E7%83%AD%E9%97%'
                  'A8%E6%99%AF%E7%82%B9&region=&from=mpl_search_suggest',
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36',
        'X-Requested-With':'XMLHttpRequest'
    }
    try:
        page = requests.get(url,headers = headers)
        print("page:")
        print(page)
        return page
    except Exception as e:
        print(str(e))

def getList():
    place = '熱門(mén)景點(diǎn)'
    url = 'http://piao.qunar.com/ticket/list.htm?keyword='+ place +'&region=&from=mpl_search_suggest&page={}'
    i = 1
    sightlist = []
    while i < 3000:
        page = getPage(url.format(i))
        selector = etree.HTML(page.text)
        print('正在爬取第', str(i), '頁(yè)景點(diǎn)信息')
        i += 1
        informations = selector.xpath('//div[@class="result_list"]/div')
        for inf in informations:
            try:
                sight_name = inf.xpath('./div/div/h3/a/text()')[0]
                sight_level = inf.xpath('.//span[@class="level"]/text()')
                if len(sight_level):
                    sight_level = sight_level[0].replace('景區(qū)','')
                else:
                    sight_level = 0
                sight_area = inf.xpath('.//span[@class="area"]/a/text()')[0]
                sight_hot = inf.xpath('.//span[@class="product_star_level"]//span/text()')[0].replace('熱度 ','')
                sight_add = inf.xpath('.//p[@class="address color999"]/span/text()')[0]
                sight_add = re.sub('地址:|(.*?)|\(.*?\)|猖闪,.*?$|\/.*?$','',str(sight_add))
                sight_slogen = inf.xpath('.//div[@class="intro color999"]/text()')[0]
                sight_price = inf.xpath('.//span[@class="sight_item_price"]/em/text()')
                if len(sight_price):
                    sight_price = sight_price[0]
                else:
                    i = 0
                    break
                sight_soldnum = inf.xpath('.//span[@class="hot_num"]/text()')[0]
                sight_point = inf.xpath('./@data-point')[0]
                sight_url = inf.xpath('.//h3/a[@class="name"]/@href')[0]
                sightlist.append([sight_name,sight_level,sight_area,float(sight_price),int(sight_soldnum),float(sight_hot),sight_add.replace('地址:',''),sight_point,sight_slogen,sight_url])
                print("sightlist:")
                print(sightlist)
            except IndexError:
                pass

        time.sleep(10)
    return sightlist

def listToExcel(list,name):
    df = pd.DataFrame(list,columns=['景點(diǎn)名稱(chēng)','級(jí)別','所在區(qū)域','起步價(jià)','銷(xiāo)售量','熱度','地址','經(jīng)緯度','標(biāo)語(yǔ)','詳情網(wǎng)址'])
    df.to_csv(name + ".csv", sep=',')

def main():
    sightlist = getList()
    listToExcel(sightlist,'hotplace')

if __name__=='__main__':
    main()

在pycharm中運(yùn)行代碼鲜棠。將去哪兒網(wǎng)中熱門(mén)的景點(diǎn)數(shù)據(jù)進(jìn)行爬去保存為.csv數(shù)據(jù),包括景點(diǎn)名稱(chēng)培慌、級(jí)別豁陆、所在地區(qū)等信息。


熱門(mén)景點(diǎn)數(shù)據(jù)

但是這些數(shù)據(jù)并不能進(jìn)行直接的可視化(這里小米醬將爬去的數(shù)據(jù)用python轉(zhuǎn)換成json文件吵护,用echart進(jìn)行可視化)盒音。


小米醬的可視化

二、數(shù)據(jù)處理工作

為了更好的將數(shù)據(jù)進(jìn)行可視化馅而。我們把csv數(shù)據(jù)做了分列處理祥诽,將經(jīng)緯度分為兩行。


經(jīng)緯度分列

分列后

然后將數(shù)據(jù)導(dǎo)入ArcMap中瓮恭,在ArcMap中將景點(diǎn)數(shù)據(jù)轉(zhuǎn)化為shp格式的點(diǎn)數(shù)據(jù)雄坪。


i顯示X、Y數(shù)據(jù)

點(diǎn)擊按X屯蹦、Y顯示數(shù)據(jù)后维哈,X绳姨、Y字段和輸入坐標(biāo)的坐標(biāo)系(我選的是WGS84)
設(shè)置參數(shù)

點(diǎn)擊確定,就可以將數(shù)據(jù)轉(zhuǎn)換為shp格式的point數(shù)據(jù)(經(jīng)緯度坐標(biāo)值不能搞錯(cuò)了)阔挠。為了確保沒(méi)有錯(cuò)飘庄,最好加載在線的地圖確認(rèn)數(shù)據(jù)轉(zhuǎn)換的正確性。
經(jīng)緯度數(shù)據(jù)錯(cuò)誤效果

數(shù)據(jù)轉(zhuǎn)換

(POI數(shù)據(jù)也可以通過(guò)此方法轉(zhuǎn)換為shp數(shù)據(jù))然后將數(shù)據(jù)導(dǎo)出為shp即可谒亦。

三竭宰、數(shù)據(jù)可視化

本次將數(shù)據(jù)轉(zhuǎn)化為GeoJSON數(shù)據(jù),通過(guò)leaflets的API進(jìn)行展示份招。包括熱力圖切揭、彈窗、標(biāo)注锁摔、定位搜索廓旬。

代碼界面
可視化效果

整個(gè)Demo的代碼放在Github上(老鐵們可以把Github上的小星星點(diǎn)一點(diǎn)):https://github.com/hunim/Tourism-data-visualization

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市谐腰,隨后出現(xiàn)的幾起案子孕豹,更是在濱河造成了極大的恐慌,老刑警劉巖十气,帶你破解...
    沈念sama閱讀 222,681評(píng)論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件励背,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡砸西,警方通過(guò)查閱死者的電腦和手機(jī)叶眉,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,205評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門(mén),熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)芹枷,“玉大人衅疙,你說(shuō)我怎么就攤上這事≡Т龋” “怎么了饱溢?”我有些...
    開(kāi)封第一講書(shū)人閱讀 169,421評(píng)論 0 362
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)走芋。 經(jīng)常有香客問(wèn)我绩郎,道長(zhǎng),這世上最難降的妖魔是什么翁逞? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 60,114評(píng)論 1 300
  • 正文 為了忘掉前任暖夭,我火速辦了婚禮循签,結(jié)果婚禮上田绑,老公的妹妹穿的比我還像新娘孕蝉。我一直安慰自己,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 69,116評(píng)論 6 398
  • 文/花漫 我一把揭開(kāi)白布浅萧。 她就那樣靜靜地躺著逐沙,像睡著了一般。 火紅的嫁衣襯著肌膚如雪洼畅。 梳的紋絲不亂的頭發(fā)上吩案,一...
    開(kāi)封第一講書(shū)人閱讀 52,713評(píng)論 1 312
  • 那天,我揣著相機(jī)與錄音帝簇,去河邊找鬼徘郭。 笑死,一個(gè)胖子當(dāng)著我的面吹牛丧肴,可吹牛的內(nèi)容都是我干的残揉。 我是一名探鬼主播,決...
    沈念sama閱讀 41,170評(píng)論 3 422
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼芋浮,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼抱环!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起纸巷,我...
    開(kāi)封第一講書(shū)人閱讀 40,116評(píng)論 0 277
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤镇草,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后瘤旨,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體梯啤,經(jīng)...
    沈念sama閱讀 46,651評(píng)論 1 320
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,714評(píng)論 3 342
  • 正文 我和宋清朗相戀三年存哲,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了因宇。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,865評(píng)論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡宏胯,死狀恐怖羽嫡,靈堂內(nèi)的尸體忽然破棺而出本姥,到底是詐尸還是另有隱情肩袍,我是刑警寧澤,帶...
    沈念sama閱讀 36,527評(píng)論 5 351
  • 正文 年R本政府宣布婚惫,位于F島的核電站氛赐,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏先舷。R本人自食惡果不足惜艰管,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,211評(píng)論 3 336
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望蒋川。 院中可真熱鬧牲芋,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 32,699評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至裂逐,卻和暖如春歹鱼,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背卜高。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,814評(píng)論 1 274
  • 我被黑心中介騙來(lái)泰國(guó)打工弥姻, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人掺涛。 一個(gè)月前我還...
    沈念sama閱讀 49,299評(píng)論 3 379
  • 正文 我出身青樓庭敦,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親薪缆。 傳聞我的和親對(duì)象是個(gè)殘疾皇子螺捐,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,870評(píng)論 2 361