Python 2.7
Pycharm 5.0.3
Geopy 1.11
圖形展示 地圖無(wú)憂-網(wǎng)頁(yè)版

你可能需要知道

1.機(jī)器學(xué)習(xí)之K-means算法（Python描述）基礎(chǔ)
2.經(jīng)緯度地址轉(zhuǎn)換的方法集合（Python描述）
3.想要知道怎么實(shí)現(xiàn)的可能還要python等相關(guān)知識(shí)
4.看官隨意

前言

這次厲害了静陈，我爬出了哈爾濱市TOP285家好吃的店铛楣，包括燒烤的TOP是钥，餃子的TOP，醬骨的TOP等等等等惜犀，在地圖上顯示搅吁，規(guī)劃熱點(diǎn)蝗拿，再用聚類(lèi)算法計(jì)算下能不能找出吃貨最佳的住宿點(diǎn)额港，能夠距離吃的各個(gè)地方行程最近，吃貨們碴里，準(zhǔn)備好了嗎沈矿？

目的

可視化美食熱點(diǎn)，規(guī)劃各類(lèi)美食聚集點(diǎn)咬腋，規(guī)劃行程羹膳。

準(zhǔn)備食材

首先，我不對(duì)這次排行的可信度負(fù)責(zé)根竿，我只是直接百度的top餐廳溜徙，里面的水分大家自己掂量，甩鍋給哈爾濱美食最新榜出爐犀填，史上最強(qiáng)300家美食滿(mǎn)足你各種挑剔！
大概是這樣的

這里寫(xiě)圖片描述

怎么爬我就不重復(fù)演示了嗓违，這里可以了解動(dòng)態(tài)和靜態(tài)爬的各種方法可以參考這里九巡，有靜態(tài)和動(dòng)態(tài)的例子，這次我用靜態(tài)爬發(fā)現(xiàn)被攔截了蹂季，mdzz冕广，然后我就直接上selenium+Firefox（這里有一堆用Selenium的不累述了）疏日，至于為什么不上PhantomJS，我這里說(shuō)下撒汉，有時(shí)候PhantomJS爬的內(nèi)容沒(méi)有Firefox全沟优，或許有人跳出來(lái)說(shuō)，你個(gè)sb睬辐，他兩是一樣的啊挠阁，而且PhantomJS更加省內(nèi)存，呵呵溯饵，你自己去試試就知道了侵俗，我不止一次在爬動(dòng)態(tài)的時(shí)候PhantomJS遇到問(wèn)題而Firefox沒(méi)有問(wèn)題的(比如這個(gè)偽解決Selenium中調(diào)用PhantomJS無(wú)法模擬點(diǎn)擊(click)操作 ，連xpath都一樣丰刊，就換了個(gè)無(wú)頭隘谣，就不行了，我也有看到Stack Overflow上遇到同樣問(wèn)題的啄巧，可能是我手法不夠吧寻歧，或許是我真的理解錯(cuò)了，到時(shí)候我自來(lái)認(rèn)錯(cuò)秩仆。

清洗食材

剛爬下來(lái)的數(shù)據(jù)肯定不能直接用的码泛，又是空格又是序列的，處理的方法很多逗概，可以用正則弟晚，sub換空格，然后splite切割逾苫，組成列表再取卿城，洗的方法很多，具體看數(shù)據(jù)是怎么樣的铅搓，洗完后放進(jìn)冰箱瑟押，啊不是，放進(jìn)txt或者保存為csv星掰，xls都可以的呢~

左一為初步爬取的數(shù)據(jù)右一為抽取出的地址

注意點(diǎn)

有些數(shù)據(jù)多望，大概三四個(gè)，我清洗完之后發(fā)現(xiàn)有錯(cuò)誤氢烘，比如洗出個(gè)空格怀偷，額。播玖。椎工。。我嘗試用try，except檢測(cè)錯(cuò)誤维蒙，查看原始數(shù)據(jù)掰吕，發(fā)現(xiàn)源鏈接中的js寫(xiě)的不標(biāo)準(zhǔn)造成的，哎颅痊，手動(dòng)改好殖熟，再清洗一遍，不要刻意為了這一兩個(gè)數(shù)據(jù)重寫(xiě)清洗算法斑响，不就是sb了想著全自動(dòng)一步成型菱属，我咋不上天啊。恋捆。照皆。

食材腌制-定位經(jīng)緯度

這個(gè)我在上一篇文章中詳細(xì)寫(xiě)了如何從一個(gè)地址轉(zhuǎn)換得到相應(yīng)的經(jīng)緯度，可以查看經(jīng)緯度地址轉(zhuǎn)換的方法集合（Python描述）這里不再贅述沸停，得到的數(shù)據(jù)格式有兩種如下所示

左一為地址+經(jīng)緯度膜毁，逗號(hào)隔開(kāi)，右一為經(jīng)緯度愤钾，空格隔開(kāi)

左一為地址+經(jīng)緯度瘟滨，逗號(hào)隔開(kāi)，右一為經(jīng)緯度能颁，空格隔開(kāi)杂瘸，為什么要生成兩個(gè)格式？因?yàn)槲蚁矚g啊伙菊，哈哈哈

食材保存--轉(zhuǎn)化CSV

直接右鍵另存為败玉，然后保存格式為.csv即可，有人說(shuō)镜硕，為什么不用csv的寫(xiě)入方法啊运翼，因?yàn)槲覒邪。覒械弥匦聵?gòu)造字典了兴枯，這里甩上一段可以寫(xiě)入中文的csv格式血淌。

import csv
import codecs

csvfile = file('csv_test.csv', 'wb')
csvfile.write(codecs.BOM_UTF8)
writer = csv.writer(csvfile)
writer.writerow(['姓名', '年齡', '電話'])

data = [
 ('%s', '25', '1234567'),
 ('С李', '18', '789456')
]
csvfile.close()

弄完之后大概是這樣的就可以下鍋了

csv樣式

烹飪食材--聚類(lèi)處理

我們要用的數(shù)據(jù)集是空格隔開(kāi)的，至于為什么空格隔開(kāi)的經(jīng)緯度數(shù)據(jù)财剖，因?yàn)槲乙郧皩?xiě)好的bikmeans里面輸入項(xiàng)就是就是醬紫的悠夯，空格用正則比較好處理，用個(gè)list裝下Obj.[0],[1]立馬出來(lái)值了,至于Kmeans是啥躺坟，怎么用沦补，請(qǐng)看機(jī)器學(xué)習(xí)之K-means算法（Python描述）基礎(chǔ)，這里處理完后咪橙，我隨機(jī)設(shè)置了5策彤，10栓袖，15，20四種聚類(lèi)點(diǎn)店诗，觀察各種效果。代碼我在附錄放上音榜，參考的可以直接取附錄找庞瘸。聚類(lèi)處理之后依舊保存如上一步的一張圖形式，之后就可以開(kāi)始可視化了赠叼！

佳肴擺上桌--數(shù)據(jù)可視化

枯燥的數(shù)據(jù)讓人很難受擦囊，根本分析不出什么來(lái)，而且看著枯燥嘴办，這里我用了地圖無(wú)憂這個(gè)網(wǎng)頁(yè)版瞬场，雖然只有七天免費(fèi)期，哎涧郊，辛辛苦苦畫(huà)的圖以后不能用了贯被，(如果有誰(shuí)知道還有類(lèi)似的批量經(jīng)緯度點(diǎn)轉(zhuǎn)化圖的軟件請(qǐng)告訴我一下)真蛋疼，這里快給大家分享看看吃貨的地圖妆艘，不看就沒(méi)了彤灶！

具體的操作，直接看教程很簡(jiǎn)單的批旺，我就是建圖層幌陕，然后圖層上批量放入經(jīng)緯度，它就能轉(zhuǎn)化成地圖上的點(diǎn)汽煮，很好玩搏熄，看個(gè)動(dòng)圖，這是我把點(diǎn)放上的效果暇赤。

加載所有數(shù)據(jù)點(diǎn)產(chǎn)生的效果

享用佳肴--分析數(shù)據(jù)

• 先看下各種分布把心例，這個(gè)是熱力圖

TOP285熱力圖

• 這個(gè)是點(diǎn)陣圖

點(diǎn)陣圖

• 把聚類(lèi)的點(diǎn)加上，選了聚類(lèi)點(diǎn)為15個(gè)

Cluster15

有些點(diǎn)不錯(cuò)翎卓，但是有些點(diǎn)太扯了把契邀，貌似不是kmeans的宗旨的，他是為了找距離各熱點(diǎn)最近的平衡點(diǎn)啊失暴，是聚類(lèi)點(diǎn)啊坯门，但是有幾個(gè)點(diǎn)明顯不是了，查看原因逗扒。

現(xiàn)實(shí)和理想差距

問(wèn)題所在：可以看出來(lái)古戴，上面的點(diǎn)分布原因因?yàn)檫@些離散點(diǎn)的存在，我看了最遠(yuǎn)的點(diǎn)矩肩，亞布力滑雪場(chǎng)现恼，的確有家店不錯(cuò)，額，可是我不考慮叉袍，我要是在市區(qū)玩始锚，我還想去那么遠(yuǎn)的地方？明顯不合理喳逛，所以我需要的是真的熱點(diǎn)區(qū)域瞧捌，也就是第二幅的那樣，所以又要重新洗一下數(shù)據(jù)了润文，把離散點(diǎn)也就是噪聲去掉姐呐！

燒糊了--重新來(lái)

雖然整體上來(lái)說(shuō)，這個(gè)算法沒(méi)錯(cuò)典蝌，但是如果對(duì)具體問(wèn)題曙砂，比如說(shuō)，我就想知道哈爾濱市內(nèi)有什么比較好吃的骏掀，我懶得動(dòng)鸠澈，不會(huì)跑到江北或者更遠(yuǎn)的地方去吃，而且交通不方便砖织，所以就要對(duì)經(jīng)緯度集合進(jìn)行切割款侵，我找了合適返回，規(guī)定為經(jīng)度范圍126.56571_{126.706807侧纯，緯度返回45.706283}45.802307新锈，主程序中添加LockHotArea子函數(shù)，進(jìn)行再一次過(guò)濾即可眶熬。

def LockHotArea(location):
    HotArea = []
    for i in location:
        i = re.sub("\n",",",i)
        i = re.split(",",i)

        if (i[1]>"126.56571" and i[1]<"126.706807") and (i[2]>"45.706283" and i[2]<"45.802307"):
            HotArea.append(i)
        else:
            print "far away from hotArea",i

    return HotArea

之后步驟重回前面的妹笆，最后的效果就是這樣的

HotArea

回鍋肉--再分析數(shù)據(jù)

這回應(yīng)該沒(méi)有問(wèn)題了，所以開(kāi)始分析圖吧

聚合點(diǎn)--地圖自帶功能

• 這里上20個(gè)聚類(lèi)點(diǎn)的情況

熱力&cluster20

聚合&cluster20

• 可以看出娜氏，聚類(lèi)點(diǎn)的分布基本都在熱點(diǎn)區(qū)域拳缠，說(shuō)明比較符合情況，但是K的值并不很能確定贸弥，需要多次試驗(yàn)k值

熱力&散點(diǎn)&cluster15

• cluster15窟坐，這些點(diǎn)就有點(diǎn)尷尬了。能說(shuō)明什么绵疲？可能是住宿的最佳點(diǎn)把哲鸳，因?yàn)殡x各個(gè)好吃的距離是比較近的，這本來(lái)就是kmeans的核心盔憨。

熱力&散點(diǎn)&cluster10

• cluster10的時(shí)候徙菠，聚類(lèi)點(diǎn)就開(kāi)始有點(diǎn)夸張了，雖說(shuō)很多仍在熱力分布上郁岩，但是婿奔，有一些明顯不在熱力輻射返回內(nèi)缺狠，但對(duì)于能吃遍各個(gè)周?chē)朗车娜藖?lái)說(shuō)，仍然值得參考（這里不涉及代步工具）

熱力&散點(diǎn)&cluster5

• cluster5的時(shí)候萍摊，只能算是顧全大局式的選擇離熱點(diǎn)最近的點(diǎn)了，好壞需要自己判斷

回鍋肉上的一顆花椒--單點(diǎn)分析

這里我把24個(gè)TOP數(shù)據(jù)都擺上了圖層记餐，可以清晰的看出這些好吃的都分布在哪驮樊，這里放上幾張示范圖，具體自己想看的片酝，可以自己吃貨的地圖自己定位

以包子TOP為例

包子分布

• 把包子的經(jīng)緯度單獨(dú)拿出來(lái)做聚類(lèi)，分析出挖腰，喜歡吃包子的人住在哪才能更方便的吃上包子雕沿！

這里寫(xiě)圖片描述

• 從上面的聚類(lèi)點(diǎn)也可以看出，道外區(qū)是最多包子鋪的猴仑，張包鋪我也去吃過(guò)审轮，排骨包里面真的有排骨！差點(diǎn)沒(méi)把牙磕壞了辽俗，疾渣，，崖飘，跑題了榴捡，距離更多包子鋪?zhàn)罱狞c(diǎn)已經(jīng)給出，和輻射區(qū)范圍接近朱浴，這里更適合做中轉(zhuǎn)站吊圾，因?yàn)槿ジ鱾€(gè)包子鋪都是最近的！

緩沖取輻射

• 可以從圖像自帶緩沖區(qū)看重疊部分翰蠢，看包子熱點(diǎn)

所以綜上所述项乒，喜歡吃包子的吃貨，可以選擇以上的點(diǎn)當(dāng)做中轉(zhuǎn)點(diǎn)或者住宿點(diǎn)梁沧，到哪個(gè)包子鋪都是比較近的檀何，但是！Ｍ⒅А频鉴！誰(shuí)會(huì)一天三餐加夜宵都吃包子？酥泞？開(kāi)個(gè)玩笑哈

更多組合

喜歡吃什么砚殿，任君挑選，比如說(shuō)芝囤，你又喜歡吃餃子又喜歡串串香似炎，沒(méi)問(wèn)題辛萍，看看他們都在哪。聚類(lèi)我沒(méi)做羡藐，懶贩毕。和做包子聚類(lèi)點(diǎn)類(lèi)似，先把餃子的經(jīng)緯度和串串香經(jīng)緯度挑出來(lái)，再進(jìn)行聚類(lèi)即可

餃子&串串香

• 再比如包子和扒肉你都喜歡活箕，那么看看重合區(qū)携丁，不愧是老道外，真的是美食天堂白惶稹！

包子&扒肉

• 人氣最高&口味最好~這個(gè)集绰，額规辱，我一家都沒(méi)去過(guò)。栽燕。罕袋。。不做分析碍岔。浴讯。。

人氣最高&口味最好

• 當(dāng)然蔼啦，你還有不可兼得的燒烤&酸菜榆纽，哭

燒烤&酸菜

圖就到這，更多美食大家自己去發(fā)現(xiàn)询吴，點(diǎn)開(kāi)圖層就可以了~

Pay Atterntion

1.再進(jìn)行對(duì)熱點(diǎn)區(qū)域的切割的時(shí)候掠河，需要比較閾值，出現(xiàn)了錯(cuò)誤猛计，測(cè)試發(fā)現(xiàn)原來(lái)類(lèi)型錯(cuò)誤唠摹，比較錯(cuò)誤，如下演示奉瘤。

str1 = "250"
str2 = 250
print str1 > "300"  # False
print str1 > 300 # True
print str2 > "100" # False
print str2 > 100 # True

2.調(diào)用API經(jīng)度誤差的問(wèn)題勾拉，具體演示這里，誤差我看了一下盗温。能調(diào)用的API精度誤差大概百米多藕赞，沒(méi)辦法，能免費(fèi)調(diào)用的API大家都懂的卖局。

誤差圖片

當(dāng)然斧蜕，很多都是比較準(zhǔn)確的，比如這些砚偶。

對(duì)比圖

總結(jié)

最終住哪批销，這不是我能決定的洒闸，主要還是靠交通，住宿環(huán)境和個(gè)人心情均芽，推薦住在地鐵附近丘逸，吃貨可以選擇在中央大街附近，最繁華掀宋，也里老道外很近深纲，好吃的很多~誒，等等劲妙，我不是在做學(xué)術(shù)研究么湃鹊，怎么成旅游節(jié)目了。镣奋。

這里寫(xiě)圖片描述

附錄--代碼

這是核心程序涛舍，調(diào)用的API_get子程序太長(zhǎng)了，請(qǐng)參考經(jīng)緯度地址轉(zhuǎn)換的方法集合（Python描述）或者在這里進(jìn)行下載使用源代碼集合

# -*- coding: utf-8 -*-
# Author：哈士奇說(shuō)喵
import re
import API_get

#寫(xiě)入txt操作子函數(shù)
def write2txt(file,txtname):

        f = open(txtname,'a')
        f.write(file)
        f.write("\n")
        f.close()
        # please use this with try except/finall f.close()


f = open("C:\\Users\\MrLevo\\PycharmProjects\\test\\KmeansEat.txt","r")
lines = f.readlines()
eatlocation = []
i = 0
# 清洗+轉(zhuǎn)換經(jīng)緯度
for line in lines:
    line = re.sub("\n"," ",line)
    line = re.sub(" +"," ",line)
    line = re.split(" ",line)
    try:
        line_shopname = line[1].strip()
        try:

            line = line[2]+line[3]
            #print line
            line = "哈爾濱市"+line
            line =line.strip()

            try:
                lat_lng,lng_latWithCommon = API_get.getLocation_xml(line)
                shopWithLocation= "%s,%s"%(line_shopname,lng_latWithCommon)
                print shopWithLocation
                eatlocation.append(shopWithLocation)
                #write2txt(lat_lng,"eatOnlyLocation.txt")
            except:
                print "failed %s"%line
                i +=1
        except:
            line = line[2]
            line = "哈爾濱市"+line
            line =line.strip()

            try:
                lat_lng,lng_latWithCommon = API_get.getLocation_xml(line)
                shopWithLocation = "%s,%s"%(line_shopname,lng_latWithCommon)
                print shopWithLocation
                eatlocation.append(shopWithLocation)
                #write2txt(lat_lng,"eatOnlyLocation.txt")
            except:
                print "failed %s"%line
                i +=1
    except:
        pass

print "failed!%d"%i

# 清洗熱點(diǎn)
def LockHotArea(location):
    HotArea = []
    for i in location:
        i = re.sub("\n",",",i)
        i = re.split(",",i)

        if (i[1]>"126.56571" and i[1]<"126.706807") and (i[2]>"45.706283" and i[2]<"45.802307"):
            HotArea.append(i)
        else:
            print "far away from hotArea",i

    return HotArea

HotArea = LockHotArea(eatlocation)

#寫(xiě)入數(shù)據(jù)
for i in HotArea:
    rebuild = "%s,%s,%s"%(i[0],i[1],i[2])
    write2txt(rebuild,"HotAreaWithCommon.txt")

本文已結(jié)束唆途，以下是同類(lèi)型樣本，我測(cè)試著玩的

跑題項(xiàng)

本來(lái)想著分析一下GDP TOP
100的城市之間的關(guān)系掸驱，看看能不能用聚類(lèi)的方法肛搬，得出什么有意義的答案，可是毕贼，我覺(jué)得并沒(méi)有什么啊温赔，難道說(shuō)，找個(gè)開(kāi)會(huì)的地方鬼癣，能夠離各大經(jīng)濟(jì)強(qiáng)市距離最近的陶贼？貌似其余沒(méi)什么用啊--不行，我不甘心白做數(shù)據(jù)和圖待秃！

首先來(lái)個(gè)動(dòng)圖拜秧！分別是10，20章郁，40個(gè)聚類(lèi)點(diǎn)形成的熱力輻射圖

這里寫(xiě)圖片描述

數(shù)據(jù)來(lái)源

上一篇中經(jīng)緯度地址轉(zhuǎn)換方法集合中已經(jīng)將GDP TOP100的城市爬下來(lái)并且已經(jīng)轉(zhuǎn)換好數(shù)據(jù)保存好了枉氮，直接拿來(lái)批量放在地圖上即可

試著分析

GDP排名城市顯示

GDP排名城市

聚合點(diǎn)

其中烏魯木齊市排名，因?yàn)槭菃吸c(diǎn)暖庄，聊替，，培廓，其余的都是城市匯集個(gè)數(shù)

熱力圖顯示

輻射范圍

經(jīng)濟(jì)盲我就不斯以揣測(cè)了惹悄，沿海地區(qū)百花齊放，內(nèi)陸地區(qū)單點(diǎn)開(kāi)花肩钠？泣港？

請(qǐng)樓下補(bǔ)充進(jìn)

聚類(lèi)分析

Cluster20

藍(lán)色為聚類(lèi)點(diǎn)暂殖，紅色為T(mén)OP10強(qiáng)市，黃色是剩下的TOP90城市爷速。請(qǐng)告訴我央星！能看出啥，能看出啥惫东？莉给？？廉沮？颓遏？
（嚴(yán)肅臉）各大經(jīng)濟(jì)城市召開(kāi)峰會(huì)，誰(shuí)也不服誰(shuí)滞时，到哪開(kāi)會(huì)呢叁幢？好的，就找離各個(gè)經(jīng)濟(jì)強(qiáng)市都近的中間點(diǎn)把坪稽，對(duì)大家還公平曼玩，還可以拉動(dòng)下開(kāi)會(huì)城市GDP。哈哈哈

你怎么看

最后

至于各個(gè)省的分別占都少窒百，我沒(méi)有在做下去黍判，覺(jué)得意義不是很大，當(dāng)做練手了篙梢。

致謝

@MrLevo520--機(jī)器學(xué)習(xí)之K-means算法（Python描述）基礎(chǔ)
@MrLevo520--經(jīng)緯度地址轉(zhuǎn)換的方法集合（Python描述）
哈爾濱美食最新榜出爐顷帖，史上最強(qiáng)300家美食滿(mǎn)足你各種挑剔！
偽解決Selenium中調(diào)用PhantomJS無(wú)法模擬點(diǎn)擊(click)操作