數(shù)據(jù)采集與應(yīng)用

這些年由于工作的關(guān)系,經(jīng)常需要采集數(shù)據(jù)和做一些簡單的數(shù)據(jù)分析,互聯(lián)網(wǎng)上有很多的數(shù)據(jù)是公開的务豺,如果我們對其進(jìn)行采集和統(tǒng)計,就可以拿到我們想要的嗦明,然后你可以對這些數(shù)據(jù)和結(jié)果進(jìn)行應(yīng)用笼沥。

我們可以采集電商平臺的數(shù)據(jù),然后進(jìn)行統(tǒng)計娶牌,比如跟蹤一個店鋪的銷售數(shù)據(jù)等奔浅,對于賣家可能想要分析一個產(chǎn)品分類的數(shù)據(jù),對于站長可能只是想對采集的商品數(shù)據(jù)做一下聚合裙戏,然后重新發(fā)布到自己的站點(diǎn)乘凸,對于導(dǎo)購站長,可能想收集電商平臺的優(yōu)惠商品累榜,同款商品等信息营勤,用于服務(wù)自己的用戶。

這些年我做了不少電商平臺的數(shù)據(jù)采集壹罚,也實現(xiàn)了一些跟電商有關(guān)的數(shù)據(jù)分析工具葛作,在后面的文章中,我也會介紹一些電商平臺數(shù)據(jù)的采集方法猖凛,電商數(shù)據(jù)的分析與應(yīng)用赂蠢。

對于站長來說,可能更關(guān)心一些SEO相關(guān)的數(shù)據(jù)辨泳,那么我們可以抓取關(guān)鍵詞虱岂,排名等數(shù)據(jù),用這些數(shù)據(jù)來輔助我們進(jìn)行網(wǎng)站建設(shè)菠红,比如抓取百度鳳巢的關(guān)鍵詞數(shù)據(jù)第岖,抓取百度和360關(guān)鍵詞的排名等。

我們可以簡單實現(xiàn)一個系統(tǒng)试溯,這個系統(tǒng)接受一個域名列表蔑滓,然后系統(tǒng)每隔一段時間,可能是每小時或者每天遇绞,就去查詢一下這些域名在百度键袱、360的收錄數(shù)據(jù),然后把這些數(shù)據(jù)記錄下來摹闽,并畫成一個數(shù)據(jù)曲線蹄咖。當(dāng)然你也可以實現(xiàn)一個關(guān)鍵詞排名監(jiān)控系統(tǒng),其實這些都是相通的付鹿,主要就是數(shù)據(jù)采集和記錄罷了澜汤。

除了上面舉例的電商數(shù)據(jù)铝量、站長數(shù)據(jù),你還可以采集股票數(shù)據(jù)银亲、歌曲數(shù)據(jù)、電影數(shù)據(jù)纽匙、團(tuán)購數(shù)據(jù)务蝠、外賣數(shù)據(jù)等等,這取決于你想要用這些數(shù)據(jù)來做些什么烛缔。

至于數(shù)據(jù)的分析馏段,這個可以借助一些語言和開源的程序來進(jìn)行分析,我更喜歡用python來寫采集工具和做數(shù)據(jù)分析践瓷,用Mongodb來做數(shù)據(jù)存儲院喜,也用Eleasticsearch來存儲和檢索數(shù)據(jù),用kibana來做數(shù)據(jù)挖掘晕翠。

對于用什么語言和工具來做數(shù)據(jù)研究喷舀,這并不是固定的,完全是根據(jù)自己的喜好和項目的需求上淋肾。

在后面的文章里我會通過一些例子來介紹我對數(shù)據(jù)的一些采集和應(yīng)用硫麻。

這個網(wǎng)站并不是什么高深的大數(shù)據(jù)分享,都是一些簡單的數(shù)據(jù)采集和分析樊卓,但我們對于大部份人來說已經(jīng)足夠了拿愧。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市碌尔,隨后出現(xiàn)的幾起案子浇辜,更是在濱河造成了極大的恐慌,老刑警劉巖唾戚,帶你破解...
    沈念sama閱讀 211,042評論 6 490
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件柳洋,死亡現(xiàn)場離奇詭異,居然都是意外死亡颈走,警方通過查閱死者的電腦和手機(jī)膳灶,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 89,996評論 2 384
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來立由,“玉大人轧钓,你說我怎么就攤上這事∪衲ぃ” “怎么了毕箍?”我有些...
    開封第一講書人閱讀 156,674評論 0 345
  • 文/不壞的土叔 我叫張陵,是天一觀的道長道盏。 經(jīng)常有香客問我而柑,道長文捶,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 56,340評論 1 283
  • 正文 為了忘掉前任媒咳,我火速辦了婚禮粹排,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘涩澡。我一直安慰自己顽耳,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,404評論 5 384
  • 文/花漫 我一把揭開白布妙同。 她就那樣靜靜地躺著射富,像睡著了一般。 火紅的嫁衣襯著肌膚如雪粥帚。 梳的紋絲不亂的頭發(fā)上胰耗,一...
    開封第一講書人閱讀 49,749評論 1 289
  • 那天,我揣著相機(jī)與錄音芒涡,去河邊找鬼柴灯。 笑死,一個胖子當(dāng)著我的面吹牛费尽,可吹牛的內(nèi)容都是我干的弛槐。 我是一名探鬼主播,決...
    沈念sama閱讀 38,902評論 3 405
  • 文/蒼蘭香墨 我猛地睜開眼依啰,長吁一口氣:“原來是場噩夢啊……” “哼乎串!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起速警,我...
    開封第一講書人閱讀 37,662評論 0 266
  • 序言:老撾萬榮一對情侶失蹤叹誉,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后闷旧,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體长豁,經(jīng)...
    沈念sama閱讀 44,110評論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,451評論 2 325
  • 正文 我和宋清朗相戀三年忙灼,在試婚紗的時候發(fā)現(xiàn)自己被綠了匠襟。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 38,577評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡该园,死狀恐怖酸舍,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情里初,我是刑警寧澤啃勉,帶...
    沈念sama閱讀 34,258評論 4 328
  • 正文 年R本政府宣布,位于F島的核電站双妨,受9級特大地震影響淮阐,放射性物質(zhì)發(fā)生泄漏叮阅。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,848評論 3 312
  • 文/蒙蒙 一泣特、第九天 我趴在偏房一處隱蔽的房頂上張望浩姥。 院中可真熱鬧,春花似錦状您、人聲如沸及刻。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,726評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至暑劝,卻和暖如春骆莹,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背担猛。 一陣腳步聲響...
    開封第一講書人閱讀 31,952評論 1 264
  • 我被黑心中介騙來泰國打工幕垦, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人傅联。 一個月前我還...
    沈念sama閱讀 46,271評論 2 360
  • 正文 我出身青樓先改,卻偏偏與公主長得像,于是被迫代替她去往敵國和親蒸走。 傳聞我的和親對象是個殘疾皇子仇奶,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,452評論 2 348

推薦閱讀更多精彩內(nèi)容