電商數(shù)據(jù)分析平臺(tái)

前言

現(xiàn)在發(fā)文章拖得很慢,加上簡(jiǎn)書這個(gè)月禁止發(fā)文取胎,過了半個(gè)月才寫了第二篇《打造數(shù)據(jù)蛙電商數(shù)據(jù)分析平臺(tái)》小結(jié)展哭。無奈自己是一個(gè)業(yè)務(wù)猿湃窍,每天被公司的產(chǎn)品大人虐的死去活來,上周又病了一下休息了一周匪傍,請(qǐng)大家見諒您市。

最近看到數(shù)據(jù)蛙公眾號(hào)后臺(tái)留言,有朋友留言說道近兩年役衡,傳統(tǒng)電商流量紅利已經(jīng)越來越少茵休,短視頻和直播成為新的帶貨模式。在今年618期間手蝎,李佳琦在淘寶直播再度刷新戰(zhàn)績(jī):一場(chǎng)直播賣出15萬支唇釉榕莺;3分鐘內(nèi)賣出了5000單資生堂紅腰子;1分鐘售罄柳宗理鑄鐵鍋4萬口棵介。只要在社交媒體上隨便一搜钉鸯,就能搜到李佳琦帶貨能力有多強(qiáng),只要李佳琦他說出‘買它’兩個(gè)字邮辽,有的網(wǎng)友就像被附體一樣唠雕,看啥想買啥。



還看到有的朋友留言說剛?cè)胄须娚虜?shù)據(jù)分析不會(huì)處理數(shù)據(jù)吨述,首先岩睁,我們要知道什么叫數(shù)據(jù)分析。其實(shí)從數(shù)據(jù)到信息的這個(gè)過程揣云,就是數(shù)據(jù)分析捕儒。因?yàn)閿?shù)據(jù)本身并沒有什么價(jià)值,有價(jià)值的是從數(shù)據(jù)中提取出來的信息灵再。

為了讓數(shù)據(jù)蛙社區(qū)同學(xué)更好的學(xué)習(xí)數(shù)據(jù)分析肋层,目前正在做一個(gè)電商數(shù)據(jù)分析平臺(tái)亿笤,只作學(xué)習(xí)用翎迁。

一 規(guī)劃 平臺(tái)介紹

在電商平臺(tái)購(gòu)物時(shí)

會(huì)不會(huì)有以下的情況:

現(xiàn)在通常消費(fèi)者會(huì)花大量的時(shí)間在商品之間、電商平臺(tái)之間的來回比價(jià)净薛,消費(fèi)者都希望能買到價(jià)格劃算的筍貨汪榔,和自己的親朋好友攀比誰買的東西更優(yōu)惠劃算。因?yàn)樵谶@個(gè)時(shí)代沒有人會(huì)拒絕最劃算的價(jià)格肃拜。

比如雙11這類的電商重大節(jié)日時(shí)痴腌,即便價(jià)格跟對(duì)手僅僅相差幾元錢,也有可能損失一筆訂單燃领。

電商平臺(tái)各種各樣的折扣信息士聪,經(jīng)常性不能選擇關(guān)注指定商品。

想知道整個(gè)某寶上食品/衣服類目實(shí)時(shí)折扣力度最大的商品猛蔽。

這是一個(gè)基于python爬蟲的實(shí)時(shí)價(jià)格監(jiān)控網(wǎng)站

我們打造一個(gè)類似這樣的價(jià)格監(jiān)控網(wǎng)站


實(shí)時(shí)價(jià)格監(jiān)控網(wǎng)站-圖片來自zhihu

添加商品-圖片來自zhihu

發(fā)送郵件功能-圖片來自zhihu

二 規(guī)劃 網(wǎng)站功能介紹(后續(xù)還會(huì)添加)

  • 實(shí)時(shí)采集電商商品價(jià)格
  • 建立和管理比價(jià)關(guān)系
  • 進(jìn)行比價(jià)運(yùn)算
  • 用戶通過瀏覽器登錄該網(wǎng)站
  • 用戶可設(shè)定email郵件通知
  • EXCEL報(bào)表輸出

三 規(guī)劃 網(wǎng)站架構(gòu)

爬蟲作為監(jiān)控手段剥悟,監(jiān)控商品的實(shí)時(shí)價(jià)格

Flask+ Scrapy爬蟲框架+代理池 + 數(shù)據(jù)庫(kù)

架構(gòu)圖
  • 采用Scrapy分布式爬蟲框架爬取整個(gè)品類的商品
  • 采用代理池提高整體采集效率
  • Web端:后臺(tái)會(huì)選擇網(wǎng)上推薦的Flask灵寺。
  • Flask中,涉及到使用Flask-Admin区岗,F(xiàn)lask-Login等組件略板,搭建用戶注冊(cè)登錄系統(tǒng)。

四 規(guī)劃 電商公開數(shù)據(jù)

持續(xù)地自動(dòng)化地從(看圖片)某寶慈缔、某貓叮称、某京東、某品會(huì)藐鹤、某易購(gòu)瓤檐、某當(dāng)?shù)染W(wǎng)站上采集商品信息,將下述信息從網(wǎng)頁(yè)上提取出來:


五 規(guī)劃 數(shù)據(jù)呈現(xiàn)

六 規(guī)劃 未來

這個(gè)項(xiàng)目正在和團(tuán)隊(duì)的小伙伴努力開發(fā)中娱节,我也會(huì)一邊開發(fā)一邊總結(jié)距帅。

環(huán)境搭建篇 2019-08-29 在此省略
(有興趣的童鞋可以點(diǎn)擊鏈接http://www.reibang.com/p/6ab0c0196a55
看看上一期的文章,有環(huán)境搭建篇看)

雛形篇

大家好括堤,今天對(duì)于這個(gè)項(xiàng)目搭建進(jìn)行一個(gè)小結(jié)碌秸,最近在刷vue的官方文檔了。在刷過文檔之后悄窃,我就想著讥电,真實(shí)的項(xiàng)目是怎么樣子的呢,那么現(xiàn)在電商數(shù)據(jù)分析平臺(tái)已經(jīng)做出了簡(jiǎn)單的一個(gè)雛形

什么是Vue?

漸進(jìn)式JavaScript框架優(yōu)點(diǎn):
1 體積小 壓縮后 33K
2 更高的運(yùn)行效率
3 雙向數(shù)據(jù)綁定
4 生態(tài)豐富轧抗、學(xué)習(xí)成本低
5 對(duì)初學(xué)者友好恩敌,入門容易,資料多?

大家可以看下方圖片:

登陸

這個(gè)空白頁(yè)面畫上兩個(gè)input的框横媚,一個(gè)是登錄賬號(hào)纠炮,一個(gè)是登錄密碼。一個(gè)記住密碼的框框灯蝴,再放置一個(gè)登錄按鈕恢口。我們將登錄按鈕上綁上click事件,點(diǎn)擊登錄之后向服務(wù)端提交賬號(hào)和密碼進(jìn)行驗(yàn)證穷躁。 這就是一個(gè)簡(jiǎn)單的登錄頁(yè)面耕肩。


這兩個(gè)頁(yè)面是用于展示每個(gè)電商平臺(tái)的數(shù)據(jù)和可視化,因?yàn)閿?shù)據(jù)那邊還在準(zhǔn)備问潭,現(xiàn)在暫時(shí)還沒數(shù)據(jù)看到猿诸,我們爭(zhēng)取本月讓這個(gè)項(xiàng)目上線

雛形篇的東西也差不多講完了,這里小編只是做一個(gè)簡(jiǎn)單的小結(jié)狡忙,朋友們?nèi)绻惺裁聪敕ɑ蛘呓ㄗh歡迎去微信社群找群主凱旋聊聊說說梳虽,或者在公眾號(hào)留言
謝謝大家觀看!

添加公眾號(hào)【數(shù)據(jù)蛙DataFrog】灾茁,加入學(xué)習(xí)交流群窜觉,我們一起學(xué)習(xí)共進(jìn)步是复,2019齊加油
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市竖螃,隨后出現(xiàn)的幾起案子淑廊,更是在濱河造成了極大的恐慌,老刑警劉巖特咆,帶你破解...
    沈念sama閱讀 216,997評(píng)論 6 502
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件季惩,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡腻格,警方通過查閱死者的電腦和手機(jī)画拾,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,603評(píng)論 3 392
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來菜职,“玉大人青抛,你說我怎么就攤上這事〕旰耍” “怎么了蜜另?”我有些...
    開封第一講書人閱讀 163,359評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)嫡意。 經(jīng)常有香客問我举瑰,道長(zhǎng),這世上最難降的妖魔是什么蔬螟? 我笑而不...
    開封第一講書人閱讀 58,309評(píng)論 1 292
  • 正文 為了忘掉前任此迅,我火速辦了婚禮,結(jié)果婚禮上旧巾,老公的妹妹穿的比我還像新娘耸序。我一直安慰自己,他們只是感情好鲁猩,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,346評(píng)論 6 390
  • 文/花漫 我一把揭開白布坎怪。 她就那樣靜靜地躺著,像睡著了一般绳匀。 火紅的嫁衣襯著肌膚如雪芋忿。 梳的紋絲不亂的頭發(fā)上炸客,一...
    開封第一講書人閱讀 51,258評(píng)論 1 300
  • 那天疾棵,我揣著相機(jī)與錄音,去河邊找鬼痹仙。 笑死是尔,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的开仰。 我是一名探鬼主播拟枚,決...
    沈念sama閱讀 40,122評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼薪铜,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來了恩溅?” 一聲冷哼從身側(cè)響起隔箍,我...
    開封第一講書人閱讀 38,970評(píng)論 0 275
  • 序言:老撾萬榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎脚乡,沒想到半個(gè)月后蜒滩,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,403評(píng)論 1 313
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡奶稠,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,596評(píng)論 3 334
  • 正文 我和宋清朗相戀三年俯艰,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片锌订。...
    茶點(diǎn)故事閱讀 39,769評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡竹握,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出辆飘,到底是詐尸還是另有隱情啦辐,我是刑警寧澤,帶...
    沈念sama閱讀 35,464評(píng)論 5 344
  • 正文 年R本政府宣布蜈项,位于F島的核電站昧甘,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏战得。R本人自食惡果不足惜充边,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,075評(píng)論 3 327
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望常侦。 院中可真熱鬧浇冰,春花似錦、人聲如沸聋亡。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,705評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)坡倔。三九已至漂佩,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間罪塔,已是汗流浹背投蝉。 一陣腳步聲響...
    開封第一講書人閱讀 32,848評(píng)論 1 269
  • 我被黑心中介騙來泰國(guó)打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留征堪,地道東北人瘩缆。 一個(gè)月前我還...
    沈念sama閱讀 47,831評(píng)論 2 370
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像佃蚜,于是被迫代替她去往敵國(guó)和親庸娱。 傳聞我的和親對(duì)象是個(gè)殘疾皇子着绊,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,678評(píng)論 2 354

推薦閱讀更多精彩內(nèi)容