淘寶天貓商品信息采集

采集淘寶和天貓商品的詳情有多種方式泉瞻,可以從單品詳情頁采集被济、從PC端的ajax接口采败徊、從開放平臺的API接口采。不同的來源數(shù)據(jù)結構是不同的质涛,能采集到的信息也有所差別。

從淘寶開放平臺的API采的話掰担,目前來講汇陆,比較容易申請到淘客API權限,但是淘客權限的API能采集到的信息是很少的带饱≌贝可以參考API文檔:http://open.taobao.com/docs/api.htm?apiId=24518

從API采有一個好處,就是在配額里勺疼,不用考慮被封的問題教寂。從網(wǎng)頁或者從ajax接口采的話,就得考慮采集頻率执庐,很容易就會觸發(fā)防采集機制酪耕。

從網(wǎng)頁采的話,由于淘寶天貓用了很多異步加載轨淌,所以需要解析JS才能得到最終的源碼迂烁,才能拿到你想要的數(shù)據(jù),這個可以考慮在軟件中嵌入瀏覽器猿诸,或者使用phantomjs來解決婚被。

從ajax接口采是目前采集淘寶和天貓詳情的最好方式,如何去找出這些接口梳虽?主要就是依靠抓包的方法址芯,本文就先不講如何抓包,直接給大家一些目前可以用的接口窜觉。

http://hws.m.taobao.com/cache/wdetail/5.0/?id=549084765841

這個接口直接傳入一個商品ID谷炸,就可以獲得該商品大量的信息,不僅有商品基本信息禀挫,還有該商品對應的店鋪信息旬陡。

通過這個接口可以獲取到商品標題、價格语婴、圖片描孟、屬性驶睦、店鋪信息、評論等匿醒。也可以通過該接口來驗證商品是否在售场航。美中不足是無法獲取30天銷量。

https://rate.taobao.com/detailCommon.htm?auctionNumId=549084765841

這個接口傳入一個商品ID廉羔,可以返回商品的評價標簽溉痢,所謂商品的評價標簽,就是比如:快遞不錯憋他、包裝挺好孩饼、款示好看。并不是所有商品都有竹挡,有些類別的商品可能沒有這個標簽镀娶。

http://hws.m.taobao.com/cache/mtop.wdetail.getItemDescx/4.1/?data=%7B%22item_num_id%22%3A%22549084765841%22%7D

該接口傳入一個Json數(shù)據(jù),{"item_num_id":"549084765841"}此迅,返回商品描述(商品詳情)汽畴。這個json數(shù)據(jù)需要進行urlencode。

https://tui.taobao.com/recommend?itemid=549084765841&callback=detail_pine&appid=115&count=8&page=1

該接口根據(jù)傳入的商品ID耸序,返回該商品的相關商品推薦(看了又看)忍些。

還有一些接口由于穩(wěn)定性問題,就不公開了坎怪,以上的接口已經(jīng)可以根據(jù)一個商品ID罢坝,獲取很豐富的單品信息了,比較遺憾的是沒有銷量數(shù)據(jù)搅窿,不過這并不是問題嘁酿,銷量數(shù)據(jù)可以用其它的方式獲取,比如API或者網(wǎng)頁采集男应。還有就是如果我們是通過商品列表先采集的話闹司,在列表時已經(jīng)是擁有銷量信息了。獲取詳情時也就不需要再獲取了沐飘。

另外還有一些接口游桩,比如優(yōu)惠券信息,以后再分享耐朴!

這些接口可以實現(xiàn)一些應用借卧,比如通過固定頻率去采集商品價格數(shù)據(jù),然后記錄下來筛峭,就可以做出商品價格曲線铐刘,那我們就可以知道雙11大促哪些商品是真的歷史最低價。類似下面的曲線:


對于賣家影晓,可以通過這些接口來監(jiān)控競品镰吵,監(jiān)控競品是否改了標題檩禾、換了圖片、調(diào)整了價格等捡遍,再加微信提醒和短信提醒锌订,那么競爭對手的動作就一清二楚了。還別說画株,有些公司就拿這個功能在賣錢。

接下來還會分享搜索接口啦辐,店鋪接口谓传,優(yōu)惠券接口等。不局限于淘寶芹关、天貓续挟、還有其它電商平臺的接口,當然也會包括Python開源代碼侥衬!

?著作權歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末诗祸,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子轴总,更是在濱河造成了極大的恐慌直颅,老刑警劉巖,帶你破解...
    沈念sama閱讀 211,042評論 6 490
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件怀樟,死亡現(xiàn)場離奇詭異功偿,居然都是意外死亡,警方通過查閱死者的電腦和手機往堡,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 89,996評論 2 384
  • 文/潘曉璐 我一進店門械荷,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人虑灰,你說我怎么就攤上這事吨瞎。” “怎么了穆咐?”我有些...
    開封第一講書人閱讀 156,674評論 0 345
  • 文/不壞的土叔 我叫張陵颤诀,是天一觀的道長。 經(jīng)常有香客問我庸娱,道長着绊,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 56,340評論 1 283
  • 正文 為了忘掉前任熟尉,我火速辦了婚禮归露,結果婚禮上,老公的妹妹穿的比我還像新娘斤儿。我一直安慰自己剧包,他們只是感情好恐锦,可當我...
    茶點故事閱讀 65,404評論 5 384
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著疆液,像睡著了一般一铅。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上堕油,一...
    開封第一講書人閱讀 49,749評論 1 289
  • 那天潘飘,我揣著相機與錄音,去河邊找鬼掉缺。 笑死卜录,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的眶明。 我是一名探鬼主播艰毒,決...
    沈念sama閱讀 38,902評論 3 405
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼搜囱!你這毒婦竟也來了丑瞧?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 37,662評論 0 266
  • 序言:老撾萬榮一對情侶失蹤蜀肘,失蹤者是張志新(化名)和其女友劉穎绊汹,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體幌缝,經(jīng)...
    沈念sama閱讀 44,110評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡灸促,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,451評論 2 325
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了涵卵。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片浴栽。...
    茶點故事閱讀 38,577評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖轿偎,靈堂內(nèi)的尸體忽然破棺而出典鸡,到底是詐尸還是另有隱情,我是刑警寧澤坏晦,帶...
    沈念sama閱讀 34,258評論 4 328
  • 正文 年R本政府宣布萝玷,位于F島的核電站,受9級特大地震影響昆婿,放射性物質(zhì)發(fā)生泄漏球碉。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 39,848評論 3 312
  • 文/蒙蒙 一仓蛆、第九天 我趴在偏房一處隱蔽的房頂上張望睁冬。 院中可真熱鬧,春花似錦看疙、人聲如沸豆拨。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,726評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽施禾。三九已至脚线,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間弥搞,已是汗流浹背邮绿。 一陣腳步聲響...
    開封第一講書人閱讀 31,952評論 1 264
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留拓巧,地道東北人斯碌。 一個月前我還...
    沈念sama閱讀 46,271評論 2 360
  • 正文 我出身青樓,卻偏偏與公主長得像肛度,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子投慈,可洞房花燭夜當晚...
    茶點故事閱讀 43,452評論 2 348

推薦閱讀更多精彩內(nèi)容