最近需要分析頁面流量來源继榆,可惜AE平臺的數(shù)據(jù)不能下載巾表,只能自己動手了
方法一, 手動復(fù)制
這個方法以前常用汁掠,可是一看有10來頁,寶寶心里苦呀集币,何況也不是只做一次考阱,以后還要定期做的。直接放棄
方法二鞠苟,用python模擬登錄獲取數(shù)據(jù)
這個方法顯得高大上乞榨,應(yīng)該是一個靠譜的方法,可是AE見鬼的各種加密碼參數(shù)当娱,實在是不知道怎么分析呀吃既,以后有時間慢慢猜了。
方法三跨细,用js結(jié)合Chrome Console來直接獲取數(shù)據(jù)
這個方法獲得了數(shù)據(jù)還要手工加工下鹦倚,眼下不知道Chrome Console能不能直接殷數(shù)據(jù)存儲到本地,哪們大神要是有解決方法冀惭,不吝賜教震叙,感激不盡呀。
話不多說散休,先上代碼:
// 計數(shù)
var counter = 0;
// 獲取數(shù)據(jù)函數(shù)
function getData(){
// 取得所有tr標簽
var tr = document.querySelectorAll(".oui-table-tbodyTr");
for (var tr_info of tr) {
// 取得tr標簽內(nèi)的td標簽
var td = tr_info.querySelectorAll(".oui-table-td");
// 計數(shù)多少條tr
counter += 1
// td內(nèi)容輸出到console
console.log(
td[0].innerText,
td[1].innerText,
td[2].innerText,
td[3].innerText,
td[4].innerText,
td[5].innerText,
td[6].innerText
);
}
}
// 獲取數(shù)據(jù)并翻頁
for(var i=0; i<10; i++){
// 獲取數(shù)據(jù)
getData();
// 取得下一頁
var next = document.querySelector(".oui-pagination-next");
if(next){
// 翻頁
next.click();
}
}
// 輸出總數(shù)多少條捐友,可以核對下,看看有沒有錯誤
console.log("總數(shù)是:"+counter)
下面來講解方法溃槐,首頁進入數(shù)據(jù)頁面:
AE數(shù)據(jù)頁面.png
這就是數(shù)據(jù)頁面了匣砖,可以看到數(shù)據(jù)是以表格形式展示的。
再看看下面的頁數(shù):
頁碼.png
10頁呀昏滴,要是手工猴鲫,還不得麻煩死呀,還好我已經(jīng)直接放棄了這個方法谣殊。
按ctrl+shift+c探測元素的代碼
<td class="oui-table-td oui-table-col-0 oui-table-col-pageAddr " style="text-align: left;">/ru.aliexpress.com/item/*/32*41.html</td>
, 知道了我們要的元素是這td里面拂共。而<td>又是在<tr>里面。一行有8列姻几。最后一列無用宜狐,因此是7列。
再看看翻頁的代碼
<span class="oui-pagination-next oui-link-third"><span>下一頁</span><i class="oui-icon oui-icon-angle-right"></i></span>
至此大概要用的線索已經(jīng)明白了蛇捌。
直接寫代碼了抚恒,代碼解釋直接看。
把Chrome Console打開络拌,
Chrome Console.png
就可以在里面一條一條寫了俭驮,很方便,直接出效果春贸,調(diào)試也快混萝。
不過這次內(nèi)容有不少遗遵,直接寫成代碼段存下來此疹,下次可以直接用臼膏。打開
Chrome Sources.png
新建一個
新建.png
輸入代碼,按ctrl+enter執(zhí)行:
代碼框.png
下面看看數(shù)據(jù)結(jié)果怎么處理萍聊。
執(zhí)行后崭倘,我們得到的結(jié)果是這樣的:
輸出結(jié)果.png
鼠標右鍵屯蹦,點擊save as:
存儲結(jié)果.png
我們得到了一個log文件,我們用sublime text3打開绳姨,當然其他的軟件打開也行,我習慣用這個阔挠。
sublime text3處理.png
可以看到飘庄,儲存下來的數(shù)據(jù)里面還有我們不需要的內(nèi)容,這個用st3可以很好的處理掉购撼。選中不需要的內(nèi)容跪削,如"流量來源數(shù)據(jù)整理:14",按alt+F3可以一次選中所有的這組內(nèi)容。直接刪除掉迂求。
到這里基本上都搞定了碾盐,log文件可以直接改后綴到csv文件,到時要怎么分析就是下一個問題了揩局。