js利用Chrome Console實現(xiàn)獲取網(wǎng)頁表格數(shù)據(jù)

最近需要分析頁面流量來源继榆,可惜AE平臺的數(shù)據(jù)不能下載巾表,只能自己動手了

方法一, 手動復(fù)制

這個方法以前常用汁掠,可是一看有10來頁,寶寶心里苦呀集币,何況也不是只做一次考阱,以后還要定期做的。直接放棄

方法二鞠苟,用python模擬登錄獲取數(shù)據(jù)

這個方法顯得高大上乞榨,應(yīng)該是一個靠譜的方法,可是AE見鬼的各種加密碼參數(shù)当娱,實在是不知道怎么分析呀吃既,以后有時間慢慢猜了。

方法三跨细,用js結(jié)合Chrome Console來直接獲取數(shù)據(jù)

這個方法獲得了數(shù)據(jù)還要手工加工下鹦倚,眼下不知道Chrome Console能不能直接殷數(shù)據(jù)存儲到本地,哪們大神要是有解決方法冀惭,不吝賜教震叙,感激不盡呀。
話不多說散休,先上代碼:

// 計數(shù)
var counter = 0; 
// 獲取數(shù)據(jù)函數(shù)
function getData(){
    // 取得所有tr標簽
    var tr = document.querySelectorAll(".oui-table-tbodyTr");

    for (var tr_info of tr) {
        // 取得tr標簽內(nèi)的td標簽
        var td = tr_info.querySelectorAll(".oui-table-td");
        // 計數(shù)多少條tr
        counter += 1
        // td內(nèi)容輸出到console
        console.log(
            td[0].innerText, 
            td[1].innerText, 
            td[2].innerText,
            td[3].innerText, 
            td[4].innerText, 
            td[5].innerText,
            td[6].innerText
        );
    }

}
// 獲取數(shù)據(jù)并翻頁
for(var i=0; i<10; i++){
    // 獲取數(shù)據(jù)
    getData();
    // 取得下一頁
    var next = document.querySelector(".oui-pagination-next");
    if(next){
        // 翻頁
        next.click();
    }
}
// 輸出總數(shù)多少條捐友,可以核對下,看看有沒有錯誤
console.log("總數(shù)是:"+counter)

下面來講解方法溃槐,首頁進入數(shù)據(jù)頁面:


AE數(shù)據(jù)頁面.png

這就是數(shù)據(jù)頁面了匣砖,可以看到數(shù)據(jù)是以表格形式展示的。
再看看下面的頁數(shù):

頁碼.png

10頁呀昏滴,要是手工猴鲫,還不得麻煩死呀,還好我已經(jīng)直接放棄了這個方法谣殊。
按ctrl+shift+c探測元素的代碼<td class="oui-table-td oui-table-col-0 oui-table-col-pageAddr " style="text-align: left;">/ru.aliexpress.com/item/*/32*41.html</td>, 知道了我們要的元素是這td里面拂共。而<td>又是在<tr>里面。
一行有8列姻几。最后一列無用宜狐,因此是7列。
再看看翻頁的代碼<span class="oui-pagination-next oui-link-third"><span>下一頁</span><i class="oui-icon oui-icon-angle-right"></i></span>
至此大概要用的線索已經(jīng)明白了蛇捌。
直接寫代碼了抚恒,代碼解釋直接看。
把Chrome Console打開络拌,
Chrome Console.png

就可以在里面一條一條寫了俭驮,很方便,直接出效果春贸,調(diào)試也快混萝。
不過這次內(nèi)容有不少遗遵,直接寫成代碼段存下來此疹,下次可以直接用臼膏。打開

Chrome Sources.png

新建一個


新建.png

輸入代碼,按ctrl+enter執(zhí)行:

代碼框.png

下面看看數(shù)據(jù)結(jié)果怎么處理萍聊。
執(zhí)行后崭倘,我們得到的結(jié)果是這樣的:

輸出結(jié)果.png

鼠標右鍵屯蹦,點擊save as:

存儲結(jié)果.png

我們得到了一個log文件,我們用sublime text3打開绳姨,當然其他的軟件打開也行,我習慣用這個阔挠。

sublime text3處理.png

可以看到飘庄,儲存下來的數(shù)據(jù)里面還有我們不需要的內(nèi)容,這個用st3可以很好的處理掉购撼。選中不需要的內(nèi)容跪削,如"流量來源數(shù)據(jù)整理:14",按alt+F3可以一次選中所有的這組內(nèi)容。直接刪除掉迂求。
到這里基本上都搞定了碾盐,log文件可以直接改后綴到csv文件,到時要怎么分析就是下一個問題了揩局。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末毫玖,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子凌盯,更是在濱河造成了極大的恐慌付枫,老刑警劉巖,帶你破解...
    沈念sama閱讀 221,888評論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件驰怎,死亡現(xiàn)場離奇詭異阐滩,居然都是意外死亡,警方通過查閱死者的電腦和手機县忌,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,677評論 3 399
  • 文/潘曉璐 我一進店門掂榔,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人症杏,你說我怎么就攤上這事装获。” “怎么了厉颤?”我有些...
    開封第一講書人閱讀 168,386評論 0 360
  • 文/不壞的土叔 我叫張陵饱溢,是天一觀的道長。 經(jīng)常有香客問我走芋,道長绩郎,這世上最難降的妖魔是什么潘鲫? 我笑而不...
    開封第一講書人閱讀 59,726評論 1 297
  • 正文 為了忘掉前任,我火速辦了婚禮肋杖,結(jié)果婚禮上溉仑,老公的妹妹穿的比我還像新娘。我一直安慰自己状植,他們只是感情好浊竟,可當我...
    茶點故事閱讀 68,729評論 6 397
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著津畸,像睡著了一般振定。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上肉拓,一...
    開封第一講書人閱讀 52,337評論 1 310
  • 那天后频,我揣著相機與錄音,去河邊找鬼暖途。 笑死卑惜,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的驻售。 我是一名探鬼主播露久,決...
    沈念sama閱讀 40,902評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼欺栗!你這毒婦竟也來了毫痕?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,807評論 0 276
  • 序言:老撾萬榮一對情侶失蹤迟几,失蹤者是張志新(化名)和其女友劉穎镇草,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體瘤旨,經(jīng)...
    沈念sama閱讀 46,349評論 1 318
  • 正文 獨居荒郊野嶺守林人離奇死亡梯啤,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,439評論 3 340
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了存哲。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片因宇。...
    茶點故事閱讀 40,567評論 1 352
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖祟偷,靈堂內(nèi)的尸體忽然破棺而出察滑,到底是詐尸還是另有隱情,我是刑警寧澤修肠,帶...
    沈念sama閱讀 36,242評論 5 350
  • 正文 年R本政府宣布贺辰,位于F島的核電站,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏饲化。R本人自食惡果不足惜莽鸭,卻給世界環(huán)境...
    茶點故事閱讀 41,933評論 3 334
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望吃靠。 院中可真熱鬧硫眨,春花似錦、人聲如沸巢块。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,420評論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽族奢。三九已至姥闭,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間越走,已是汗流浹背棚品。 一陣腳步聲響...
    開封第一講書人閱讀 33,531評論 1 272
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留弥姻,地道東北人。 一個月前我還...
    沈念sama閱讀 48,995評論 3 377
  • 正文 我出身青樓掺涛,卻偏偏與公主長得像庭敦,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子薪缆,可洞房花燭夜當晚...
    茶點故事閱讀 45,585評論 2 359

推薦閱讀更多精彩內(nèi)容