Robots協(xié)議也稱作爬蟲(chóng)協(xié)議发框、機(jī)器人協(xié)議、它的全名叫作網(wǎng)絡(luò)爬蟲(chóng)排除標(biāo)準(zhǔn)咽筋，用來(lái)告訴爬蟲(chóng)和搜索引擎哪些頁(yè)面可以抓取晌块，哪些不可以抓取爱沟。它通常是一個(gè)叫...