CSDN對所有爬蟲都不允許爬取整個scripts目錄规求，整個public目錄因篇，以及css诉位、images陪拘、content、ui铃芦、js雅镊、scripts目錄下的子目錄；
愛奇藝對所有爬蟲都不允許爬取包含刃滓？的所有網(wǎng)址以及l(fā)ib目錄下的pps\iqy\pstyle\lstyle\mac等五個目錄下的所以子目錄仁烹；
簡書對所有爬蟲都不允許爬取整個search目錄，以及notes目錄下的子目錄咧虎，admin下的子目錄卓缰，p目錄下的0826cf4692f9、d8b31d20a867兩個目錄collections
目錄下的所有包含recommended_authors目錄的所有目錄；
目前征唬，信息技術(shù)發(fā)展越來越快捌显，每個人在每一天都會產(chǎn)生大量的數(shù)據(jù)，這使得人們對于網(wǎng)絡(luò)信息安全越來越關(guān)注总寒。沒有人想要活在一個完全透明的社會中扶歪，robots協(xié)議明示了搜索引擎，哪些內(nèi)容是愿意和允許被搜索引擎收錄的偿乖，哪些則不允許击罪，這保障了人們的隱私安全，它使得我們能夠放心的使用網(wǎng)絡(luò)贪薪。
