在网路建立的早期，大家有了一个不成文的协议，即一个名为“robot.txt”的文本文件——也就是拦截列表中将决定谁能够访问你的网站，这主要针对 ...