每个url都有robots协议吗,rpa要遵守robots协议吗

网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。
在网站根目录下放一个robots.txt文本文件，因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。

禁止所有机器人访问 User-agent: * Disallow: /允许所有机器人访问 User-agent: * Disallow: 禁止特定机器人访问 User-agent: BadBot Disallow: /允许特定机器人访问 User-agent: GoodBot Disallow: 禁止访问特定目录 User-agent: * Disallow: /images/仅允许访问特定目录 User-agent: * Allow: /images/ Disallow: /禁止访问特定文件 User-agent: * Disallow: /*.html$仅允许访问特定文件 User-agent: * Allow: /*.html$ Disallow: /