网站robots文件怎么写规范的robots文件写法

1、Robots协议网站通过Robots协议告诉搜索引擎哪些页面可以抓取，幡郴镭钒哪些页面不能抓取。Robots协议的本质是网站和搜索引擎爬虫的沟通方式，用来指导搜索引擎更好地抓取网站内容，更好的保护用户的隐私和版权信息。

3、robots文件的存放位置放在网站的根目录下

5、robots文件中常用的通配符说明