网站robots文件的作用以及如何写

1、一.robots的原理robots文件的作用刚也说到了，一般搜索引擎蜘蛛会优先访问网站内部的robots文件，根据文件内设置的规则不再去抓取那些你像要屏蔽的网页网址。

3、三.robots的文件存放位置通常robots文件直接存放于网站ftp后台的根目录路径即可，一般搜索引擎蜘蛛优先发文的也是网站的根目录下的robots。

5、五.robots的通配符介绍星号*，表示匹配0个或多个任意字符；美元符号$，表示行结束符；