robots.txt文件区分大小写吗

时间:2016-10-13 07:23:06 来源:51学吧 编辑:www.51xue8.com

对于多数网站,一般网站根目录,都会放置一个robots.txt文件。

robots.txt是一种存放于网站根目录下的ASCII编码的文本文件,它通常告诉网络搜索引擎的漫游器(又称网络蜘蛛),此网站中的哪些内容是不应被搜索引擎的漫游器获取的,哪些是可以被(漫游器)获取的。

说白了,这个文件就是告诉搜索引擎,哪些文件可以收录,哪些文件不应该被收录,所以基本上所有网站都有这样的文件。

robots.txt文件区分大小写吗?

这一点是大家很容易忽略的一个问题,因为一些系统中的URL是大小写敏感的,所以robots.txt的文件名应统一为小写。

robots.txt 使用方法:

robots.txt必须放置在一个站点的根目录下,而且文件名必须全部小写

事实证明,如果文件名是大写多数是无效的,所以一定要注意,所有文件名,必须用小写,千万不要有大写,就算你的文件名确实有大写,robots.txt文件中,也必须使用小写。

相关文章