robots.txt文件区分大小写吗
时间:2016-10-13 07:23:06 来源:51学吧 编辑:www.51xue8.com
对于多数网站,一般网站根目录,都会放置一个robots.txt文件。
robots.txt是一种存放于网站根目录下的ASCII编码的文本文件,它通常告诉网络搜索引擎的漫游器(又称网络蜘蛛),此网站中的哪些内容是不应被搜索引擎的漫游器获取的,哪些是可以被(漫游器)获取的。
说白了,这个文件就是告诉搜索引擎,哪些文件可以收录,哪些文件不应该被收录,所以基本上所有网站都有这样的文件。
robots.txt文件区分大小写吗?
这一点是大家很容易忽略的一个问题,因为一些系统中的URL是大小写敏感的,所以robots.txt的文件名应统一为小写。
robots.txt 使用方法:
robots.txt必须放置在一个站点的根目录下,而且文件名必须全部小写。
事实证明,如果文件名是大写多数是无效的,所以一定要注意,所有文件名,必须用小写,千万不要有大写,就算你的文件名确实有大写,robots.txt文件中,也必须使用小写。
相关文章
热门文章
- 1.笔记本电脑的电池应该拿下来吗
- 2.2021年百度收录很难的原因及对策
- 3.网站被黑,被上传了admin5s.asp aspx.aspx xkey.php文件
- 4.阿里金冠商品有什么好处
- 5.如何让老笔记本电脑变快
- 6.adsense电汇用哪个银行
- 7.微信公众号几点发看的人最多
- 8.比亚迪的芯片是自己生产的吗
- 9.怎么查询是不是搜索引擎的IP
- 10.中兴自己能不能做芯片
- 11.芯片公司员工工资待遇高不高?
- 12.5g网络哪一年才能真正开始普及
- 13.华为5g订单总共拿到了多少
- 14.高增益天线不是把wifi信号增强
- 15.路由器改装平板天线可行吗
- 16.淘宝优惠券怎么给别人
- 17.淘宝天猫优惠券靠谱吗
- 18.台式电脑太老了换cpu能行吗?
- 19.台式电脑如果开蓝牙
- 20.无线路由器能连接几台台式电脑