扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
创新互联建站导读：严格来说robots限制蜘蛛抓取，搜索引擎也是会遵循这个规则的，现在百度搜索引擎对于robots的态度是，依然会抓取，但是不会保留百度快照。其他搜索引擎基本也是同样的。
为祥云等地区用户提供了全套网页设计制作服务，及祥云网站建设行业解决方案。主营业务为成都网站设计、做网站、祥云网站设计，以传统方式定制建设网站，并提供域名空间备案等一条龙服务，秉承以专业、用心的态度为用户提供真诚的服务。我们深信只要达到每一位用户的要求，就会得到认可，从而选择与我们长期合作。这样，我们也可以走得更远！
问题：为什么robots禁止抓取了但搜索引擎还会抓取？
回答：严格来说robots限制蜘蛛抓取，搜索引擎也是会遵循这个规则的，现在百度搜索引擎对于robots的态度是，依然会抓取，但是不会保留百度快照。其他搜索引擎基本也是同样的。
在百度百科里面有这么一条：robots协议并不是一个规范，而只是约定俗成的，所以并不能保证网站的隐私。
设置robots禁止抓取主要是基于两个原因：第一个是新站调试期间，不想让搜索引擎抓取；第二个就是网站下某些目录页面，不想被搜索引擎抓取。对于第一种，如果完全不想让搜索引擎抓取，你建议在本地测试，或者是采用其他的域名绑定线上测试，测试没有问题之后再绑定目标域名。至于第二种，其实是没有办法的，因为如果搜索引擎不按照robots规则，那我们似乎也没有什么好的办法阻止，如果搜索引擎收录了这些限制抓取的页面，只能去投诉快照了。
但是大家也要注意，搜索引擎抓取robots文件限制的页面，这对于网站来说并不会造成很大的影响。原则上说这不会浪费抓取份额，除了网站首页以后，也很少发现会收录robots限制抓取的内页。所以，大家也不要太过担心，搜索引擎想抓就让它去抓，如果收录了，就去投诉申请删除。
另外有朋友担心安全的问题，搜索引擎蜘蛛只是一个工具，它本身是没有恶意的，只是会按照规则去工作。大家也不要把搜索引擎想得那么坏，如果网站没有敏感的内容，在不影响到网站优化的情况下，让蜘蛛去抓取也没有什么损失。大家莫要惊慌哦！
关于为什么robots禁止抓取了但搜索引擎还会抓取的问题，本文就简单的说这么多。总之来说，理论上搜索引擎还是会遵循robots规则的，不会胡乱收录这些禁止收录的页面。
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
微信二维码
移动版官网