扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
请问一个空间的根目录下面有2个网站,怎么写robot文件www.cylvhua.com 创艺绿化
我觉的很奇怪为什么我把我的robots.txt文件放在根目录却打开页面却是空的呢?
robots.txt放在网站根目录下,里面写上你要屏蔽的蜘蛛和目录或者页面文件等等。
{0}
网站建设哪家好,找创新互联建站!专注于网页设计、网站建设、微信开发、微信小程序开发、集团企业网站建设等服务项目。为回馈新老客户创新互联还提供了湟中免费建站欢迎大家使用!
robots.txt是控制搜索蜘蛛是否收录网站内容的。根目录,你网站首页放的目录就是你网站的根目录。
ftp默认进去的并不是网站根目录,一般的服务器会有www这个目录,这个目录下存放着所有的网站程序文件,这个才是网站的根目录或者说将robots.txt文件放在你的网站首页文件同一个目录下,网站首页文件一般是index、default命名的
{1}
Anny说的不错,是放在根目录,蜘蛛进入网站是进入网站的根目录,根据根目录的结构来爬取,所以这就体现了首页的重要性,同样的道理,robots.txt是一个蜘蛛的协议,蜘蛛到一个网站之后,第一个就会看一下有哪些是可以爬取的,哪些是禁止爬取的!所以放在根目录是无可厚非的!
必须根目录下。
放到ftp的根目录下、
{2}
您好楼主:robots.txt是要放到根目录下面的。所谓的根目录就是你的网站程序所在的那个目录,一般的根目录貌似都是个叫WEB或者www文件夹robots.txt文件必须驻留在域的根目录,并且必须命名为“robots.txt”。位于子目录中的robots.txt文件无效,因为漫游器只在域的根目录这个文件。例如,http://www.baidu.com/robots.txt是有效位置。但是,http://www.baidu.com/mysite/robots.txt不是。如果您没有访问域的根目录,可以使用限制访问robots元标记。
根目录
放在网站的根目录,是没有错的。但也需要考虑网站的实际问题,像不是独立ip的服务器,多个网站放在同一服务器下,本身是放在服务器的多文件夹里,所以为每个域名设置robots的时候,是放在相对的“根目录”下的。
所谓的根目录就是你的网站程序所在的那个目录,一般的根目录貌似都是个叫web或者www文件夹robots.txt文件必须驻留在域的根目录,并且必须命名为“robots.txt”。位于子目录中的robots.txt文件无效,因为漫游器只在域的根目录这个文件。例如,http://www.baidu.com/robots.txt是有效位置。但是,http://www.baidu.com/mysite/robots.txt不是。
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流