当前位置:首页 > 行业观点 > 详情
sousuo
sousuo

网站建设公司把你的robots.txt写对了吗?

上传时间:2019-01-14            浏览次数:250

网站里一般都有一个robots.txt文件,来告诉搜索引擎,哪些目录或者文件你可以抓取,哪些你不要抓取。但是我们发现非常多的网站建设公司并不知道还需要这个文件,根本就不写。

有的写了,但是没有写对,也是不行的。

我公司一般是这样写的:

User-agent: Baiduspider

Allow: /

User-agent: *

Allow: /

但,有的就不一定,会写出问题,比如说有以下的情形可能就要出问题:

一、禁止某些目录抓取或者整站禁止

我公司制作网站的时候,是禁止蜘蛛抓取的,这样极大程度上保持网站的新鲜度,防止搜索引擎收录。但是上线的时候就会给这个文件修改成全部允许抓取。

除非有特殊需求,才会禁止某些目录抓取。

另外,对于网站后台,我们是直接写在代码里禁止抓取的。

二、禁止后台抓取

很多人的理解就是后台不要让蜘蛛抓取,但是,你同时给别人暴漏了自己的网站后台,这也是很不理智的。所以,一般情况下,是使用<meta name="robots" content="nofollow" />标签来防止后台抓取的,而不要写在robots.txt文件里。

所以,当你的网站上线之后要检查一下是否robots.txt写对了,有时候网站建设公司也会有忽略的时候。如果你知道了robots.txt的正确写法,就可以协助检查一下,如果发现有问题可以及时给网站建设公司反应,写出合理的规则文件。


继续浏览有关 网站建设 的文章
永易搜建站用技术和实力说话
0371-56789390
公司地址

郑州市花园路东风路向西300路南弘熹台22层

联系我们