robots.txt中的Disallow与silian.txt应如何使用?

经常看我博客的朋友,可能对于robots.txt与silian.txt这些名词并不陌生,如果你第一次来我的博客或者偶尔来看我的文章,但对robots.txt与silian.txt又不了解,我推荐你看:robots.txt写法与其重要性网站死链接怎么处理?死链对网站SEO的影响

这里主要是介绍两者之间会不会冲突,到底如何使用?

先简单介绍下:

robots.txt是告诉搜索引擎哪些不去抓取

silian.txt是提交给搜索引擎后台,要处理哪些死链。

问题是:如果我网站写了文章或者发了产品,后来删除,但数据库与搜索引擎都有了。如何从根本上删除?



可能懂SEO的朋友会这样操作:

我告诉搜索引擎不去抓取我的死链接,然后再在silian.txt也提交这个死链接

下面看我的SEO老师是如何回复的:

如何正常处理死链

意思是说:如果你发现了网站中的死链,直接通过silian.txt在搜索引擎后台去处理就好了。不需要通过robots.txt重复处理。

One thought on “robots.txt中的Disallow与silian.txt应如何使用?

发表评论

电子邮件地址不会被公开。 必填项已用*标注