巧妙用disallow中的*

案例分析-巧用Robots中的Disallow命令

做SEO的朋友,其实对Robots.txt并不陌生,而且都会写。

但最近发现一个问题,而不是简单的Disallow可以搞定的,必须要用到*来辅助.

比如:我的Blog在site时,发现有两条链接并不是我想要收录的:

disallow巧妙用法

带feed的链接不希望收录处理方法

这两条链接不是我想要收录的,那么在Robots中如何写呢?

或者有的朋友写:

Disallow: /feed

禁止所有带feed的链接,我们这样看下写的效果

disallow不能抓取的内容详解

我们可以看到,robots中的Disallow并没有起到作用屏蔽/feed

我们正确的做法是:

Disallow: /*feed*

这才是屏蔽所有带feed的链接

用*来用disallow

留下评论