Robots.txt怎么使用正则表达式限制搜索引擎抓取某些页面吗?
答案是robots并不支持正则表达式,但支持两个特殊字符:
* 0-n个字符(n表示任意个)
$ 表示链接结束位置,如 Disallow: \.jpg$ 表示以.jpg结束的链接屏蔽抓取