Johnny 在通过 Google 验证博客的搜索时,发现 Google 会把 Tag 和 Categorys 也一起编入了索引,然而,Johnny 认为这是没有必要的,如果你也这样认为,并且也在使用 WordPress,请往下看。
在网页索引系统中,有一个规矩,那就是通过 robots.txt 来告诉搜索引擎哪里可以索引,哪里不能索引,所以,Johnny 遇到的这个问题,完全可以通过 robots.txt 来解决,Johnny 为博客启用了“自定义链接”功能,这样,设定 robots.txt 就要简单得多了。
在 WordPress 中,是通过虚拟的 robots.txt 来实现这项功能的,也就是说,在网站的文件系统,你看不到 robots.txt,但是通过 URL, 确实可以访问到,为了修改这个 robots.txt,我们需要借助插件,或者手工修改数据库来达成目标。
Johnny 通过插件来实现的,访问网站的仪表板,然后点击安装插件,安装名为“Virtual Robots.txt”的插件,或者,你也可以安装你喜欢的插件,但是,不建议使用那些不兼容于当前 WordPress 版本的插件。
当 Virtual Robots.txt 安装完成后,即可设定 robots.txt,按一下“Virtual Robots.txt”菜单,然后应该会看到一个输入框,里面就是 Robots.txt 的内容,内容就像这样:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Allow: /wp-includes/js/
Allow: /wp-includes/images/
Disallow: /trackback/
Disallow: /wp-login.php
Disallow: /wp-register.php
然后,我们在后面追加:
Disallow: /articles/categorys/
Disallow: /articles/tags/
注意:请根据你的“固定链接”中的参数值正确设定,设定错误后不会发挥作用,还可能引起错误关闭索引的问题。