文章标签 ‘robots’
2010十月16

WordPress搭建的网站robots.txt写法参考

武汉SEO在前天开博的第一篇文章中提到本站采用WordPress程序搭建,WordPress本身对搜索引擎就很友好,尤其是Google,有利于网站优化。我们可以利用robots.txt文件限制搜索引擎抓取部分目录及文件,WordPress搭建的网站robots.txt文件写法有很多种,我觉得最简单合理的一种写法是:

User-agent: *
Disallow: /wp-*
Disallow: /index.php?s=

屏蔽蜘蛛抓取wp-开头的文件和目录,屏蔽抓取搜索结果。

当然还有很多其他写法,以下是参考樂思蜀SEO博客。

继续阅读……