168IT网

武汉SEO在前天开博的第一篇文章中提到本站采用WordPress程序搭建，WordPress本身对搜索引擎就很友好，尤其是Google，有利于网站优化。我们可以利用robots.txt文件限制搜索引擎抓取部分目录及文件，WordPress搭建的网站robots.txt文件写法有很多种，我觉得最简单合理的一种写法是：

User-agent: *
Disallow: /wp-*
Disallow: /index.php?s=

屏蔽蜘蛛抓取wp-开头的文件和目录，屏蔽抓取搜索结果。

当然还有很多其他写法，以下是参考樂思蜀SEO博客。

最简单的写法

User-agent: *
Disallow:

最合理的写法

User-agent: *
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-includes
Disallow: /?s=

允许所有搜索引擎抓取，逐一列举需要限制的目录，限制抓取搜索结果。

最简单的严格写法

User-agent: *
Disallow: /wp-*
#Allow: /wp-content/uploads/
Disallow: /*.php$
Disallow: /*.inc$
Disallow: /*.js$
Disallow: /*.css$
Disallow: /?s=

允许所有蜘蛛访问，限制以“wp-”开头的目录及文件，限制抓取.php文件、.inc文件、.js文件、.css文件，限制抓取搜索结果。

robots.txt的其他写法

为避免在搜索引擎中出现重复页面，Wordpress玩家自创了很多robots写法，列举一些常用的，作为参考（适用于伪静态方式的永久链接）：

Disallow: /page/

#限制抓取Wordpress分页

Disallow: /category/*/page/*

#限制抓取分类的分页

Disallow: /tag/

#限制抓取标签页面

Disallow: */trackback/

#限制抓取Trackback内容

Disallow: /category/*

#限制抓取所有分类列表

你还可以将sitemap放在robots中，不过百度目前还不支持这种写法。