168IT网 > WordPress教程 > WordPress搭建的网站robots.txt写法参考
2010十月16

WordPress搭建的网站robots.txt写法参考

武汉SEO在前天开博的第一篇文章中提到本站采用WordPress程序搭建,WordPress本身对搜索引擎就很友好,尤其是Google,有利于网站优化。我们可以利用robots.txt文件限制搜索引擎抓取部分目录及文件,WordPress搭建的网站robots.txt文件写法有很多种,我觉得最简单合理的一种写法是:

User-agent: *
Disallow: /wp-*
Disallow: /index.php?s=

屏蔽蜘蛛抓取wp-开头的文件和目录,屏蔽抓取搜索结果。

当然还有很多其他写法,以下是参考樂思蜀SEO博客。

最简单的写法

User-agent: *
Disallow:

最合理的写法

User-agent: *
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-includes
Disallow: /?s=

允许所有搜索引擎抓取,逐一列举需要限制的目录,限制抓取搜索结果。

最简单的严格写法

User-agent: *
Disallow: /wp-*
#Allow: /wp-content/uploads/
Disallow: /*.php$
Disallow: /*.inc$
Disallow: /*.js$
Disallow: /*.css$
Disallow: /?s=

允许所有蜘蛛访问,限制以“wp-”开头的目录及文件,限制抓取.php文件、.inc文件、.js文件、.css文件,限制抓取搜索结果。

robots.txt的其他写法

为避免在搜索引擎中出现重复页面,Wordpress玩家自创了很多robots写法,列举一些常用的,作为参考(适用于伪静态方式的永久链接):

Disallow: /page/

#限制抓取Wordpress分页

Disallow: /category/*/page/*

#限制抓取分类的分页

Disallow: /tag/

#限制抓取标签页面

Disallow: */trackback/

#限制抓取Trackback内容

Disallow: /category/*

#限制抓取所有分类列表

你还可以将sitemap放在robots中,不过百度目前还不支持这种写法。

文章来源:168IT网
本文地址:http://www.168itw.com/wordpress/wordpress-robots-txt/
版权所有 © 转载时必须以链接形式注明作者和原始出处!

本文目前尚无任何评论.

发表评论