WordPress搭建的网站robots.txt写法参考
武汉SEO在前天开博的第一篇文章中提到本站采用WordPress程序搭建,WordPress本身对搜索引擎就很友好,尤其是Google,有利于网站优化。我们可以利用robots.txt文件限制搜索引擎抓取部分目录及文件,WordPress搭建的网站robots.txt文件写法有很多种,我觉得最简单合理的一种写法是:
User-agent: * Disallow: /wp-* Disallow: /index.php?s=
屏蔽蜘蛛抓取wp-开头的文件和目录,屏蔽抓取搜索结果。
当然还有很多其他写法,以下是参考樂思蜀SEO博客。
最简单的写法
User-agent: * Disallow:
最合理的写法
User-agent: * Disallow: /wp-admin Disallow: /wp-content/plugins Disallow: /wp-content/themes Disallow: /wp-includes Disallow: /?s=
允许所有搜索引擎抓取,逐一列举需要限制的目录,限制抓取搜索结果。
最简单的严格写法
User-agent: * Disallow: /wp-* #Allow: /wp-content/uploads/ Disallow: /*.php$ Disallow: /*.inc$ Disallow: /*.js$ Disallow: /*.css$ Disallow: /?s=
允许所有蜘蛛访问,限制以“wp-”开头的目录及文件,限制抓取.php文件、.inc文件、.js文件、.css文件,限制抓取搜索结果。
robots.txt的其他写法
为避免在搜索引擎中出现重复页面,Wordpress玩家自创了很多robots写法,列举一些常用的,作为参考(适用于伪静态方式的永久链接):
Disallow: /page/
#限制抓取Wordpress分页
Disallow: /category/*/page/*
#限制抓取分类的分页
Disallow: /tag/
#限制抓取标签页面
Disallow: */trackback/
#限制抓取Trackback内容
Disallow: /category/*
#限制抓取所有分类列表
你还可以将sitemap放在robots中,不过百度目前还不支持这种写法。
文章来源:168IT网
本文地址:http://www.168itw.com/wordpress/wordpress-robots-txt/
版权所有 © 转载时必须以链接形式注明作者和原始出处!