WordPress robots.txt

2047阅读　0评论2011-10-30　ulovko
分类：LINUX

  1. WordPress robots.txt
  3. robots.txt 是搜索引擎中访问网站的时候要查看的第一个文件。
  5. Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。
  7. robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。
  9. robots.txt文件的格式:
  11. User-agent: 定义搜索引擎的类型
  12. Disallow: 定义禁止搜索引擎收录的地址
  13. Allow: 定义允许搜索引擎收录的地址
  15. 例1.：禁止所有搜索引擎访问网站的任何部分
  16. User-agent: *
  17. Disallow: /
  18. 例2：淘宝不允许百度的机器人访问其网站下其所有的目录
  19. User-agent: Baiduspider
  20. Disallow: /
  21. 例3. 允许所有的robot访问 (或者也可以建一个空文件 “/robots.txt” file)
  22. User-agent: *
  23. Allow:
  24. 例4. 禁止某个搜索引擎的访问
  25. User-agent: BadBot
  26. Disallow: /
  27. 例5. 允许某个搜索引擎的访问
  28. User-agent: baiduspider
  29. allow:/
  30. 推荐：Wordpress robots.txt
  32. User-agent: *
  33. Disallow: /wp-admin
  34. Disallow: /wp-includes
  35. Disallow: /wp-content/plugins
  36. Disallow: /wp-content/cache
  37. Disallow: /wp-content/themes
  38. Disallow: /trackback
  39. Disallow: /tag
  40. Disallow: /author
  41. Disallow: /wget/
  42. Disallow: /httpd/
  43. Disallow: /cgi-bin
  44. Disallow: /images/
  45. Disallow: /search
  46. Disallow: /feed
  47. Disallow: /feed/
  48. Disallow: /trackback/
  49. Disallow: /rss
  50. Disallow: /comments/feed
  51. Disallow: /feed/$
  52. Disallow: /*/feed/$
  53. Disallow: /*/feed/rss/$
  54. Disallow: /*/trackback/$
上一篇：加入收藏代码-兼容IE 和 firefox
下一篇：WordPress 缓存插件