wordpress中如何正确书写robots.txt

avatar 2017年04月22日17:42:37 1 2585 views
博主分享免费Java教学视频,B站账号:Java刘哥 ,长期提供技术问题解决、项目定制:本站商品点此
首先我们来查看一个朋友的robots.txt,显然他的是不曾修改的,用的还是Wordpress默认的。



这种缺陷是巨大的,因为没有屏蔽/wp-content/和/wp-includes/等诸多文件,假以时日,会有很多后台文件都被收录的,像这样





所以我们需要更加完整的robots.txt内容,防止百度蜘蛛乱抓取收录。下面我们欣赏两个网友的robots.txt,大家都可以参考。

其一
  1. User-agent: *
  2. Disallow: /wp-admin/
  3. Disallow: /wp-content/
  4. Disallow: /wp-includes/
  5. Disallow: /*/comment-page-*
  6. Disallow: /*?replytocom=*
  7. Disallow: /category/*/page/
  8. Disallow: /tag/*/page/
  9. Disallow: /*/trackback
  10. Disallow: /feed
  11. Disallow: /*/feed
  12. Disallow: /comments/feed
  13. Disallow: /?s=*
  14. Disallow: /*/?s=*\
  15. Disallow: /*?*
  16. Disallow: /attachment/

其二
  1. User-agent: *
  2. Disallow: /wp-*
  3. Disallow: /qiuye-*
  4. Disallow: /*replytocom=
  5. Disallow: /*?iapolo_co*
  6. Disallow: /page/*?iapolo_co*
  7. Disallow: /page/?iapolo_co*
  8. Disallow: /?iapolo_co*
  9. Disallow: /?ad=da
  10. Disallow: /?iapolo.com
  11. Disallow: /daohang/
  12. Disallow: /wp-login.php?*
  13. Disallow: /?_=*
  14. Disallow: /?p=*
  15. Disallow: /api/*
  16. Disallow: /*.js$
  17. Disallow: /*.css$
  18. Disallow: /*.eot$
  19. Disallow: /*.svg$
  20. Disallow: /*.ttf$
  21. Disallow: /*.woff$
  22. Disallow: /*.json$
  23. Disallow: /page/1
  24. Disallow: /shuoshuo/
  25. Disallow: /jiayi

我们都可以作为参考,大家可以根据上面的删除不要的,然后上传到网站根目录,然后去百度站长平台,进行检测,如下图,js文件百度蜘蛛将不再抓取





更多文章:http://liuyanzhao.com/2207.html

本文地址:http://liuyanzhao.com/3275.html

转载请注明
  • 微信
  • 交流学习,有偿服务
  • weinxin
  • 编程爱好者交流群
  • 资源分享,问题解决,技术交流。QQ群:424285828(新群)
  • weinxin
avatar

发表评论

avatar 登录者:匿名
匿名评论,评论回复后会有邮件通知

  

已通过评论:0   待审核评论数:0