wordpress中如何正确书写robots.txt

avatar 2017年04月22日17:42:37 1 2829 views
博主分享免费Java教学视频，B站账号：Java刘哥 ，长期提供技术问题解决、项目定制：本站商品点此
首先我们来查看一个朋友的robots.txt，显然他的是不曾修改的，用的还是Wordpress默认的。



这种缺陷是巨大的，因为没有屏蔽/wp-content/和/wp-includes/等诸多文件，假以时日，会有很多后台文件都被收录的，像这样





所以我们需要更加完整的robots.txt内容，防止百度蜘蛛乱抓取收录。下面我们欣赏两个网友的robots.txt，大家都可以参考。

其一
  1. User-agent: *
  2. Disallow: /wp-admin/
  3. Disallow: /wp-content/
  4. Disallow: /wp-includes/
  5. Disallow: /*/comment-page-*
  6. Disallow: /*?replytocom=*
  7. Disallow: /category/*/page/
  8. Disallow: /tag/*/page/
  9. Disallow: /*/trackback
  10. Disallow: /feed
  11. Disallow: /*/feed
  12. Disallow: /comments/feed
  13. Disallow: /?s=*
  14. Disallow: /*/?s=*\
  15. Disallow: /*?*
  16. Disallow: /attachment/

其二
  1. User-agent: *
  2. Disallow: /wp-*
  3. Disallow: /qiuye-*
  4. Disallow: /*replytocom=
  5. Disallow: /*?iapolo_co*
  6. Disallow: /page/*?iapolo_co*
  7. Disallow: /page/?iapolo_co*
  8. Disallow: /?iapolo_co*
  9. Disallow: /?ad=da
  10. Disallow: /?iapolo.com
  11. Disallow: /daohang/
  12. Disallow: /wp-login.php?*
  13. Disallow: /?_=*
  14. Disallow: /?p=*
  15. Disallow: /api/*
  16. Disallow: /*.js$
  17. Disallow: /*.css$
  18. Disallow: /*.eot$
  19. Disallow: /*.svg$
  20. Disallow: /*.ttf$
  21. Disallow: /*.woff$
  22. Disallow: /*.json$
  23. Disallow: /page/1
  24. Disallow: /shuoshuo/
  25. Disallow: /jiayi

我们都可以作为参考，大家可以根据上面的删除不要的，然后上传到网站根目录，然后去百度站长平台，进行检测，如下图，js文件百度蜘蛛将不再抓取





更多文章：http://liuyanzhao.com/2207.html

本文地址：http://liuyanzhao.com/3275.html

转载请注明
历史上的今天
四月
22日
  • 微信
  • 交流学习，资料分享
  • weinxin
  • 个人淘宝
  • 店铺名：言曌博客咨询部

  • (部分商品未及时上架淘宝)
avatar

发表评论

avatar 登录者：匿名
匿名评论，评论回复后会有邮件通知

  

已通过评论：0   待审核评论数：0