七牛robots正确写法

avatar 2017年03月08日21:31:11 9 6196 views
博主分享免费Java教学视频，B站账号：Java刘哥 ，长期提供技术问题解决、项目定制：本站商品点此
配置了七牛静态存储，我们通常要修改一下robots.txt，目的是禁止蜘蛛抓取我们二级域名如media.liuyanzhao.com,而不让百度等搜索引擎收录我们的media.liuyanzhao.com的页面和文章，从而降低主域名liuyanzhao.com的权重。但是，我们又希望蜘蛛能抓取到我们的图片，如
  1. http://media.liuyanzhao.com/wp-content/uploads/2017/03/1-768x356.png

,这样可以避免我们网站缩略图能能够被抓取
本文中的robots.txt都是七牛绑定域名（七牛空间存储）根目录里的，不是你网站根目录啊

第一步、七牛刷新预取（清除缓存的意思）


博主当初修改这个文件的时候，尴尬死了，删除了，重新上传，试了无数遍，都没改成功。后来才知道是缓存的原因，点击刷新预取




第二步、填写要刷新的文件




这样就能更改robots.txt的内容


第三步、修改robots.txt


方法很简单，删除之前的robots.txt，重新上传新的robots.txt

下面是robots.txt里的规则（代码）
  1. User-agent: Baiduspider
  2. Allow: /wp-content/uploads/*.jpg$
  3. Allow: /wp-content/uploads/*.png$
  4. Disallow: /
  5. User-agent: 360Spider
  6. Allow: /wp-content/uploads/*.jpg$
  7. Allow: /wp-content/uploads/*.png$
  8. Disallow: /
  9. User-agent: Baiduspider-image
  10. Allow: /wp-content/uploads/*.jpg$
  11. Allow: /wp-content/uploads/*.png$
  12. Disallow: /
  13. User-agent: 360Spider-Image
  14. Allow: /wp-content/uploads/*.jpg$
  15. Allow: /wp-content/uploads/*.png$
  16. Disallow: /
  17. User-agent: *
  18. Disallow: /

上面的代码，很明显，这里就不废话了。



这里再给一个完整暴力的
  1. # robots.txt generated at http://portal.qiniu.com
  2. User-agent: Baiduspider
  3. Allow: /wp-content/uploads*
  4. Disallow: /
  5. User-agent: Sosospider
  6. Allow: /wp-content/uploads*
  7. Disallow: /
  8. User-agent: sogou spider
  9. Allow: /wp-content/uploads*
  10. Disallow: /
  11. User-agent: YodaoBot
  12. Allow: /wp-content/uploads*
  13. Disallow: /
  14. User-agent: Googlebot
  15. Allow: /wp-content/uploads*
  16. Disallow: /
  17. User-agent: Bingbot
  18. Allow: /wp-content/uploads*
  19. Disallow: /
  20. User-agent: Slurp
  21. Allow: /wp-content/uploads*
  22. Disallow: /
  23. User-agent: MSNBot
  24. Allow: /wp-content/uploads*
  25. Disallow: /
  26. User-agent: googlebot-image
  27. Allow: /wp-content/uploads*
  28. Disallow: /
  29. User-agent: googlebot-mobile
  30. Allow: /wp-content/uploads*
  31. Disallow: /
  32. User-agent: yahoo-blogs/v3.9
  33. Allow: /wp-content/uploads*
  34. Disallow: /
  35. User-agent: psbot
  36. Allow: /wp-content/uploads*
  37. Disallow: /
  38. User-agent: *
  39. Allow: /wp-content/uploads*
  40. Disallow: /




百度站长平台检测


先进入  百度站长平台 ，  没有添加链接的，先添加（博主添加的包括liuyanzhao.com和medialiuyanzhao.com） 。



进去之后，点击检测并更新，多点几次，直到出现下面界面
  • 试着在下面框里输入一个页面链接，非常完美，不能抓取



  • 我们再试试图片






至此，所有配置已经完毕，更多文章









历史上的今天
三月
08日
  • 微信
  • 交流学习，资料分享
  • weinxin
  • 个人淘宝
  • 店铺名：言曌博客咨询部

  • (部分商品未及时上架淘宝)
avatar

发表评论

avatar 登录者：匿名
匿名评论，评论回复后会有邮件通知

  

已通过评论：7   待审核评论数：0
  1. avatar 小高
    回复 2017年10月21日 14:51:52

    今天发现百度居然把七牛的镜像首页给收录，赶紧按博主这样设置好，真的哈人，不过刷新预取的方式变了，是先点在七牛绑定的域名，然后在左侧再刷新

  2. avatar 夏日博客
    回复 2017年03月09日 22:42:59

    七牛的资源用得还不错。

  3. avatar 游戏试玩平台
    回复 2017年03月09日 18:58:30

    robots这个还真没注意过

  4. avatar 憧憬点滴记忆
    回复 2017年03月09日 18:41:09

    你买begin了？

  5. avatar 星空游戏
    回复 2017年03月09日 11:45:43

    感谢分享

  6. avatar 懿古今
    回复 2017年03月09日 09:54:56

    我那个懿古今用的就是七牛，不过好像我都没有设置这个东东，感觉一直都能用

  7. avatar 拽立网
    回复 2017年03月08日 22:34:00

    666666学习啦，主题最新版的吗？