七牛robots正确写法

avatar 2017年03月08日21:31:11 9 5238 views
博主分享免费Java教学视频,B站账号:Java刘哥
配置了七牛静态存储,我们通常要修改一下robots.txt,目的是禁止蜘蛛抓取我们二级域名如media.liuyanzhao.com,而不让百度等搜索引擎收录我们的media.liuyanzhao.com的页面和文章,从而降低主域名liuyanzhao.com的权重。但是,我们又希望蜘蛛能抓取到我们的图片,如
  1. http://media.liuyanzhao.com/wp-content/uploads/2017/03/1-768x356.png
,这样可以避免我们网站缩略图能能够被抓取
本文中的robots.txt都是七牛绑定域名(七牛空间存储)根目录里的,不是你网站根目录啊

第一步、七牛刷新预取(清除缓存的意思)

博主当初修改这个文件的时候,尴尬死了,删除了,重新上传,试了无数遍,都没改成功。后来才知道是缓存的原因,点击刷新预取  

第二步、填写要刷新的文件

这样就能更改robots.txt的内容  

第三步、修改robots.txt

方法很简单,删除之前的robots.txt,重新上传新的robots.txt 下面是robots.txt里的规则(代码)
  1. User-agent: Baiduspider
  2. Allow: /wp-content/uploads/*.jpg$
  3. Allow: /wp-content/uploads/*.png$
  4. Disallow: /
  5. User-agent: 360Spider
  6. Allow: /wp-content/uploads/*.jpg$
  7. Allow: /wp-content/uploads/*.png$
  8. Disallow: /
  9. User-agent: Baiduspider-image
  10. Allow: /wp-content/uploads/*.jpg$
  11. Allow: /wp-content/uploads/*.png$
  12. Disallow: /
  13. User-agent: 360Spider-Image
  14. Allow: /wp-content/uploads/*.jpg$
  15. Allow: /wp-content/uploads/*.png$
  16. Disallow: /
  17. User-agent: *
  18. Disallow: /
上面的代码,很明显,这里就不废话了。   这里再给一个完整暴力的
  1. # robots.txt generated at http://portal.qiniu.com
  2. User-agent: Baiduspider
  3. Allow: /wp-content/uploads*
  4. Disallow: /
  5. User-agent: Sosospider
  6. Allow: /wp-content/uploads*
  7. Disallow: /
  8. User-agent: sogou spider
  9. Allow: /wp-content/uploads*
  10. Disallow: /
  11. User-agent: YodaoBot
  12. Allow: /wp-content/uploads*
  13. Disallow: /
  14. User-agent: Googlebot
  15. Allow: /wp-content/uploads*
  16. Disallow: /
  17. User-agent: Bingbot
  18. Allow: /wp-content/uploads*
  19. Disallow: /
  20. User-agent: Slurp
  21. Allow: /wp-content/uploads*
  22. Disallow: /
  23. User-agent: MSNBot
  24. Allow: /wp-content/uploads*
  25. Disallow: /
  26. User-agent: googlebot-image
  27. Allow: /wp-content/uploads*
  28. Disallow: /
  29. User-agent: googlebot-mobile
  30. Allow: /wp-content/uploads*
  31. Disallow: /
  32. User-agent: yahoo-blogs/v3.9
  33. Allow: /wp-content/uploads*
  34. Disallow: /
  35. User-agent: psbot
  36. Allow: /wp-content/uploads*
  37. Disallow: /
  38. User-agent: *
  39. Allow: /wp-content/uploads*
  40. Disallow: /
   

百度站长平台检测

先进入  百度站长平台 ,  没有添加链接的,先添加(博主添加的包括liuyanzhao.com和medialiuyanzhao.com) 。 进去之后,点击检测并更新,多点几次,直到出现下面界面
  • 试着在下面框里输入一个页面链接,非常完美,不能抓取
  • 我们再试试图片

至此,所有配置已经完毕,更多文章        
  • 微信
  • 交流学习,有偿服务
  • weinxin
  • 博客/Java交流群
  • 资源分享,问题解决,技术交流。群号:590480292
  • weinxin
avatar

发表评论

avatar 登录者:匿名
匿名评论,评论回复后会有邮件通知

  

已通过评论:7   待审核评论数:0
  1. avatar 小高

    今天发现百度居然把七牛的镜像首页给收录,赶紧按博主这样设置好,真的哈人,不过刷新预取的方式变了,是先点在七牛绑定的域名,然后在左侧再刷新

  2. avatar 夏日博客

    七牛的资源用得还不错。

  3. avatar 游戏试玩平台

    robots这个还真没注意过

  4. avatar 憧憬点滴记忆

    你买begin了?

  5. avatar 星空游戏

    感谢分享

  6. avatar 懿古今

    我那个懿古今用的就是七牛,不过好像我都没有设置这个东东,感觉一直都能用

  7. avatar 拽立网

    666666学习啦,主题最新版的吗?