七牛robots正确写法

配置了七牛静态存储,我们通常要修改一下robots.txt,目的是禁止蜘蛛抓取我们二级域名如media.liuyanzhao.com,而不让百度等搜索引擎收录我们的media.liuyanzhao.com的页面和文章,从而降低主域名liuyanzhao.com的权重。但是,我们又希望蜘蛛能抓取到我们的图片,如

  1. http://media.liuyanzhao.com/wp-content/uploads/2017/03/1-768x356.png

,这样可以避免我们网站缩略图能能够被抓取

本文中的robots.txt都是七牛绑定域名(七牛空间存储)根目录里的,不是你网站根目录啊

第一步、七牛刷新预取(清除缓存的意思)

博主当初修改这个文件的时候,尴尬死了,删除了,重新上传,试了无数遍,都没改成功。后来才知道是缓存的原因,点击刷新预取

 

七牛robots正确写法

第二步、填写要刷新的文件

七牛robots正确写法

这样就能更改robots.txt的内容

 

第三步、修改robots.txt

方法很简单,删除之前的robots.txt,重新上传新的robots.txt

下面是robots.txt里的规则(代码)

  1. User-agent: Baiduspider
  2. Allow: /wp-content/uploads/*.jpg$
  3. Allow: /wp-content/uploads/*.png$
  4. Disallow: /
  5. User-agent: 360Spider
  6. Allow: /wp-content/uploads/*.jpg$
  7. Allow: /wp-content/uploads/*.png$
  8. Disallow: /
  9. User-agent: Baiduspider-image
  10. Allow: /wp-content/uploads/*.jpg$
  11. Allow: /wp-content/uploads/*.png$
  12. Disallow: /
  13. User-agent: 360Spider-Image
  14. Allow: /wp-content/uploads/*.jpg$
  15. Allow: /wp-content/uploads/*.png$
  16. Disallow: /
  17. User-agent: *
  18. Disallow: /

上面的代码,很明显,这里就不废话了。

 

这里再给一个完整暴力的

  1. # robots.txt generated at http://portal.qiniu.com
  2. User-agent: Baiduspider
  3. Allow: /wp-content/uploads*
  4. Disallow: /
  5. User-agent: Sosospider
  6. Allow: /wp-content/uploads*
  7. Disallow: /
  8. User-agent: sogou spider
  9. Allow: /wp-content/uploads*
  10. Disallow: /
  11. User-agent: YodaoBot
  12. Allow: /wp-content/uploads*
  13. Disallow: /
  14. User-agent: Googlebot
  15. Allow: /wp-content/uploads*
  16. Disallow: /
  17. User-agent: Bingbot
  18. Allow: /wp-content/uploads*
  19. Disallow: /
  20. User-agent: Slurp
  21. Allow: /wp-content/uploads*
  22. Disallow: /
  23. User-agent: MSNBot
  24. Allow: /wp-content/uploads*
  25. Disallow: /
  26. User-agent: googlebot-image
  27. Allow: /wp-content/uploads*
  28. Disallow: /
  29. User-agent: googlebot-mobile
  30. Allow: /wp-content/uploads*
  31. Disallow: /
  32. User-agent: yahoo-blogs/v3.9
  33. Allow: /wp-content/uploads*
  34. Disallow: /
  35. User-agent: psbot
  36. Allow: /wp-content/uploads*
  37. Disallow: /
  38. User-agent: *
  39. Allow: /wp-content/uploads*
  40. Disallow: /

 

 

百度站长平台检测

先进入  百度站长平台 ,  没有添加链接的,先添加(博主添加的包括liuyanzhao.com和medialiuyanzhao.com) 。

七牛robots正确写法

进去之后,点击检测并更新,多点几次,直到出现下面界面

  • 试着在下面框里输入一个页面链接,非常完美,不能抓取

七牛robots正确写法

  • 我们再试试图片

七牛robots正确写法


至此,所有配置已经完毕,更多文章

 

 

 

 

  • 微信
  • 交流学习,有偿服务
  • weinxin
  • 博客/Java交流群
  • 资源分享,问题解决,技术交流。群号:590480292
  • weinxin
言曌

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

目前评论:8   其中:访客  7   博主  1

    • avatar 小高

      今天发现百度居然把七牛的镜像首页给收录,赶紧按博主这样设置好,真的哈人,不过刷新预取的方式变了,是先点在七牛绑定的域名,然后在左侧再刷新

      • avatar 夏日博客

        七牛的资源用得还不错。

        • avatar 游戏试玩平台

          robots这个还真没注意过

          • avatar 憧憬点滴记忆

            你买begin了?

              • avatar Yanzh  博主

                @憧憬点滴记忆 买的二手的:mrgreen:

              • avatar 星空游戏

                感谢分享

                • avatar boke112导航

                  我那个懿古今用的就是七牛,不过好像我都没有设置这个东东,感觉一直都能用

                  • avatar 拽立网

                    666666学习啦,主题最新版的吗?