利用 Robots.txt 优化你的站点

2018-07-2118:20:07 2 691 人看过
利用 Robots.txt 优化你的站点

robots 是一个专门针对搜索引擎爬虫而编写的文本声明,主要的作用是在搜索引擎访问我们的网站时,告诉搜索引擎的爬虫哪些页面可以抓取,哪些页面不能抓取。当我们的网站有些页面不想被搜索引擎收录时,就可以在网站根目录添加 robots 声明文件。

当搜索引擎访问我们的网站时,首先会寻找网站根目录有没有 robots 文件,如果有这个文件就根据文件的内容确定收录的范围,如果没有就按照默认方式收录所有页面。另外,当搜索爬虫发现不存在 robots 文件时,会产生一个 404 错误日志在服务器上,从而增加服务器的负担,因此为站点添加一个 robots.txt 文件还是很重要的。

一般网站中不需要爬虫抓取的文件有:后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。

使用方法:新建一个名称为 robots.txt 的文本文件,将下面的内容复制保存,然后上传到你的网站根目录即可。

 

  1. User-agent: *
  2. Disallow: /wp-admin/
  3. Disallow: /wp-content/
  4. Disallow: /wp-includes/
  5. Disallow: /*/comment-page-*
  6. Disallow: /*?replytocom=*
  7. Disallow: /category/*/page/
  8. Disallow: /tag/*/page/
  9. Disallow: /*/trackback
  10. Disallow: /feed
  11. Disallow: /*/feed
  12. Disallow: /comments/feed
  13. Disallow: /?s=*
  14. Disallow: /*/?s=*\
  15. Disallow: /*?*
  16. Disallow: /attachment/

 

然后,我们可以到百度搜索资源平台检测一下我们的 robots 文件有没有生效。在输入网站后面的表单中填写我们的网址,点击检测。可以查看文件是否生效,如图 1 所示。如果状态如图 2 所示,那么 robots 就部署成功了。

 

利用 Robots.txt 优化你的站点

(图 1)

利用 Robots.txt 优化你的站点

(图 2)

 

下面分别解释一下各项的作用:

1、Disallow: /wp-admin/、Disallow: /wp-content/和 Disallow: /wp-includes/

用于告诉搜索引擎不要抓取后台程序文件页面。

2、Disallow: /*/comment-page-*和 Disallow: /*?replytocom=*

禁止搜索引擎抓取评论分页等相关链接。

3、Disallow: /category/*/page/和 Disallow: /tag/*/page/

禁止搜索引擎抓取收录分类和标签的分页。

4、Disallow: /*/trackback

禁止搜索引擎抓取收录 trackback 等垃圾信息

5、Disallow: /feed、Disallow: /*/feed 和 Disallow: /comments/feed

禁止搜索引擎抓取收录 feed 链接,feed 只用于订阅本站,与搜索引擎无关。

6、Disallow: /?s=*和 Disallow: /*/?s=*\

禁止搜索引擎抓取站内搜索结果

7、Disallow: /*?*

禁止搜索抓取动态页面

8、Disallow: /attachment/

禁止搜索引擎抓取附件页面,比如毫无意义的图片附件页面。

上面只是些基本的写法,当然还有很多,不过够用了。

 

文件下载
下载地址
weinxin
博客小程序【一起行动派】
欢迎访问行动派博客小程序,小程序和博客同步更新,查看内容更加方便!
Action

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

目前评论:2   其中:访客  1   博主  1

    • avatar 明月清风 2

      其实我的robots文件也就是那两个必要的页面罢了。

        • avatar Action Admin

          @明月清风 每个人的情况都不一样,这个需要根据自己实际情况来添加。