您现在的位置是:首页 > 网络运营 > 网站优化SEO

robots是什么,robots怎么做?

2020-09-07【网站优化SEO】 55人已围观

简介robots文件设置是SEO工作中的一部分,那么robots.txt是什么,它有什么用,在哪里设置,本文都将一一介绍robots的相关信息。robots是什么Robots 协议 是 Web 站点 和 搜索 引擎 爬虫 交互 的 一种 方式, 将一个 robots. txt 的 文件 放在 网 站的 根 目录 上, 例如 http://www.zhaoderui.com/robots.txt 百度官方给出的解释是:...

robots文件设置是SEO工作中的一部分,那么robots.txt是什么,它有什么用,在哪里设置,本文都将一一介绍robots的相关信息。

robots是什么

Robots 协议 是 Web 站点 和 搜索 引擎 爬虫 交互 的 一种 方式, 将一个 robots. txt 的 文件 放在 网 站的 根 目录 上, 例如 http://www.zhaoderui.com/robots.txt 

百度官方给出的解释是:robots是站点与spider沟通的重要渠道,站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

百度搜索robots升级后robots将优化对网站视频URL收录抓取情况。仅当您的网站包含不希望被视频搜索引擎收录的内容时,才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容,请勿建立robots.txt文件。

如您的网站未设置robots协议,百度搜索对网站视频URL的收录将包含视频播放页URL,及页面中的视频文件、视频周边文本等信息,搜索对已收录的短视频资源将对用户呈现为视频极速体验页。此外,综艺影视类长视频,搜索引擎仅收录页面URL。

在robots文件中,通常会看到User-agent和Disallow这两个开头,它们是Robots协议通过User-agent和Disallow告知搜索引擎非公开目录和非公开网页,说明如下。SEO企业咨询师

1、 User-agent:*:表示对一切搜索引擎爬虫有效,如果特别针对某个爬虫,则可以写明。

2、Disallow:/2004/ontaria/basic:表示禁止抓取这个目录。

通过遵守Robots协议,表示出爬虫尊重和执行Web站点的要求。爬虫需要有一个分析Robots协议的模块,并严格按照Robots协议的规定只抓取Web主机允许访问的目录和网页。

robots怎么做?

1、在本地新建一个后缀名为.txt的文件,文件名为robots.txt

2、写好robots.txt规则

    User-agent: *

    Disallow: 不希望搜索引擎访问的目录或url

    Allow:希望搜索引擎访问的目录或url,用处与Disallow相反

    Sitemap: http://www.***.com/sitemap.xml

3、保存写好的robots.txt文件

4、上传到服务器中,网站所在文件的根目录。

5、打开浏览器,在浏览器中输入http://www.***.com/robots.txt,查看robots.txt文件是否生效。

把以上的***.com替换为自己的域名。

注意:robots文件是SEO工作中重要的一个环节,也是容易被忽视的一个环节,如果网站上线后长时间未收录,可以通过查看robots.txt文件,查看是否禁止了搜索引擎爬虫对网站的爬取。

本文由SEO企业咨询师-赵德瑞个人博客整理。


很赞哦! (0)

上一篇:SEO每天的工作内容

下一篇:已经是最后一篇

随机图文

文章评论

共0条评论
  • 这篇文章还没有收到评论,赶紧来抢沙发吧~

站点信息

  • 建站时间:2019-07-10
  • 网站程序YzmCMS
  • 邮箱:982481365@qq.com
  • QQ号:982481365
  • 微信号:zdrgzs
  • 微信二维码:扫描二维码,关注我们