您现在的位置是:首页 > 网络运营 > 网站优化SEO

seo优化案例分析-为什么我的网站没有收录第一篇

2021-10-06【网站优化SEO】 126人已围观

简介seo优化案例分析-为什么我的网站没有收录?最近分析了一个网站没有收录的案例,首先网站没有收录,我们要从几个方面来进行考虑1、网站的打开与访问是否正常2、网站服务器所处的空间IP节点3、网站域名历史记录4、网站的robots文件是否屏蔽了蜘蛛5、网站抓取诊断是否正常......等等在进行网站SEO优化分析时,我们对该网站的各项情况进行了逐一排查分析,最终...

seo优化案例分析-为什么我的网站没有收录?

最近分析了一个网站没有收录的案例,首先网站没有收录,我们要从几个方面来进行考虑

1、网站的打开与访问是否正常

2、网站服务器所处的空间IP节点

3、网站域名历史记录

4、网站的robots文件是否屏蔽了蜘蛛

5、网站抓取诊断是否正常

......等等

seo优化案例分析-为什么我的网站没有收录

在进行网站SEO优化分析时,我们对该网站的各项情况进行了逐一排查分析,最终确认网站是由robots文件屏蔽了蜘蛛爬行导致,对robots文件进行改写后,该网站很快就被搜索引擎收录。

下面再来总结一下关于常见的robots.txt文件用法实例:

1、禁止所有搜索引擎抓取网站的任何部分

User-agent: *

Disallow: /  

这个写法是禁止所有目录和文件被所有搜索引擎收录。网站上线之前,可能会先架设在服务器上进行调试测试,这个时候数据还未完善,可以在robots文件里这样写达到屏蔽所有蜘蛛抓取的效果。

2、允许所有的spider抓取

User-agent: *

Allow: /

这是允许所有搜索引擎抓取网站的任何部分,允许所有文件被抓取,可以不用创建robtos.txt文件,即默认全部允许抓取。

3、禁止spider抓取特定目录

User-agent: *

Disallow: /a/

Disallow: /b/

Disallow: /c/

这是禁止所有的spider抓取a、b、c目录。这个规则我们最常用到,比如网站的程序后台、程序目录等都可以禁止spider抓取,以减少spider无意义的浪费我们的空间资源。

4、禁止spider抓取搜索结果页面

User-agent: *

Disallow: /so_article?*

如果你网站的搜索结果页面URL格式如:/so_article?keyword=搜索关键字,则按以上格式进行屏蔽,注意最后带了一个星号*,代表屏蔽so_article?带头的所有URL。

对于大部分网站,常用的就是以上4种情况。还可以查看robots是什么,robots怎么做?了解更多关于robots文件的相关知识。



很赞哦! (0)

随机图文

文章评论

共0条评论
  • 这篇文章还没有收到评论,赶紧来抢沙发吧~

站点信息

  • 建站时间:2019-07-10
  • 网站程序YzmCMS
  • 邮箱:982481365@qq.com
  • QQ号:982481365
  • 微信号:zdrgzs
  • 微信二维码:扫描二维码,关注我们