大家在做百度或者谷歌 SEO 的时候,难免会出现索引问题!如果你的页面没有被索引或者索引量是呈现下降的趋势,那么这可能是一个不好的信号,表明搜索引擎可能不喜欢你的页面,或者可能无法轻松地去抓取它。原因是多方面的,可能是因为:

 

1、被搜索引擎惩罚,包括过滤,删除重复页面,爬虫页面等

2、搜索引擎认为你的网页是无关紧要的

3、服务器,加载速度,前端优化等原因导致不能抓取你的页面

 

一、先说说网站的抓取项目问题

在做 SEO 的时候,可以经常使用一些免费的 HTTP 头状态检查工具,或者是 shell 工具,来确定是否存在正确的状态码,特别是对于大型网站。典型的爬行工具如 Xenu,DeepCrawl,Screaming Frog,或 Botify 都可以测试这些,建议大家一定要养成良好的分析 weblog 的习惯。

 

谷歌站长工具后台的抓取效果图:

 

SEO新手入门—为什么网站收录会大幅下降

 

百度站长工具后台的抓取效果图:

 

SEO新手入门—为什么网站收录会大幅下降

 

大家也都知道正确的页眉状态码是200,有时可能会出现一些3xx (除了301)、4xx 或5xx 等错误状态码——对于要索引的 url 来说,这些都不是好消息。当然还有些服务器有带宽限制,比如虚拟主机,因为带宽较高会带来相关成本; 这些服务器可能需要升级。有时,这个问题与硬件有关,可以通过升级硬件处理或内存限制来解决。

 

当访问者以一定速度访问太多页面时,一些网站会阻止 IP 地址。这个设置其实是一个很冒险的方法,虽然是以避免 DDOS 攻击企图的,但它也可以对你的网站有负面影响,所以得谨慎一些,避免网站抓取成为一个问题。对于小中型的网站来说,预算可以的话,能提升服务器宽带就提升下;对于大网站来说,如果爬取预算阈值太低,正常的搜索引擎机器人爬行可能会达到阈值,机器人也不能正确地爬行网站,所以运营人员、运维人员要做好预算以及服务器缓存技术设置,让抓取效率最大化。

 

网站如果有反 ddos 软件,要么放缓设置,要么放松 bot 白名单 ,让它在特定时段都不被阻止。同时要做好监控,有一些假的搜索引擎机器人在那里; 一定要正确地检测到 baiduspider/googlebot。

 

 

二、网站内容重复问题

还有个问题就是内容重复,当然这对于电商网站尤为严重!一般造成这些重复的原因,就是动态参数太多,没有做好静态化造成的。大部分的页面都是相似的,就很容易被搜索引擎给隔离开。比如 Google search console 后台给出了重复的项(可惜百度没有这样的功能):

 

SEO新手入门—为什么网站收录会大幅下降

 

 

修复重复内容通常需要实现规范标记、301重定向、 noindex meta 标记或 robots.txt 中的不允许选项,大多数情况下,索引页面的减少可能意味着一件坏事,但修复重复内容、旧内容或低质量内容也可能导致索引页面数量的减少,这些改良导致的页面索引下降反而是良性的。

 

咱们再看看这些参数,都是电商网站常出现的,如图:

 

SEO新手入门—为什么网站收录会大幅下降

 

当然还有其他的动态参数,比如 %,?,&…..这些都是造成重复的因素,技术人员一定要做好技术处理,避免大量动态生成。

 

 

三、网站的异常变动

这个也是导致索引大量下降的诱因,比如 CMS、后端 PHP 编程或服务器设置的更改都会导致主域、子域或文件夹的更改,从而改变了网站的 url,再加上没能及时修复这些链接,所以搜索引擎就会淘汰这些旧链接。搜索引擎确实可能会记住旧的 url,但是,如果它们没有正确地被重定向(一定要相关),或者其他技术处理,那么很多页面可能会被取消索引。再比如,大型网站一般改版都会留下数以万计的死链接,这些链接怎么去处理呢?这就需要具体问题具体分析了,也不能大量的去写301重定向,对搜索引擎也是一种不友好的行为….需要多手段去处理!

 

以上所说的也只是一部分,还有各种复杂的问题需要我们 SEO 工程师去检查…..索引问题也不是一朝的事情,几句话就能说清楚的!

    版权声明:

     本网站的所有文字、图片资料,未标注转字的均由作者亲自整理创作,如需复制、转载、转贴等方式发布/发表,请以锚链接的方式显示原文出处,请尊重我的劳动成果,侵权必究。本网站转载的文章如有侵权的地方请及时联系本人,核对后会第一时间删除!

阿沐
1625139774@qq.com

发表评论