注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

易水寒

风萧萧兮易水寒这里是你学习的基地,SEO、网络推广,电商营销,微信营销教程

 
 
 

日志

 
 

网站收录和快照不及时  

2012-09-09 11:43:55|  分类: 网站如何优化 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

对于SEO诊断一直是我坚持的一项工作,前面跟大家谈到很多关于SEO诊断的想法,很多都来自于一些朋友的提问咨询,以及自己网站问题的发现和研究。今天我再给大家带来一个诊断案例,主要问题式针对网站收录和快照不及时的问题。

昨天一个朋友找到我,让我帮他诊断下网站的症状,先和他交流了下,了解了一些他网站的情况:他的网站每天都有更新,但是百度第二天都没有收录放出,只是在每次周更新或者月更新的时候会放出之前的许多页面,快照也更新很慢,但是也会随着收录放出慢慢跟上,情况持续已经一个多月。下面是我的一个思路,希望对大家有一定的帮助。

首先我建议这位朋友查看网站的LOG日志,因为LOG日志能够反映百度蜘蛛在网站内部的抓取情况。据我了解,目前很多朋友是没有查看LOG日志的习惯的,或者说多查看LOG日志有心无力,这位朋友就是,他说他有查看LOG日志,但是却不懂得怎么去分析。下面简单的介绍下我的分析思路。

1、查看搜索引擎蜘蛛的抓取概要分析,了解各个搜索引擎蜘蛛的访问次数,总停留时间,总抓取量和所占比例,下面是朋友网站的概要分析(利用光年日志分析工具查看结果),其中可以很清楚的看出,百度蜘蛛对于网站的抓取量还是不错的,有292词,访问次数有126次,总停留时间8.873小时,所占所有蜘蛛比例的41.011%。

网站LOG日志概要分析

网站LOG日志概要分析

有的朋友可能会产生疑惑,既然百度蜘蛛总停留时间这么长,单次停留时间也不低(PS:蜘蛛单次停留时间=总停留时间/访问次数=0.0704小时/次=4.225分钟),那么为什么网站的收录却跟不上呢?带着这样的疑问,下面再分析下百度蜘蛛对于其他页面的抓取。

2、查看百度蜘蛛对于网站目录抓取的情况,从下面的抓取图中可以很清楚的看出百度蜘蛛对于home,product目录的抓取还是比较多的,对于网站内部另外一个重要的目录news抓取却不多,而这个目录就是网站每日更新做的比较多的工作目录。蜘蛛还抓取了一些后台文件目录如upload,files,img等。

网站目录抓取情况

网站目录抓取情况

从上面的分析可以看出百度蜘蛛对于网页内部的抓取是不合理的,问题主要是:1、网站内部结构对于news栏目抓取力度不足;2、home目录作为社区,product目录作为产品中心,分散了网站蜘蛛抓取的资源;3、网站对于一些不必要抓取的目录没有很好地限制。解决问题就需要从这三个方面入手。

1、引导蜘蛛更多的抓取news目录下面的网页,如针对更新的页面创造更多的链接入口,其中包括站内的互相链接导入,站外的外链发布等。

2、查看网站的社区基本上已经没有更新,可以考虑先将home目录屏蔽掉,让权重和蜘蛛更多的导入进news栏目。product目录是一个比较重要的目录,但是更多的应该引导其抓取没有收录的或者新的产品。查看网站产品页面,发现对于相关产品推荐力度不够,可以在这一块进行改进。

3、运用robots文件或者nofollow标签,对于网站不重要的目录或者页面,以及后台的一些文件进行限制。

另外,还有一点思考,百度蜘蛛停留时间比较多,但是抓取量不算特别多,还需要查看百度蜘蛛抓取页面返回的状态码200,304和404所占比例。如果304比较多,那么是否考虑将这些蜘蛛资源进行合理的分配到未抓取的页面。如果404页面比较多,那就要考虑蜘蛛是不是被带进一些陷阱里面,检查网站内部造成404状态码的页面,并加以改正。

前面谈到的多是站内的蜘蛛抓取分配,但是如果站外的蜘蛛引导不够给力,那么依然不能够做好网站的收录和权重提升(PS:网站快照是网站权重的一个体现)。可以操作的方法如下:

1、重新建立网站地图,其中包括html和xml两种格式地图,在robots文件中书写抓取规则,引导蜘蛛抓取网站sitemap地图。写法如下:

Sitemap:http://www.xxx.com/sitemap.html

2、多建立内链外链,给网站的每个网页尽可能多的蜘蛛抓取入口,让网页抓取量尽可能的提高。特别是对于外链建设这一块,可以考虑网站更新之后,立即去一些高权重的平台,如论坛,博客等,发布文章或者目录的链接,吸引蜘蛛抓取。

简单,粗浅的从自己的角度谈了下LOG日志分析的一点小思路,希望对大家有一定的帮助。

  评论这张
 
阅读(138)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017