如何查看网站被百度抓取的情况?
如何查看网站被百度抓取的情况?
百度常用的抓取网页叫Baiduspider-百度蜘蛛,我们看一下百度抓取网站的情况主要是分析,百度蜘蛛网站Baiduspider登录活跃性:抓取频率,返回HTTP状态码。
如何查看日志:通过FTP,在网站根目录中查找日志文件,文件名通常包含log,下载并解压其中的记事本,记事本是网站的日志,记录网站的访问和运行方式。
由于每个服务器和主机的情况不同,不同的主机日志功能记录的内容不同,有的甚至没有日志功能。
日志内容如下:
分析:
GET/Forum/Thread-7303-1-1.-htmlrepresents,grab/forum/thread-7303-1-1.-htmlThispage.
201代表成功捕获。
888代表获得888字节。
如果这不是日志的格式,则表示日志的不同格式。
在许多日志中,20000和200064代表正常抓取。
抓取频率是通过查看百度蜘蛛每天的日志抓取次数来知道的。对于捕获频率没有标准的时间表或频率编号,我们通常通过几天的日志对比来判断。当然,我们希望百度蜘蛛每天抓取的次数越多越好。
【版权与免责声明】如发现内容存在版权问题,烦请提供相关信息发邮件至 1439028666@qq.com ,我们将及时沟通进行删除处理。
本站内容除了 98link( http://www.98link.com/ )特别标记的原创外,其它均为网友转载内容,涉及言论、版权与本站无关。