> 腾讯云 > 如何通过网站日志logs判断百度蜘蛛/搜索引擎爬虫是否来过网站抓取信息?

如何通过网站日志logs判断百度蜘蛛/搜索引擎爬虫是否来过网站抓取信息?

很多新人站长们做网站总在纠结网站怎么没收录,怎么一个星期了网站还查不到信息。

一个网站是否收录对于网站在该搜索引擎排名至关重要,如果没有抓取就不会有收录,更谈不上网站排名优化和获得更多用户搜索查找到了。为什么不收录,怎么能收录?在这里简单给大家讲讲原理:
一个网站是否收录需要看网页是否被百度蜘蛛/搜索引擎爬虫爬取,并且是否有持续的抓取,这些都是搜索引擎识别和收录网站的前提。那如何查看为什么百度蜘蛛/搜索引擎爬虫是否来过网站抓取信息呢?这里就需要提到一个东西:网站日志。

如何获取网站日志

在一个网站里,都会包含有搜索引擎日志的,不管是虚拟主机还是服务器。那如何找到并分析这个网站日志就是我们当前需要去做的事情了。以下给大家分虚拟主机以及服务器两块进行讲解如何获取日志,希望对各位朋友有所帮助。
1、虚拟主机的网站怎么查看蜘蛛?
通过虚拟主机操作平台找到日志,进行下载,这里以某网站的香港虚拟主机100M来讲一讲:
找到虚拟主机操作后台,通过控制面板找到网站日志(含蜘蛛) 点击生成需要的日志,比如是当天的蜘蛛日志,或者一天前,二天前,三天前[这个需要根据需要进行下载]。
注意:大部分虚拟空间是只可以下载前一天或者前几天的,没办法下载当天的。

2、云服务器上的网站怎么查看蜘蛛?
以下以Linux(CentOS)安装宝塔的服务器来举例,需要先找到对应域名站点,点击后面的设置,找到响应日志,点击进去选择需要的日期日志下载即可。这里不限阿里云、腾讯云、百度云服务器,操作方法基本一致。

如何分析网站日志:

可以通过光年日志分析工具分析,也可以用一个在线日志工具拉格好loghao进行处理。当然,省心一点可以直接用在线日志分析,通过在线分析可以得出蜘蛛爬取的情况。

通过每天的蜘蛛情况来知道百度蜘蛛/搜索引擎爬虫是否有来,爬取了哪些页面,当然,如果想更好的让蜘蛛来到网站也可以用一些外链或者其他方式来吸引,方式多种多样,并且很多在网上都有说的,这里就不多说。

今天给大家分享了百度蜘蛛的查询方法,下一期继续讲云服务器吧。