SEO日志文件分析简介

SEO谈到什么是日志文件？日志文件包含服务器上所有行为的记录，对于SEO来说，最有用的是搜索引擎爬虫和用户的访问行为。日志源文件如下所示：乍一看不像一团糟，不要惊慌，我们将仔细分析其中的每个参数。  

例子  

50.56.92.47-[01/2018年3月\/2018年：12：21：170100]\“GET\”-\/wp-content\/themes\/esp\/help.php\“-\”404\“-\”Mozilla\/5.0\“-www.example.COM-  

每个日志包含：IP、访问日期、GET方法、返回代码、用户代理、URL、托管这些参数  

日志，因为日志是获得搜索引擎如何访问和爬行网站的唯一途径。虽然搜索引擎站长后台、第三方爬虫、搜索指令可以给你一些参考，但只有日志文件才能给出最全面、最详细的信息。  

如何将日志解析为SEO服务？  

解析日志文件有助于SEO，如下所示：  

1。确定哪些页面可以爬行，哪些页面不能  

2。查看搜索引擎访问页面返回代码，特别是分析返回302页和404页  

3。找出抓取问题及其背后的原因。位置搜索引擎爬行频繁的网页和理由  

5。履带抓取资源浪费分析  

如何获得日志文件？  

可以直接从服务器下载，并根据您的需要选择一段特定的时间。有些网站需要一个月或更多的原始数据。下载前最好先与操作员交谈，无论日志是否包含多域数据和http协议。  

可以使用什么工具来分析日志文件？  

Excel可以用来分析，下次我们将写一篇相关的文章。目前，尖叫青蛙和日志文件分析器、Splunk、GamutLogViewer是国外分析日志数据的工具。中国的光年分析工具也相当不错。  

分析日志  

A  

的具体步骤首先，什么是爬行动物资源，Google曾经定义过：\“Googlebot可以抓取并希望爬行的URL数量？”  

也就是说，爬虫资源是搜索引擎每次抓取的网页数量，爬行量与站点的权重和内部链接的权重有关。  

Crawler资源有时会浪费在不相关的页面上，但是如果您输出新内容，爬虫资源已经耗尽，不能被搜索引擎包含。这也是一个重要的作用，监测爬虫日志，以找出哪里的资源是浪费。  

优化爬虫资源分配将使搜索引擎能够更好地捕获站点的核心页面。  

影响爬行动物资源  

太多的低质量页面将影响爬虫资源的分配，低质量页面包括但不限于：  

1。具有太多参数的多个过滤器和页面  

2。重复内容页  

3。劫持页  

4。低质量的垃圾邮件内容页面  

让爬虫抓取这些页面实际上没有任何意义，反而压缩了真正的高价值页面抓取资源，导致搜索引擎无法及时收录高质量的内容并给出排名。  

B.解决SEO技术问题  

通过分析日志文件，您可以更好地定位和解决问题：有多少次  

特定目录被获取，例如：产品页面，列表页面，所有目标搜索引擎爬虫来访问该网站？  

哪些页面有爬行问题要检查返回代码3xxx。这些页的4xx5xx  

日志分析  

这是最近的日志分析与尖叫青蛙的客户  

发现在日志中，谷歌经常抓取奇怪的网页。前15位抓取的大多数页面是302个跳转页面，或者404页是不能打开的，Google花了大量的时间使用参数  

访问页面，因此我建议客户处理这些跳转和参数页面，使用机器人来禁止爬虫爬行，更新跳转状态，解决软件404问题，在执行这些操作之后，谷歌确实大大提高了这个网站的效率。对包容和排名也有积极影响。