专业

深圳网站优化客服热线:SEO
首页 > 百度优化首页 >> 百度优化

SEO数据分析日志分析的重要性附常用shell语句详情

深圳网站优化

SEO数据分析日志分析的重要性附常用shell语句
http://www.dongweijia.com 发布时间:2019-05-30 

 SEO数据分析日志分析的重要性附常用shell语句
 SEO数据分析日志分析的重要性附常用shell语句

前篇说过在seo工作中始终伴随的是数据分析,说到seo中的数据分析那日志分析一定是重中之重,怎么强调都不为过。

数据分析

今天列一个问题,也是新手们常常问的,问题叫:我的网站某个栏目为什么某某搜索引擎不收录?那我们就从这个不收录说起!

其实,大部分问题都能从日志分析中找到解决办法,首先我们从网站日志中可以分析出网站是否有搜索引擎抓取 、哪个搜索引擎抓取、抓取数量、页面/栏目抓取次数、抓取频率/时间、URL/返回状态码,那么你会问这些数据对seo有什么用呢?

首先:搜索引擎是否抓取以及哪个搜索引擎简单解说,搜索引擎一直不抓取就不用想收录了,肯定没有,那么就去提交连接,现在百度放开这么多口子,收录其实已经很容易了,比如提交连接,抓取诊断,主动推送,sitemap提交等等都是不错的。

第二:某个栏目不收录,分析日志发现该栏目无抓取/抓取少,那么你可以从那些抓取多的栏目导入一些连接给该栏目,另外搜索抓取频率/时间可以很好的反应出你网站内容更新数量及质量,至于怎么做看你自己咯。

第三:URL/状态码,你辛苦更新好久不收录,然后看看日志发现抓取的都是错误URL,是不是要吐血?或者你发现你网站中很多抓取都是404页面是不是要再吐一口?

综上所述,seo工作中日志分析非常重要,如果你是新手那么赶紧学习一下,跳槽的时候都能吹吹牛逼不是?

分享一些seo日志分析中常用的shell语句:

seo日志分析

//统计不重复抓取数量

cat baidu.log | awk '{print $4}'|sort|uniq|wc -l

//统计所有状态码数量

awk '{print $10}' baidu.log |sort|uniq -c

//统计某个目录抓取次数

grep ''/shop'' baidu.log | awk '{print $4}' |sort |wc –l

//统计404页面的抓取数量

awk '{if($10==''404''){print $0}}' baidu.log|sort|uniq|wc -l

//统计每个ip下对应URL的抓取次数

awk '{print $6,$4}' baidu.log |sort|uniq –c

//提取百度蜘蛛访问数量前10的网站目录及访问次数,并降序排列

awk '{print $4}' baidu.log |grep -P ''[^/(a-zA-Z)|^/(a-zA-Z)/]''|awk -F''/'' '{print $2}'|sort|uniq -c|sort -r|head -10

//提取某个目录百度蛛蛛访问次数

cat baidu.log | grep “/shop/”| wc –l

cat baidu.log |awk ‘{print $4}’ |grep “/shop/” |wc –l

cat baidu.log |awk ‘{print $4} |awk –F”/” ‘{print $2}’|grep “shop”|wc -l

//统计首页抓取的次数占总体抓取次数比率

cat baidu.log |awk '{print $4}'|awk '{if($0==''/''){n=n 1}}END{print n/NR*100''%''}

我是尔东,一个不太合格的seo从业者,老铁们码字不易,动动手指收藏转发 关注,感谢!


 SEO数据分析日志分析的重要性附常用shell语句