Universal Analytics辨别及处理流量逻辑解读

嗨~ 朋友。如果你喜欢我的博客,那么现在就订阅它吧!

我们在之前的文章中曾经分别介绍过Google Analytics中不同的流量类型所表示的含义,以及Google Analytics是如何辨别和处理流量来源信息的。例如:Google将流量来源分为四个类别,直接流量,引荐流量,搜索流量和广告流量,并通过来源和媒介信息辨别流量的具体来源以及所属的类别。直接流量中可能除了直接输入域名和来自收藏夹访问之外,可能还包括了丢失来源信息的访问。

具体内容可以参看这两篇文章:

Google Analytics如何区分付费搜索关键词与自然搜索关键词

直接流量的秘密

当Google Analytics升级为Universal Analytics后,在辨别和处理流量的逻辑上发生了一些小小的改变。这些改变包括,对流量的来源进行了重新的划分(增加了社交媒体来源分类),记录流量来源方式的改变(不再依赖Cookie记录并存储来源信息),以及给分析师更多的选择权(分析师可以设置流量所属类别以及自定义流量分类规则)。因此,在本篇文章中,我们将对升级后的Google Analytics,也就是Universal Analytics对流量的辨别及处理逻辑进行细致和全面的解读。

Universal Analytics对流量的处理和辨别过程有一套完整的流程和逻辑。你可以在Google Analytics Developer Docs中找到完整的流量辨别逻辑和处理流程图。同时也可以在我博客的资源文档中下载到这张流程图

在这张流程图中清晰的记录了Google对于不同类型流量的处理顺序,逻辑和分类规则。Universal Analytics将流量分为两大类,分别是付费的广告流量和免费的自然流量。在处理流量的过程中也是按照先辨别付费广告流量,后辨别免费流量来进行的。其中,菱形图案中的信息表示Google辨别流量的条件,而蓝色的菱形图案表示这部分的辨别条件可以由工具使用者,也就是分析师按业务和分析需求进行设置。

本篇文章将围绕这张流程图的内容进行逐一解读,并说明在每一步的对流量的辨别过程,分类规则和优先级。下面我们先来看第一部分,Universal Analytics如何处理和辨别付费广告流量。

 

第一部分,广告流量的处理过程及逻辑

首先要说明的是,Universal Analytics通过广告的目标页面地址,也就是Landingpage中的参数名称来辨别广告流量的类型。

当我们访问网站时,Universal Analytics会首先检查Landingpage URL中是否包含参数信息。并通过参数名称来判断本次访问是否属于付费广告,以及属于哪一类的付费广告。

如上图所示,Universal Analytics会对Landingpage的URL进行三个步骤的参数检查。第一步是检查参数中是否包含有Google Adwords和DoubleClick的广告参数。Adwords的广告参数为gclid,DoubleClick的广告参数为gclsrc。如果Landingpage URL的参数中包含这两个参数。那么这次访问将被记录为来自付费广告流量,并且在报告中显示为来源=Google媒介=CPC。这里需要说明的是,只有当你在Adwords中启用了目标网址自动标记功能,才会出现gclid参数。你可以在Adwords中我的账户下的偏好设置中启用目标网址自动标记功能。

如果你使用了utm参数手动标记来自Adwords或其他搜索引擎或者广告的流量,在这一步Google不会进行辨别和处理。

第二步是对用户自定义的广告系列代码进行辨别。Universal Analytics默认的广告系列监测参数是utm,例如utm_source,utm_campaign等5个参数。但有时为了与网站后端的CRM系统使用的参数进行统一,也可以对默认的广告系列参数名称进行修改。例如在下图中,我们将广告系列默认的utm参数改为了另外5个名称。你可以在Google Analytics管理中媒体资源下的跟踪信息部分对广告系列参数进行自定义设置。

在第二步的辨别中,Universal Analytics会检查Landingpage URL中的参数是否使用了自定义的广告系列代码,如果有的话,本次访问就会被记录为来自付费广告的流量,并且记录在广告系列报告中。来源和媒介会显示我们预先自定义的参数值。

第三步是对utm参数进行辨别,如果本次访问的Landingpage URL中包含了Universal Analytics的默认广告系列参数,例如utm_campaign,utm_source,utm_medium等。那么本次访问同样会被记录为来自付费广告的流量,并且记录在广告系列报告中。来源和媒介会显示我们预先自定义的参数值。你可以在工具网址构建器中对网站进行自动标记,也可以从我的博客下载批量网址标记工具

在第一部分的三个步骤中,Universal Analytics对所有付费流量进行了辨别和分类处理。优先级最高的是Google自家产品Adwords,doubleclick的自动标记流量。其次是用户自定义的广告系列参数,最后是使用默认广告系列参数utm的流量。而不包含这些参数的流量,将在第二部分中继续按照自然流量的辨别逻辑进行处理和分类。下面我们继续解读第二部分,Universal Analytics对自然流量的处理过程及逻辑。

 

第二部分,自然流量的处理过程及逻辑

Universal Analytics通过HTTP head中的Referer信息来辨别自然流量的类型。

上图是Universal Analytics对自然流量的完整处理和辨别过程。在第一部分中未被处理的流量都将在第二部分中进行辨别和处理。其中菱形的图案是对流量进行辨别的条件,而其中蓝色的菱形图案中允许分析师按具体的业务及分析需求对流量的分类规则进行设置。而Universal Analytics在这一步辨别时,也将按照分析师的预先设置对流量进行相应的处理和分类。下面我们将逐一解读每一部分的处理和辨别逻辑。以及我们可以对分类规则进行哪些设置。

 

1,  Universal Analytics如何辨别搜索引擎流量

在对自然流量进行处理的第一步是辨别来自搜索引擎的流量。对于上一部分中没有被辨别和分类的流量,Universal Analytics会继续检查他们的HTTP head中的Referer信息。如果head中没有Referer信息,则进入到下一步进行广告效果最大化判断。如果在head中找到了Referer信息。则首先进行搜索引擎流量的判断过程。

Universal Analytics的逻辑和处理流程

Universal Analytics通过两个步骤来判断搜索引擎的流量。第一步,Universal Analytics将Referer中的域名信息与Google已知的搜索引擎列表进行匹配(这个列表并不完整,尤其是对中国的搜索引擎。在Google Analytics中列表可以在ga.js中找到,但在升级到Universal Analytics后analytics.js不再包含这个列表,不过你可以在Universal Analytics的帮助文档中找到这个Google已知的搜索引擎列表。)。如果可以找到Referer中的域名,则继续进入到搜索引擎流量辨别的第二步。(如何在这一步没有找到Referer中的域名,则会直接进入到社交媒体流量的辨别步骤中。)

在搜索引擎流量辨别的第二步,会对本次访问中访问者所使用的关键词进行辨别。默认情况下,Universal Analytics会对所有的搜索关键词进行同样的处理,即提取关键词信息,并将这部分流量分类为来自搜索引擎的流量。并在搜索引擎报告中记录来源为搜索引擎名称,媒介为organic。但如果我们对访问者搜索的品牌词进行过忽略处理时,那么在第二步辨别时会将包含品牌词的搜索流量直接归为直接流量。下面我们逐一说明在搜索引擎流量辨别和处理过程中我们可以进行的自定义配置。

我们的可以进行的自定义设置

首先是对搜索引擎的配置。Google已知的搜索引擎列表并不完整,尤其是对于中国的搜索引擎。例如有道,搜狗等等。默认情况下,这些搜索引擎不包含在Google已知的搜索引擎列表中,这部分流量将被错误辨别为引荐流量。因此,为了避免这种情况的出现,我们需要对搜索引擎进行自定义配置。具体的配置方法是在Universal Analytics管理中的媒体资源部分,选择跟踪信息中的自然搜索源。添加新的搜索引擎信息。

新添加的搜索引擎将帮助Google完善已知的搜索引擎列表,并且将来自此域名的访问分类为搜索引擎流量。

其次我们还可以按搜索关键词对流量进行分类设置。如果你认为通过搜索品牌词到达网站的访问者与直接输入域名的访问者并没有太大差异,只是这部分访问者无法记住域名,而通过搜索网站品牌词进行访问。这两类访问者都属于网站已有的忠实用户群。那么你可以将这部分搜索品牌词的流量设置为直接流量的分类中。具体的配置方法是在Universal Analytics管理的媒体资源部分,选择跟踪信息中的搜索字词排除列表。添加需要排除的品牌关键词。

添加排除搜索关键词后,通过搜索这些关键词访问网站的流量将被记录为直接流量,而不是搜索引擎流量。

搜索引擎流量辨别及处理的过程到这里就结束了。简单总结一下,首先Universal Analytics将流量来源中的Referer信息与Google的搜索引擎列表进行辨别。如果此域名包含在搜索引擎列表中,则继续进行下一步辨别。在第二步辨别中,将访问者所使用的搜索关键词与搜索字词排除列表进行辨别,如果搜索字词排除列表中包含了当前关键词,则这次访问被直接分类为直接访问。如果不包含当前的关键词,则分类为搜索引擎访问。

在这个过程中我们可以通过添加自然搜索源来完善Google 的搜索引擎列表,避免来自搜索的流量被错误的记录为引荐流量。也可以通过设置搜索字词排除列表将搜索品牌词的用户之间分类为直接流量。

 

2, Universal Analytics如何辨别社交媒体流量

Universal Analytics的逻辑和处理流程

对自然搜索处理的第二步是辨别来自社交媒体的流量。在上一步中没有被辨别为搜索引擎的流量将在这一步继续被处理。辨别和处理的过程与搜索引擎类似,Universal Analytics将这一步中的流量与Google的社交媒体列表进行对比。如果可以在列表中找到Referer中的域名信息,那么这些流量将被记录为社交媒体流量。在报告中的来源信息将显示为社交媒体的域名,媒介信息统一显示为social。

我们的可以进行的自定义设置

与之前提到的搜索引擎一样, 你也可以在Universal Analytics管理的媒体资源部分选择社交设置界面,添加社交内容网址。

 

3,  Universal Analytics如何辨别引荐流量

Universal Analytics的逻辑和处理流程

对自然流量处理的第三步是辨别引荐流量,在前两步都没有被辨别为搜索流量和社交流量后,剩余的流量将继续在第三步进行辨别和处理。这一步的辨别工作相对比较简单。Universal Analytics只检查Referer中的域名信息是否被我们设置为需要排除的引荐流量。如果域名信息没有被设置为排除,则全部都被分类为引荐流量。

这里有一点需要说明的是,在默认情况下,当你创建了Universal Analytics账户,并输入了要追踪的网站域名信息后,这个域名信息就会自动出现在引荐流量排除列表中。这个工作是Google自动完成的。目的是为了防止出现网站域名自推荐的情况。也就是在Google Analytics中经常出现的问题,就是你自己的域名出现在了引荐来源当中。

这在全站追踪的正常情况下是没有问题的。但是如果你只是用Universal Analytics对网站中的一个频道,或某个功能进行追踪时就会出现问题。因为所有来自同一域名下的引荐访问都会变成直接流量。因此,如果你只是用Universal Analytics追踪网站中的一部分页面或功能,需要从Google自动设置的引荐流量排除列表中删除自己的域名。

我们的可以进行的自定义设置

你可以在Universal Analytics管理下的媒体资料界面中选择跟踪信息中的引荐排除列表功能。来查看当前有哪些引荐域名会被排除。也可以在这里添加需要排除的引荐域名信息。

到此为止,自然流量中HTTP head中包含Referer信息的流量都以及处理完了。简单总结一下,Universal Analytics首先将Referer中的域名与已知的搜索引擎列表进行对比,辨别出来自搜索引擎的流量,然后再检查这部分搜索流量中的关键词是否包含被忽略的关键词。如果关键词被忽略,分类为直接流量,如果关键词没有被忽略,则记录为搜索流量。没有被分类为搜索引擎流量的Referer信息继续与Google已知的社交媒体列表进行对比。辨别出来自社交媒体的访问。而没有被分类为社交媒体的流量继续进入引荐流量的处理过程。在引荐流量辨别中,如果该域名包含在引荐排除列表中,则这部分流量直接分类为直接流量。如果没有包含在引荐排除列表中,则分类为引荐流量。

前面解读了对HTTP head中包含Referer信息的流量辨别和处理流量。还有一种情况是HTTP head中不包含Referer信息。这部分流量如何处理呢?我们之前一直认为这部分流量会直接被记录为直接流量。但在Universal Analytics中有了一些变化。

 

4,  Universal Analytics的广告效果最大化原则

对于HTTP head中不包含Referer信息的流量,Universal Analytics并没有直接将这部分流量分类为直接流量。而是再次对这部分流量进行了两次判断。以确定这部分流量的分类。由于在这部分的处理逻辑中会将没有明确来源的流量追溯到上一次的广告访问来源。因此我们称这一步为Universal Analytics的广告效果最大化原则。

Universal Analytics的逻辑和处理流程

对于没有Referer信息的流量,Universal Analytics会检查是否存在Campaign数据或UserID和媒体资源ID,也就是追踪代码中以UA开头的那串数字。如有的话,则会追溯到这个访问者上一次访问网站时的广告来源。并检查广告系列的有效期时间。如果本次访问在广告系列有效期范围之内,则将本次访问的流量将归属为上一次的广告系列来源。而如果本次访问发生的时间超出了广告系列有效期,则将本次访问分类为直接访问。

与之前流量来源覆盖规则的差异

广告最大化原则的处理流程与之前Google Analytics的Cookie来源覆盖规则很相似,引荐来源,广告系列来源和搜索引擎来源可以覆盖直接访问来源,直接访问不能覆盖任何其他来源信息。而在Universal Analytics中,因为不再使用Cookie记录来源信息。因此也没有Cookie来源覆盖规则。

我们的可以进行的自定义设置

对于Universal Analytics广告效果最大化的处理原则,如果你不希望将没有Referer信息的流量被记录为上次的广告来源。可以通过设置广告系列超时来解决这个问题。Universal Analytics默认的广告系列有效期为6个月。而在管理界面中的媒体资源部分,你可以通过设置跟踪信息中的会话设置来改变广告系列有效期的时间。如果希望获得比较真实的访问来源信息,可以在这里将广告系列超时设置为1天。

 

在这部分中除了可以设置广告系列有效期之外,还可以对每次访问的超时时间进行设置。这部分Universal Analytics默认为30分钟。但这只是一个默认值,并不符合所有网站和业务模式。因此请按照你具体目的和需求来设置这些值。这已经超出了本篇文章的内容范围。我们会在后面的文章中对Universal Analytics中所有的自定义设置进行汇总,并说明在代码实施过程中需要考虑的问题。

 

5,  Universal Analytics如何辨别直接流量

前面我们介绍了除直接流量以外所有流量的处理逻辑和分类规则。最后我们来看下直接流量。在Universal Analytics中直接流量包含四大类属性。

第一类是由被设置为忽略关键词产生的搜索引擎流量。这类流量默认应属于搜索引擎流量,当我们设置了关键词忽略后。将被分类为直接流量。

第二类是被排除的引荐流量。这类流量默认应属于引荐流量。Universal Analytics为了防止自推荐的产生,默认将被追踪网站的域名排除在引荐流量以外。同时我们设置的域名也将被排除在引荐流量以外,而被分类为直接流量。

第三类是没有Referer信息,可以追溯上次访问的广告系列来源,但本次访问的间隔时间已经超过广告系列有效期的流量。这类流量由于超过广告系列有效期,无法归属为上次的广告系列来源,因此被分类为直接流量。

第四类是没有Referer信息,并且也无法追溯上次访问的广告系列来源的流量。被分类为直接流量。

Universal Analytics辨别及处理流量的逻辑到这里就都解读完了。可以发现Universal Analytics在对流量的辨别及处理过程有很多条件是允许使用者,也就是网站的分析师进行自定义设置的。同时在流量来源报告中Universal Analytics也打破了之前长期不变的直接访问,搜索引擎,引荐流量和广告系列四个流量分类。这让Universal Analytics可以更加贴近业务和分析的需求。但也对使用者提出了更高的要求。如果说Google Analytics是一个可以带着你,引导你进行分析和发现的工具。那么Universal Analytics就是一个开放和自由的平台。

—【所有文章及图片版权归 蓝鲸(王彦平)所有。欢迎转载,但请注明转自“蓝鲸网站分析博客”。】—

No related posts.

Comments

  1. Jackson says:

    王老师,您好。我是您博客的忠实读者。
    关于这篇文章的第二部分,第2点 “Universal Analytics如何辨别社交媒体流量” 里提到的自定义设置社交媒体好像有误吧? 从GA的文件资料来看,这里的设置是针对Social Activities和GA账号的绑定的,并且最主要是针对social data hub partners的,而且现在像主流的Facebook、twitter,还有像国内的weibo等都没有参加这个项目;也就是说这个设置主要不是用来自定义流量来源的吧?
    参考:https://developers.google.com/analytics/devguides/platform/social-activities
    https://developers.google.com/analytics/devguides/socialdata/#partners

    [回复]

    蓝鲸 回复:

    感谢提醒。对于社交流量的辨别原理我会在检查下。另外也感谢提供的参考内容。

    [回复]

    蓝鲸 回复:

    确实如你所说,社交媒体的辨别不能通过Social Settings设置或进行更改。Google只说会和a list of known social networks进行对比,但并没有提供这个list,也没有提供更改或添加的方法。Social Settings应该是针对social data hub中的自定义页面或频道设置。

    [回复]

  2. neil says:

    你好,有一个GA的使用问题想请教一下,但找不到相关的帖子,冒昧在这一问一下:
    以前我上GA是可以访问的,但从上一周开始突然就访问不了了。

    现在GA 网站首页还是可以上的,但是只要登录后,想进入GA,GA就提示“403. That’s an error.”
    ,“Your client does not have permission to get URL /analytics/web/ from this server”.
    现在我的电脑上用其它人的账户也登录不上,而我的账户在其它人的电脑上可以登录上GA。我估计是GA是不让我的电脑去访问GA了。
    能否指点一下怎么办?

    [回复]

    蓝鲸 回复:

    抱歉,我还没有碰到过这样的情况,但感觉不允许你的电脑登陆GA的可能性不大。试着清理下cookie或者换个浏览器在登陆下试试呢?不知道这样能否解决问题。

    [回复]

  3. 刘聚seo says:

    你好王老师,看过了你的《网站分析实战》受益匪浅,有迫不及待的买了《流量的秘密》这本书,现在正在拜读,不过感觉如果两本书的阅读顺序如果颠倒一下更好。没想到还是沙发啊,做上了。

    [回复]

    蓝鲸 回复:

    感谢关注。网站分析实战比较基础,流量的秘密则是专注于介绍Google Analytics工具的,比较偏技术。

    [回复]

  4. Louis says:

    每次来网站都有一个不小的收货,然而对GA的应用还是不是那么熟悉,最近又遇到一个难题,希望蓝鲸大哥帮忙回答下,谷歌最近改变了url地址,以至于以前的跟踪代码失效:
    // google
    // 修改域名为 images.google.*,现在默认的图片搜索的域名是 wwww.google.*

    var ref = document.referrer;
    if ((ref.search(/google.*source=images/) != -1)) {

    var regex = new RegExp(“.google.([^/]+)(.*)”);
    var match = regex.exec(ref);
    _gaq.push(['_setReferrerOverride', 'file:///C:\DOCUME~1\ADMINI~1\LOCALS~1\Temp\%W@GJ$ACOF(TYDYECOKVDYB.pnghttp://images.google.' + match[1] + match[2]]);
    }
    _gaq.push(['_addOrganic', 'images.google', 'q', true]);

    现在这个GA 如何区分谷歌的网页搜索和图片搜索来源就成问题了。不知道该怎么配置?希望蓝鲸大哥想到什么好的方法能我个邮件 谢谢!

    [回复]

  5. 厦门seo says:

    老师,你好!有个问题请教你:Universal Analytics的新版监测,自定义广告系列代码(例如utm_campaign,utm_source,utm_medium)这个功能找不到了, 如果我们直接升级原来的代码,是不是之前自定义的广告歌系列代码就无法实现数据监测了呢? 谢谢!

    [回复]

  6. violet says:

    蓝大能否多讲讲universal anallytics这块的,刚开始学习ga,用的是ua这个版本,感觉目前的教材都是以ga为蓝本的,所以好多和ua都不一样,比如在ua里找不到热力图,不能进行受众细分等,学习起来很不方便。谢谢

    [回复]

Speak Your Mind

*

Website Feedback
Feedback Analytics