将 Google Analytics 数据导入 Azure Blob/Data Lake 的最佳方法是什么？

Question

我正在尝试将 Google Analytics 数据导入 Azure Blob 或 Data Lake 存储以进行分析或报告。 但是我在 Azure 数据工厂中没有看到 Google Analytics 连接器。

我看到一些第三方连接器，例如 CData、Xplenty、Stitchdata 等，但它们都需要付款。 我也尝试过 Google Analytics API，但由于我的知识有限，我不确定如何使用它来将数据导入 Azure。 有没有办法将 Google Analytics 数据免费引入 Azure？

Answer 1

遗憾的是，Azure 数据工厂不支持 Google Analytics 连接器。

参考： Azure 数据工厂支持的连接器。

我建议您投票支持另一个 Azure 客户提交的想法。

https://feedback.azure.com/forums/270578-data-factory/suggestions/36151204-azure-data-factory-google-analytics-connector

你在这些论坛中分享的所有反馈都将由负责构建 Azure 的 Microsoft 工程团队监控和审查。

Answer 2

根据我的研究，您可以通过 2 种方法将数据从 Google Analytics 数据传输到 Azure Blob。

1.在这种情况下，我如何将谷歌分析数据导入谷歌云平台？ 可以将数据从 Google Analytics 传输到 Google BigQuery。 ADF 支持Google BigQuery 连接器。

2.ADF 支持 REST 连接器。 你可以参考这个api文档： https : //developers.google.com/analytics/devguides/reporting/core/v3/reference

Answer 3

我希望我回答这个问题还不算太晚。

我也一直在研究这个问题，并将我的选择范围缩小到以下几点：

1. Google BigQuery 的粒度/命中级别数据：截至 2019 年 11 月，Azure 数据工厂中有一个可用的连接器。 要使用它，您必须将 Analytics 360 连接到 BigQuery。 Analytics 360 的成本约为 15 万/年，我认为这不是最合理的选择。

2. 采样数据：您可以编写 Service Worker 以使用 Reporting v4 api 或 Streaming analytics api 在 azure 中获取数据（实时或其他方式）。 同样，这是采样数据，我认为它不会带来显着的价值。

3. 使用事件路由的粒度/命中级别原始数据：您可以通过注入自定义 javascript 将命中级别数据路由到您的服务器来修改 google 分析 javascript 代码。 这篇文章更详细地描述了这一点。 摄取原始的谷歌分析数据

下周，我将着手处理这个问题，并使用 azure 工作人员和 SQL Server 捕获 azure 上的所有内容。 如果我能帮上忙，请告诉我。

Answer 4

参考核心报告 API 可以让您获得相当多的维度和指标。 数据工厂有一个 rest 连接器，它也适用于 OOB 分页。

另一个不错的选择是在两者之间使用大查询并利用数据工厂大查询连接器。

第三种选择是使用 GTM 回调方法将您的数据层推送到可以被 azure 中的功能应用程序之一监听的 API。

Answer 5

我已经实施了一个相当低成本的解决方案，而无需 G360。 这是使用 Google 标签管理器完成的，该管理器将点击复制并推送到 Azure 事件中心，然后您可以根据需要使用它。 一种选择是将文件保存到 blob 存储以备后用（使用事件中心捕获）或用于 Azure 流分析作业，甚至可能是 Azure Functions。

这是受到这个推动扫雪机的博客的启发。

Answer 6

这个问题非常广泛，已经分享了很多好的解决方案。 然而，只是为了更新，新版本的 Google Analytics (GA4) 提供了与 BigQuery 的免费数据集成。 从那里可以轻松地将其移动到 Azure 数据工厂。