我使用Firebase Analytics并将数据导出到BigQuery。 现在,我想过滤数据并按时间戳对其进行排序。 我写了这个查询:

SELECT event_timestamp, event_name, event_params, user_id,
user_pseudo_id, user_properties, STRUCT(device.category,
device.time_zone_offset_seconds, device.is_limited_ad_tracking) device,
platform FROM `myTable` ORDER BY event_timestamp;

但这会导致Error: Resources exceeded during query execution: The query could not be executed in the allotted memory. Sort operator used for ORDER BY used too much memory.. Error: Resources exceeded during query execution: The query could not be executed in the allotted memory. Sort operator used for ORDER BY used too much memory.. 我认为数据太多,无法放入BigQuery的内存中。

我必须对数据进行排序的原因是,我想下载数据并按时间戳的升序在本地应用程序中解析它们。 而且,如果我将排序角色更改为应用程序,则必须花费很多时间。

我不太了解Google Cloud Platform的功能。 有什么好的方法可以在GCP上对海量数据进行排序?

  ask by lipsum translate from so

本文未有回复,本站智能推荐:

1回复

从Firebase到BigQuery的实时或每小时数据同步

我们正在使用 firebase 来捕获我们应用程序上的事件。 我们已将其与 BigQuery 连接起来,以便将 firebase 捕获的分析数据导出到 BigQuery。 对我们来说唯一的问题是数据导出到 BigQuery 24 小时发生一次。 我们希望每小时将数据导出到 BigQuery。 我还没
1回复

如何查找用户使用Bigquery和Firebase数据在一个会话中执行“NowPlayingActivity”所需的时间?

这是我的数据的样子: 现在,假设“第 1 行”中的用户已在某个“event_timestamp”启动了“ga_session_id”1605744304。 假设这次是 X。 现在,在第 2 行的特定时间段(图片 2nd)之后,该用户在“event_params.value.string_valu
1回复

更改Firebase/Google分析收集的默认数据

我们在我们的 android 应用程序中使用 Firebase/Google 分析。 每个事件都保存有大量额外信息(用户 ID、设备信息、时间戳、用户属性、地理位置……)。 默认情况下,额外信息在那里,但我们不希望它被收集。 我们尝试了两件事: 1) 更新 Big Query Schema 从 B
1回复

Firebase用户属性-如何正确存储列表值?

无法存储列表值。 例如“自闭症,唐氏综合症,焦虑症”或“瑜伽,运动”等多种兴趣。 我们尝试将每个值分别存储,但随后这些值会相互覆盖。 存储“自闭症,唐氏综合症,焦虑症,抑郁症”将不起作用,因为符号上限为38个,且未存储任何内容。 这对于分析确实很重要。 这样,我们可以立即在Fire
1回复

FirebaseAnalytics导出缺失期和其他问题

如果您能帮助我解决 Firebase Analytics 导出到 BigQuery 的以下问题,我将不胜感激。 数据导出在 2019 年 12 月 29 日之前一直正常工作,之后由于存储限制而停止,不幸的是,技术团队没有采取行动。 最近我们在 2020 年 7 月 5 日升级到了 Blaze 计划
1回复

在导出到BigQuery的FirebaseAnalytics数据中,有些事件的ga_session_id为null

我正在使用导出到 BigQuery 的 FirebaseAnalytics 数据来分析我们的应用。 为了检查用户转换,我编写如下 sql。with users_with_screen_view_and_session_id as ( SELECT user_id, user_pseud
2回复

如何在新架构中编写Bigquery,并在Firebase分析中替换旧架构中的event_dim?

旧的BigQuery Export架构明智的脚本正在运行。它在下面给出。 但是我希望复制此代码并根据新的导出模式编写它,因为我们更改了Bigquery模式。 请帮助因为新的BigQuery Export模式我没有找到任何针对event_dim的其他相应记录(event_dim是根据旧的Big
3回复

无法按BigQuery/Firebase中的内容对购买者进行排序

我正在使用Firebase分析移动应用程序。 Firebase中的数据已导出到BigQuery。 我正在尝试使用以下以标准SQL编写的查询来计算与特定内容相关的购买者: 但是我收到错误消息:“无法以不可比的类型STRING和ARRAY执行IN子查询” 我试图在“ IN”运算符之后使