cost 45 ms
BigQuery - 按时间戳事件过滤的最佳方式

假设我有一张表,其中包含所有日期和每天多个工厂位置生产的一些数据。 第二个表包含发生某些事件的日期列表,这会使下一周的结果无效(即,1 月 1 日的事件会使 1 月 8 日之前的结果无效) 从 A 中删除所有“无效”天的最干净的方法是什么(基于位置+事件)? 一个明显的解决方案是使用 JOIN TA ...

2022-09-27 21:32:04 0 4
连接到 Data Studio 时,大查询屏蔽列不起作用

最近我在 DataPlex 中创建了一些策略来屏蔽 Big Query 中的(匿名数据)列,当我连接工作表时它可以工作(显示匿名数据),但是当我连接到数据工作室时,它显示未屏蔽的列值。 Ej。 Email: 数据洞察显示:jfprsm@gmail.com 大查询显示:asKdasEewdFrwe ...

2022-09-27 18:16:31 0 13
DBT 未在表中应用大查询策略标签

我正在尝试从我的 DBT 项目中在我的 BQ 表中添加策略标签,但是当我执行dbt run它不会应用任何策略标签,而是添加了该字段的描述,我认为数据目录正在工作,但出于任何原因不是应用策略标签,我将此配置添加到我的 model 中: 这在我的 yml 文件中: 此外,我已经将数据目录管理员的权限授予 ...

2022-09-27 16:34:51 0 4
BigQuery 自动检测架构并创建表,以防 apache_beam 中的流式作业

我有一个 stream 的信息进来,想在 BigQuery 中记录它们,但问题是用户可以在开始 apache_beam 作业之前定义一个新的表名。 stream 中的架构也可以超时更改。 我想知道是否有人使用 Python SDK 为流式 apache_beam 作业实现了自动表创建和架构更改 ...

2022-09-27 14:55:30 1 5
无法从 BigQuery 作业连接到不同项目中的 Cloud SQL Postgres

我无法将 BigQuery(在项目 A 中)中的外部连接添加到 Cloud SQL Postgres(在项目 B 中)。 我想使用 EXTERNAL_QUERY 语句,但我无法连接到我的 Cloud SQL 实例。 我想添加连接时的错误如下: CloudSQL 实例必须与查询连接在同一个项目中。 ...

2022-09-27 14:48:19 1 14
编写 BigQuery UDF 以解密列数据

问题陈述:我想写一个 BigQuery UDF 来解密表列设置: PII 信息在表列中使用 tink package 加密 KEK(密钥加密密钥)位于 KMS 中 DEK(数据加密密钥)位于云存储中我已经编写 BigQuery EXTERNAL Table 来访问 DEK json 即select ...

2022-09-27 14:33:10 0 11
Azure 事件中心到使用数据流的 GCP BigQuery

我们将消息接收到 Azure EventHub。 我们考虑将它们存储并公开到 GCP Bigquery 中。 假设 EventHub 类似于 kafka: 使用数据流模板这样做是否合法? 查看GCP 中的可用模板听起来好像它不包含参数凭据和消费者组。 是否有我们已经可以使用的现有模板? 非常欢迎您 ...

2022-09-27 14:23:45 0 8
在没有服务帐户的情况下连接/读取 BigQuery 表

我有一个需要访问 BigQuery 的 JAVA(Springboot) APP。 大多数教程建议使用服务帐户来允许 APP 与 BigQuery 对话,但是,我们希望根据特定的 USER 访问它以进行监控。 这可能吗? 任何见解都会非常有帮助。 谢谢! ...

2022-09-27 12:05:49 0 5
使用 BigQuery 的工资变化百分比

使用 bigquery,我必须计算从 2020 年到 2021 年的工资百分比变化。我有虚拟就业数据。 为简单起见,我只分享其中的几行。 突出显示的列是必需的列,我希望结果仅采用这种形式。 公式 = (salary_2020-salary_2021)/salary_2020)* 100 问题:1) ...

2022-09-27 11:48:26 2 33
带有事件和 UNNEST 的 UPDATE 语句 GA4 Big Query SQL

我试图找到一种方法来更新具有 event_name page_view 和 key page_location 的记录,后者包含一些模式。 下面的查询为我提供了我所追求的选择。 现在的问题是我无法围绕如何包含和 UPDATE 语句来更改该选择中 page_location 的值。 你知道吗? ...

2022-09-27 10:06:26 0 16
在 BigQuery 中,删除除一列之外的每一列上重复的行

在使用多列删除 bigquery 中的重复行时,一种常见的解决方案是使用row_number()并按要删除的多列进行分区。 在我们的情况下,我们有一个宽表(30 列),并希望根据其中 29 列的唯一性删除重复项: 在上表中,我们要删除除a列之外的所有列的重复项。 因此,第 1 行和第 6 行是重复的 ...

2022-09-27 08:52:15 2 19
GDS / BIGQUERY 上的迄今为止的字符串

晕,我有数据写入 -> 2022 年 9 月 27 日 | 15:12 如何使它成为 bigquery 的日期? 我尝试了 formatdate、substr 和 parsedate,但没有一个可以。 谢谢你! ...

2022-09-27 04:14:54 1 17
缺少数据 firebase 同步到 bigquery 沙箱

我使用 Bigquery Sandbox 并将原始事件数据从 Google Analytics 导出到 Bigquery。 但是 2 个地方的记录数是不同的。Bigquery 更不用说 Google Analytics。 ...

2022-09-27 04:04:16 0 3
SQL:从具有多个条件的表中查找值以返回最终计算

我正在尝试构建一个查询,该查询根据影响物品成本的许多条件计算最终收入。 论文在表格中结构化。 例如,表 A 包含不同商店、城市的商品清单和每件商品的成本,如果可以送货,则需要包括送货成本。 表 A: 物品店铺城市成本项目送货每件商品的运费苹果蛇市场汤维尔 1美元是的 0.5 美元梨蛇市场汤维尔 3 ...

2022-09-27 03:39:13 0 5
Bigquery - 基于 hitsTime 的映射类型

我有一个表: 和表b: 流程是如果我们点击type_然后我们可以添加cart_id。 我想知道 cart_id 来自什么类型。 这个想法是如果 hitsTime 类型小于 cart_id,cart id 将进入某个类型。 例如,在表 b cart_id 304438 中,命中时间为 2022-09- ...

2022-09-27 00:25:37 0 6

 
粤ICP备18138465号  © 2020-2022 STACKOOM.COM