Bigquery 加载作业表示成功但数据未加载到表中

Question

我提交了一个 Bigquery 加载作业，它运行并以成功状态返回。 但是数据没有进入目标表。

这是运行的命令：

/usr/local/bin/bq load --nosynchronous_mode --project_id=ardent-course-601 --job_id=logsToBq_load_impressions_20140816_1674a956_6c39_4859_bc45_eb09db7ef99a --source_format=NEWLINE_DELIMITED_JSON dw_logs_impressions.impressions_20140816 gs://sm-uk-hadoop/queries/logsToBq_transformLogs/impressions/20140816/9307f6e3-0b3a-44ca-8571-7107c399998c/part* /opt/sm-analytics/projects/logsTobqMR/jsonschema/impressionsSchema.txt

我检查了作业 logsToBq_load_impressions_20140816_1674a956_6c39_4859_bc45_eb09db7ef99a 的作业状态。 输入文件数和大小显示了正确的输入文件数和总大小。

有谁知道为什么数据没有进入表格但工作报告为成功？

以防万一这不是我们这边的错误，我再次运行了加载作业，但加载到另一个目标表，这次数据进入目标表很好。

谢谢你。

Answer 1

这非常令人惊讶，但我已经通过日志确认情况确实如此。

不幸的是，8 月 16 日运行的这项作业的详细日志不再可用。 我们正在调查这是否可能影响最近的其他工作。 如果您再次看到此问题，请 ping 此线程。

Answer 2

我最近在沙盒模式下使用 BigQuery 时遇到了这种情况，而没有结算帐户。 在这种模式下，分区过期时间自动设置为 60 天。 如果您将数据加载到分区列（例如日期）早于 60 天的表中，它将不会显示在表中。 加载作业仍然成功，输出行数正确。

Answer 3

我们的系统中遇到了这个问题，原因是表的分区到期时间设置为 30 天，并且表在时间戳列上进行了分区。因此，当有人摄取早于分区到期日期的数据时，bigquery 加载作业已成功完成Spark，但我们在摄取表中看不到任何数据……因为它在摄取后立即被删除……由于设置了分区到期。

请检查您的 bigquery 表分区到期参数并查看传入数据的分区列值。 如果它的值低于分区到期时间。你将不会在 bigquery 表中看到数据。它会在摄取后立即被删除。