如何从 kubeflow 并行 for 循环收集所有输出？

Question

我正在使用 python 的 SDK package - kfp.v2 。 我需要运行这个 model 管道，然后向前“走”一个月并再次运行它，依此类推 24 个月，以便及时获得多个快照。

也就是说，我不知道如何将所有最终的 output 收集到一个地方，以便我可以将其连接并批量加载到Big Query表中。

我尝试直接从每个循环加载到表中，但这会导致Error 403: Exceeded rate limits. Exeeded the number of uploads to this table Error 403: Exceeded rate limits. Exeeded the number of uploads to this table 。

有没有办法收集所有结果，以便我可以连接并加载一次？

Answer 1

通常当您达到此配额时会发生此错误，5 次操作/10 秒。 这可以通过限制您的费率来解决。

如文档中所述：

您的项目每天最多可以对每个表进行 1,500 次表修改，无论修改是追加数据、更新数据还是截断表。 此限制包括 append 或覆盖目标表或使用 DML DELETE、INSERT、MERGE、TRUNCATE TABLE 或 UPDATE 语句将数据写入表的所有加载作业、复制作业和查询作业的总和。

有关详细信息，请参阅此 SO 链接。