[英]Why GCP Dataflow jobs in Asia region takes more time to start-process-stop than Europe region
我正在处理多个数据流作业。 要求是为欧洲地区 (europe-west1) 的应用程序运行数据流批处理作业。 这些欧洲地区的数据流作业大约需要 7-10 分钟才能完成整个过程（开始-处理-停止）。 现在亚洲地区提出了同样的要求。 所以我将所有相关的管道参数和其他 GCP 组件的区域更改为亚洲 (asia-southeast1)。 但是这次数据流作业需要更多的时间来启动，更多的时间处理和更多的时间来停止工人。 例如，对于相同的数据集，在欧洲地区需要 7 到 10 分钟才能完成； 现在在亚洲地区需要 20-30 分钟才能完成。
我比较了所有设置、配置和必要的日志。 所有组件都在亚洲地区。 但是在亚洲地区找不到任何延迟的原因。
GCP 中的 Asia Dataflow 工作人员是否存在任何已知问题？ 或者我在这里遗漏了一些东西。 请指导我确定问题所在。
在一个地区启动/关闭工人的时间可能会有所不同，具体取决于该地区的拥挤程度。 另一个要问的问题是你的数据在哪里，远程读取和写入数据需要更长的时间（包括你指定的临时目录和用于启动的暂存目录）。
GCP 数据流批处理作业 - 防止工作人员在批处理作业中一次运行多个元素
[英]GCP Dataflow Batch jobs - Preventing workers from running more than one element at a time in a batch job
在 GCP 上安排超过 10 分钟的 NodeJS 进程的最佳方法
[英]Best way to schedule a NodeJS process on GCP that takes more than 10 minutes
部署到亚洲地区时如何防止 App Engine 构建超时
[英]How to prevent App Engine Build timeout while deploying to asia region
在区域 europe-west6 的 Loadbalancer 后端服务中找不到运行服务
[英]Not finding Run services in Loadbalancer backend service for region europe-west6
读取美国地区 GCS 存储桶以将数据写入欧洲地区存储桶的最佳方法是什么
[英]what is the best way to read US region GCS bucket to write the data into Europe region bucket
在 AWS Fargate 上部署一个容器（当已经有一个容器在运行时需要比平时更多的时间来启动）
[英]Deploying a container on AWS Fargate (takes more than usual time to start when there is already a container running)
ModuleNotFoundError：运行 GCP 数据流作业时没有名为“oracledb”的模块
[英]ModuleNotFoundError: No module named 'oracledb' when running GCP Dataflow jobs
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
