自动化Python脚本的最佳方法

Question

我有许多脚本可以将数据从各种数据源移到BigQuery。 这些脚本需要每天运行。 我无法在我的机器上运行它，因为在运行脚本时它可能处于脱机状态。

我应该使用哪种服务来实现这一自动化，选择一个时应该寻找什么？ Google / Google Cloud环境中是否有类似的东西？

以及一旦我拥有服务器，自动化脚本的过程将如何？ 感谢任何建议或文档链接。

Answer 1

您有两种选择：

1. 启动GCE（或EC2）实例，并使用cron作业启动python脚本。
2. 忘记cron标签，并使用Apache Airflow（请参阅下面的链接）。

后者将是我首选的选择武器。

https://airflow.incubator.apache.org/

http://engineering.pmc.com/2017/03/playing-around-with-apache-airflow-bigquery-62/

https://medium.com/google-cloud/airflow-for-google-cloud-part-1-d7da9a048aa4

Answer 2

通过Google Compute Engine上可靠的任务计划，您可以使用它并设置脚本的每日执行时间。

宝途允许你写一些脚本像开始AWS EC2实例自动事情博托

Answer 3

Jenkins是用于此类事情的有用工具。 它用于CI / CD，但可用于在特定时间或满足特定条件后自动执行作业。

安装后，您可以通过浏览器在localhost：8080对其进行访问并设置构建条件。

您可以在GUI中轻松浏览大约一百万个插件，因此您应该在此找到帮助。