在GCP Composer上创建气流DAG

Question

我刚刚了解了GCP Composer，并试图将DAG从我的本地气流实例迁移到云中，并对转换有一些疑问。

1. 在本地实例中，我使用HiveOperator从HiveOperator读取数据并创建表并将其写回到HiveOperator 。 如果我必须在GCP中执行此操作，那怎么可能？ 我是否必须将数据上传到Google Bucket，HiveOperator是否可以在GCP中使用？

2. 我有一个DAG，它使用sensor检查另一个DAG是否完整，在Composer上可以吗？

Answer 1

是的，Cloud Composer只是受管的Apache Airflow，因此您可以这样做。

确保使用与本地使用的相同版本的Airflow。 Cloud Composer当前支持Airflow 1.9.0和1.10.0。

Answer 2

作曲家有连接存储。 请参阅菜单管理->连接。 检查可用的连接类型。

传感器可用。