如何从 Google Cloud Composer 的 Kube.netesPodOperator 中的私有 Docker 注册表中提取图像？

Question

我正在尝试在通过 Google Cloud Composer 的 Kube.netesPodOperator 从私有 Google Container Registry 中的图像构建的环境中运行任务。 Container Registry 和 Cloud Composer 实例在同一个项目下。 我的代码如下。

import datetime
import airflow
from airflow.contrib.operators import kubernetes_pod_operator


YESTERDAY = datetime.datetime.now() - datetime.timedelta(days=1)


# Create Airflow DAG the the pipeline
with airflow.DAG(
        'my_dag',
        schedule_interval=datetime.timedelta(days=1),
        start_date=YESTERDAY) as dag:

    my_task = kubernetes_pod_operator.KubernetesPodOperator(
        task_id='my_task',
        name='my_task',
        cmds=['echo 0'],
        namespace='default',
        image=f'gcr.io/<my_private_repository>/<my_image>:latest')

任务失败，我在 Airflow UI 和存储桶中的logs文件夹中的日志中收到以下错误消息。

[2020-09-21 08:39:12,675] {taskinstance.py:1147} ERROR - Pod Launching failed: Pod returned a failure: failed
Traceback (most recent call last)
  File "/usr/local/lib/airflow/airflow/contrib/operators/kubernetes_pod_operator.py", line 260, in execut
    'Pod returned a failure: {state}'.format(state=final_state
airflow.exceptions.AirflowException: Pod returned a failure: failed

这不是很有用......知道我可能做错了什么吗？ 或者我可以在任何地方找到更多信息丰富的日志消息？

非常感谢你！

Answer 1

一般来说，一旦运行 DAG 出现故障，我们如何开始对 GCP Composer 进行故障排除的方式在 GCP 文档的专门章节中有详细解释。

转向与Kube.netesPodOperator具体相关的问题，某些用户调查可能包括：

• 验证相应 DAG 文件的特定任务状态；
• 检查任务清单日志和事件； ，日志也可以在 GCP Composer 的存储桶中找到；
• 对于任何与 K8s 相关的资源/对象错误，强烈要求检查 Composer 的相关GKE 集群日志/事件日志。

进一步分析错误上下文和Kube.netesPodOperator.py源代码，我认为这个问题可能是由于Airflow worker GKE节点上的Pod启动问题导致的，最终Pod returned a failure: {state}'.format(state=final_state)消息一旦 Pod 执行不成功。

就个人而言，我更喜欢在 Kube.netes Pod 中执行 Airflow 任务之前检查图像运行。 话虽如此，基于提供的任务命令，我相信您可以验证 Pod 启动过程、 连接到 GKE集群并重新起草kube.netes_pod_operator.Kube.netesPodOperator定义是否可用于kubectl命令行执行程序：

kubectl run test-app --image=eu.gcr.io/<Project_ID>/image --command -- "/bin/sh" "-c" "echo 0"

这将简化图像验证的过程，因此您也可以更仔细地查看 Pod 日志或事件记录：

kubectl describe po test-app

要么

kubectl logs test-app

Answer 2

如果您想从私有注册表中拉取或推送Kube.netesPodOperator中的图像，您应该在 k8s 中创建一个包含服务帐户 (SA) 的 Secret。 此 SA 应具有拉取或推送图像的权限（RO/RW 权限）。

然后只需在Kube.netesPodOperator中将此秘密与 SA 一起使用并指定image_pull_secrets 参数：

my_task = kubernetes_pod_operator.KubernetesPodOperator(
    task_id='my_task',
    name='my_task',
    cmds=['echo 0'],
    namespace='default',
    image=f'gcr.io/<my_private_repository>/<my_image>:latest',
    image_pull_secrets='your_secret_name')