"Livy on K8S，命名空间限制"

Question

我有 spark (3.0.1)、livy (0.8.0) 和 Jupyterhub (sparkmagic) 在特定命名空间的 K8S 上运行，Kubernetes master 用作资源管理器。

尝试在 Jupyterhub 的笔记本中创建 pyspark 会话时，出现错误：

22\/02\/04 12:09:16 WARN InteractiveSession：无法停止 RSCDriver。 杀死它... 22\/02\/04 12:09:18 WARN InteractiveSession：停止会话 2 时出错。io.fabric8.kubernetes.client.KubernetesClientException：执行失败：GET 在： https:\/\/kubernetes.default.svc.cluster .local\/api\/v1\/pods?labelSelector=spark-app-tag%2Cspark-role%3Ddriver%2Cspark-app-selector<\/a> 。 消息：禁止！配置的服务帐户无权访问。 服务帐户可能已被撤销。 pods 被禁止：用户“system:serviceaccount:namespace:livy-acc”无法在集群范围内列出 API 组“”中的资源“pods”。

此错误表明 livy 的 Kubernetes 客户端尝试列出集群范围内的所有 pod，但缺乏执行此操作的权限。

是否可以限制\/限制 livy 在 Kubernetes 上的某个命名空间中运行，因为由于某些安全问题，放弃集群角色的替代方案不是一种选择。

Answer 1

在从此 repo 对 livy 0.8.0 进行代码检查期间： https ://github.com/jahstreet/incubator-livy.git --branch merge/first 我发现了一些未记录的 livy.server.kubernetes.* 可以使用的属性配置 livy 在 K8S 上的运行方式。

对于 K8S 命名空间限制，可以使用以下属性：

# Comma-separated list of the Kubernetes namespaces to allow for applications creation.
# All namespaces are allowed if empty
livy.server.kubernetes.allowedNamespaces = namespace

# Kubernetes client default namespace
livy.server.kubernetes.defaultNamespace = namespace