簡體 English 中英

如何從在Kubernetes上運行的Spark集群（2.1）查詢hdfs？

[英]How to query hdfs from a spark cluster (2.1) which is running on kubernetes?

原文 2018-12-14 16:04:43 5 1 python-3.x/ kubernetes/ pyspark

我試圖從Kubernetes容器中運行的Spark集群訪問HDFS文件。

但是，我繼續收到錯誤消息：AnalysisException：'必須在啟用Hive支持的情況下使用ORC數據源；'

我在這里想念的是什么？

1 個解決方案

您是否使用enableHiveSupport（）創建了SparkSession？

相似的問題： Spark可以從pyspark訪問Hive表，但不能從spark-submit訪問

從 pydoop 訪問 hdfs 集群

[英]Access hdfs cluster from pydoop

將應用程序提交到從Python筆記本在GCP中運行的獨立Spark集群

[英]Submit an application to a standalone spark cluster running in GCP from Python notebook

Spark 在本地機器而不是獨立集群中運行

[英]Spark running in local machine instead of standalone cluster

使用Spark 2.1運行PySparkling的H20Context錯誤

[英]Error with H20Context running PySparkling with Spark 2.1

在 Kubernetes 上運行 Spark 作業時，如何避免 Pod 的 DiskPressure 條件及其最終驅逐？

[英]How to avoid DiskPressure condition of pods and their eventual eviction while running Spark job on Kubernetes?

使用 python api 從 GCP 管理 Kubernetes 集群

[英]Managing Kubernetes cluster from GCP with python api

如何從Kubernetes集群中的Airflow工作程序在另一個命名空間中的另一個窗格中運行命令

[英]How to run a command in another pod in another namespace from an Airflow worker in a Kubernetes cluster

從Spark DataFrame創建非HDFS CSV

[英]Create a non-hdfs csv from spark dataframe

創建Spark DataFrame時從hdfs文件傳遞架構

[英]Pass schema from hdfs file while creating Spark DataFrame

從 Spark 容器無法訪問 docker 集群中的 Minio

[英]Minio in docker cluster is not reachable from spark container

暫無

暫無

聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

相關問題 從 pydoop 訪問 hdfs 集群將應用程序提交到從Python筆記本在GCP中運行的獨立Spark集群 Spark 在本地機器而不是獨立集群中運行使用Spark 2.1運行PySparkling的H20Context錯誤在 Kubernetes 上運行 Spark 作業時，如何避免 Pod 的 DiskPressure 條件及其最終驅逐？使用 python api 從 GCP 管理 Kubernetes 集群如何從Kubernetes集群中的Airflow工作程序在另一個命名空間中的另一個窗格中運行命令從Spark DataFrame創建非HDFS CSV 創建Spark DataFrame時從hdfs文件傳遞架構從 Spark 容器無法訪問 docker 集群中的 Minio

相關標簽

粵ICP備18138465號 © 2020-2024 STACKOOM.COM