cost 268 ms
将 Dataframe 写入 Spark Job 中的 parquet 文件时容器 OOM 问题 - Issue of container OOM when writing Dataframe to parquet files in Spark Job

我在 Cloudera 数据平台 (CDP) 中使用机器学习工作区。 我用 4vCPU/16 GiB Memory 创建了一个 session 并启用了 Spark 3.2.0。 我正在使用 spark 加载一个月的数据(整个月的数据大小约为 12 GB)并进行一些转换,然后将数据作为 parque ...

Hive 表和数据块增量表之间的时间戳数据值不同 - Timestamp data value different between Hive tables and databricks delta tables

我们已经完成了从 Hive 到 ADLS 的数据二进制副本,并验证了校验和。 虽然每个数据类型的值都匹配,但时间戳数据类型列显示 Hive 和 Delta(Azure Databricks) 表之间的值变化。 虽然校验和和所有验证确实匹配,但是在“T”之后添加的一些值引起了关注。 任何建议都会有所帮 ...

调用 pyodbc.connect() 时设置 autocommit = True 将如何影响从 python 到 Hive 服务器的查询 - How will setting autocommit = True affect queries from python to Hive server when calling pyodbc.connect()

我正在尝试通过 Cloudera 上的 Apache Hive 将我在 conda 环境中运行的 jupyter notebook 连接到 Hadoop 集群。 我从这篇文章中了解到我应该安装/设置 cloudera odbc 驱动程序并使用 pydobc 并使用如下连接:我的问题是关于自动提交参数 ...

从 HDP 非安全集群迁移到 CDP 安全集群 - Migration from HDP non-secure cluster to CDP secure cluster

我们正在将 HDFS 数据从HDP 非安全集群迁移到CDP 安全集群,当我阅读 Cloudera 文档时,他们提到“distcp”作为处理迁移的工具,但他们也只提到来自HDP 安全集群到CDP 安全/非安全集群,这不是我的情况。 我有几个问题: 我应该先保护现有集群然后使用 distcp 吗? 或者 ...

[unixODBC][驱动程序管理器] 无法打开 lib '/opt/cloudera/impalaodbc/lib/universal/libclouderaimpalaodbc.dylib':找不到文件 - [unixODBC][Driver Manager] Can't open lib '/opt/cloudera/impalaodbc/lib/universal/libclouderaimpalaodbc.dylib' : file not found

我正在尝试让 Cloudera Impala ODBC 在全新的M1 Mac上运行。 为此,我通过官方 MS 文档安装了 MS ODBC 18 并遵循Cloudera ODBC 连接器安装指南。 但是,在尝试连接时,出现以下错误: 我的 ODBC 安装: odbcinst.ini odbc.in ...

按月累计总和组 - Cumulative Sum Group By Month

我需要对其中一个字段(来自上述数据的值列)进行累积总和,并按月对其进行分组。 这是我的数据的样子: 我需要 output 如下: 我在 Impala 中这样做,我尝试了几件事,但没有奏效。 谢谢您的帮助! ...

使用 Cloudera Application 部署一个 flask 应用程序 - Deploy a flask app in using Cloudera Application

我一直在 CDSW session 中使用以下 python 3 脚本,只要 session 没有被杀死,它就可以正常运行。 我可以点击右上角的网格和 select 我的应用程序 hello.py 我希望这个应用程序全天候运行 24/7,所以我不想使用 Session 或安排永不结束的工作,而是想创 ...

在 Ubuntu 上使用 Cloudera Impala ODBC 驱动程序时出现 ParseException 语法错误 Python ODBC - ParseException Syntax error when using Python ODBC with Cloudera Impala ODBC driver on Ubuntu

我们有一个运行在 AWS EC2 实例 (Amazon Linux) 上的 Python 3.7 应用程序,它使用 pyodbc (4.0.27) 和 Cloudera Impala ODBC 驱动程序(使用 ClouderaImpalaODBC-2.6.5.rpm 安装)对 Cloudera I ...

MSDASQL 提供程序为 cloudera Impala 抛出错误:不支持请求的转换 - MSDASQL provider throws error for cloudera Impala : Requested conversion is not supported

我们正在尝试将 unicode 数据从 Cloudera Impala 拉入 SQL 服务器。 我们已经完成了以下步骤: 我们已经安装了 Cloudera Impala ODBC 驱动程序并配置了 DSN。 我们在 DSN 设置中启用了“SQL Unicode 类型”。 我们在 SQL Serve ...


 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM