潜在瓶颈 Azure Databricks 集群
[英]Potential bottleneck Azure Databricks Cluster
问题描述
我正面临 dabricks 集群的问题。 保存 20 亿行数据集时，需要几天时间。 但是当我分析cpu性能时，会出现以下用法：
-46.8% 中间 -9.2% 用户 -43.4% 等待 -0.7 系统。
该集群是一个多节点，具有 4 个工作器和光子加速技术。 Memory 性能有 100gb，总共 700gb。
“等待”是什么意思？ 我可以做些什么来加快这个过程吗？ 我还能分析什么来改善时间？
此致
0 个解决方案
将 AWS Redshift 上的 Azure Databricks Spark 集群列入白名单
[英]Whitelisting Azure Databricks Spark Cluster on AWS Redshift
Databricks 笔记本 - Microsoft Azure - 附加到集群时自动完成功能不起作用
[英]Databricks Notebook - Microsoft Azure - Autocompletion is NOT working when attached to cluster
在 Azure 数据块上的远程集群设置中运行 spark scala 脚本
[英]Run a spark scala script in a remote cluster setup on Azure databricks
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
Azure Databricks群集API身份验证
无法启动 Azure Databricks 群集
Azure Databricks从DAta工厂终止群集
将 AWS Redshift 上的 Azure Databricks Spark 集群列入白名单
该工作者在 Azure 数据块集群中意味着什么？
在没有 Spark 群集的情况下运行 Azure Databricks
如何在Azure Databricks群集上登录SSH
Databricks 笔记本 - Microsoft Azure - 附加到集群时自动完成功能不起作用
在 Azure 数据块上的远程集群设置中运行 spark scala 脚本
Azure databricks 集群无法访问已安装的 adls2
相关标签