Azure 突触中的 Hive
[英]Hive in Azure Synapse
问题描述
We have scala Jar file which is running on on-prem Hadoop cluster.
我们有 scala Jar 文件，该文件在本地 Hadoop 集群上运行。 It create hive tables on parquet file and do further spark processing on hive table.它在 parquet 文件上创建 hive 表，并在 hive 表上进行进一步的火花处理。
May I know your suggestion on how to run such hive based spark processing in synapses spark pool?我可以知道您对如何在突触火花池中运行这种基于 hive 的火花处理的建议吗？ If possible, without changing our code?如果可能，不改变我们的代码？
1 个解决方案
解决方案1
0 2021-11-29 08:39:57
Currently Spark only works with external Hive tables and non-transactional/non-ACID managed Hive tables.
For more details, refer to Use external Hive Metastore for Synapse Spark Pool (Preview）更多详情，请参阅使用外部 Hive Metastore for Synapse Spark Pool（预览版）
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.