spark createdataframe 无法推断架构 - 默认数据类型？
[英]spark createdataframe cannot infer schema - default data types?
问题描述
使用 createdataframe 在 databricks 中创建 spark 数据帧会导致错误：“推断后无法确定某些类型”
我知道我可以指定模式，但是如果我每次都使用来自 API 的源数据创建数据框并且他们决定对其进行重组，那将无济于事。
相反，我想告诉 spark 对无法推断数据类型的任何列使用“字符串”。
这可能吗？
谢谢
1 个解决方案
解决方案1
0 2021-10-20 22:14:38
这可以通过使用delta格式的模式评估轻松处理。 快速参考： https : //databricks.com/blog/2019/09/24/diving-into-delta-lake-schema-enforcement-evolution.html
java.lang.RuntimeException：无法从空结果推断架构类型，请使用 loadDataFrame(schema: (String,String)*)
[英]java.lang.RuntimeException: Cannot infer schema-types from empty result, please use loadDataFrame(schema: (String,String)*)
Spark SQL是否提供API来解析SQL语句和相应的DDL并推断选择列表的数据类型？
[英]Does Spark SQL provide an API to parse a SQL statement and corresponding DDL and infer data types of the select list?
在Spark DataFrame中加载CSV文件数据时使用推断模式与显式传递模式时的性能开销
[英]Performance overhead while using infer schema vs explicitly passing schema while loading CSV file data in spark dataframe
Spark createDataFrame(df.rdd, df.schema) 与 checkPoint 用于打破世系
[英]Spark createDataFrame(df.rdd, df.schema) vs checkPoint for breaking lineage
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
Spark SQL-createDataFrame错误的结构模式
Spark - 以编程方式使用不同的数据类型创建模式
在Scala Spark中按架构更改Dataframe的数据类型
大集合的mongo spark推断架构
从 rdd 推断架构到 Spark Scala 中的 Dataframe
Spark是否可保存从数据帧推断架构
java.lang.RuntimeException：无法从空结果推断架构类型，请使用 loadDataFrame(schema: (String,String)*)
Spark SQL是否提供API来解析SQL语句和相应的DDL并推断选择列表的数据类型？
在Spark DataFrame中加载CSV文件数据时使用推断模式与显式传递模式时的性能开销
Spark createDataFrame(df.rdd, df.schema) 与 checkPoint 用于打破世系
相关标签