Spark-Scala：通过连接两个字符串变量来获取 Dataframe 变量

Question

我有一个场景，我需要从两个字符串变量中形成一个 dataframe 名称。 这很容易，可以通过连接来完成。

示例：“df_”+“part1324”

上面的代码将返回一个字符串变量。 我希望这是一个 Dataframe 变量，通过它我可以对数据帧执行进一步的操作。

Answer 1

你的问题令人困惑。 dataframe 变量是什么意思？ 连接两个字符串将始终返回 String。 为了创建 dataframe，您需要应用可用的不同方法来创建 dataframe。

根据您的示例，val df:Dataframe 不能等于 df_part1234（字符串），但要将其用作 dataframe，您需要执行以下操作

val df_part1234 = sc.range(1000).toDF("number") 其中 sc 是您的 Sparksession 变量。

如果您需要动态生成此变量，请将其放在像 Loop 这样的变量生成逻辑下，并添加语句以创建 dataframe。

如果您试图实现其他目标（以及重现问题的代码片段），请重写您的问题，或者如果您清楚该问题，请接受答案

Answer 2

Map 可用于为 DataFrames 分配名称：

val df = List(("df_value")).toDF()
val stringVariable = "part1324"

// assign name to dataframe
val namedDataFrames = Map("df_" + stringVariable -> df)

// get dataframe by name
namedDataFrames("df_part1324").show(false)