從數據框火花中刪除一列

Question

我有一個包含大量列的 Spark 數據框。 我想從中刪除兩列以獲取新的數據框。

如果列較少，我可以像這樣在 API 中使用 select 方法：

pcomments = pcomments.select(pcomments.col("post_id"),pcomments.col("comment_id"),pcomments.col("comment_message"),pcomments.col("user_name"),pcomments.col("comment_createdtime"));

但是由於從長列表中挑選列是一項繁瑣的任務，是否有解決方法？

Answer 1

使用drop方法和withColumnRenamed方法。

例子：

    val initialDf= ....

    val dfAfterDrop=initialDf.drop("column1").drop("coumn2")

    val dfAfterColRename= dfAfterDrop.withColumnRenamed("oldColumnName","new ColumnName")

Answer 2

嘗試這個：

val initialDf = ...

val dfAfterDropCols = initialDf.drop("column1", "coumn2")