如何將Scala spark.sql.dataFrame轉換為Pandas數據框架

Question

我想將scala數據框轉換為熊貓數據框

    val collection = spark.read.sqlDB(config)
    collection.show()

    #Should be like df=collection

Answer 1

您正在尋找一種使用Scala中的Python庫的方法。 這對我來說有點奇怪。 您確定必須這樣做嗎？ 也許您知道這一點，但是Scala DataFrames具有良好的API，可能會為您提供熊貓所需的功能。

如果您仍然需要使用熊貓，建議您將所需的數據寫入文件（例如，csv）。 然后，使用Python應用程序可以將該文件加載到pandas數據框中並從那里工作。

嘗試從Scala創建pandas對象可能會使事情復雜化（而且我不確定當前是否可行）。

Answer 2

我認為，如果您想在SPARK代碼中使用基於pandas的API，則可以安裝Koalas-Python庫。 因此，無論您想直接從pandas API中使用什么功能，都可以將它們嵌入SPARK代碼中。

安裝可樂

pip install koalas