如何將數據框結果保存到數據塊中的表中？

Question

我試圖將已轉換為數據框的單詞列表保存到數據塊中的表中，以便稍后在群集重新啟動時可以查看或引用它。

我嘗試了下面的代碼，但是它一直給我一個錯誤或確實在運行，但是我看不到數據庫中的表

myWords_External=[['this', 'is', 'my', 'world'],['this', 'is', 'the', 'problem']]
df1 = pd.DataFrame(myWords_External)
df1.write.mode("overwrite").saveAsTable("temp.eehara_trial_table_9_5_19")

最后一行給我以下錯誤

AttributeError: 'DataFrame' object has no attribute 'write'

Answer 1

我認為您在代碼中混合了兩種不同的技術。 第一部分是熊貓：

myWords_External=[['this', 'is', 'my', 'world'],['this', 'is', 'the', 'problem']]
df1 = pd.DataFrame(myWords_External)

第二部分是pyspark：

df1.write.mode("overwrite").saveAsTable("temp.eehara_trial_table_9_5_19")

我不知道您的用例是什么，但是假設您要使用pandas並且不知道如何連接到基礎數據庫，這是將pandas數據幀轉換為pyspark數據幀並將其另存為的最簡單方法。一張桌子：

spark_df = spark.createDataFrame(df1)

spark_df.write.mode("overwrite").saveAsTable("temp.eehara_trial_table_9_5_19")

#you can create a new pandas dataframe witht the following command:
pd_df = spark.sql('select * from temp.eehara_trial_table_9_5_19').toPandas()

這樣效率低下，最好使用熊貓。 to_sql函數，但是您需要知道提供的數據庫和該數據庫的連接憑據。