Spark - 從 DataFrame 中提取單個值

Question

我有一個 Spark DataFrame 查詢，它保證返回具有單個 Int 值的單列。 從生成的 DataFrame 中將該值提取為 Int 的最佳方法是什么？

Answer 1

你可以用head

df.head().getInt(0)

或者first

df.first().getInt(0)

查看DataFrame scala 文檔以獲取更多詳細信息

Answer 2

這可以解決您的問題。

df.map{
    row => row.getInt(0)
}.first()

Answer 3

在Pyspark ，如果dataframe是具有one column作為響應的單個實體，則您可以簡單地獲取第一個元素，否則，將返回一整row ，然后您必須獲得dimension-wise響應，即df.head()[0][0]

df.head()[0]

Answer 4

如果我們將火花數據框設為：

+----------+
|_c0       |
+----------+
|2021-08-31|
+----------+

x = df.first()[0]
print(x)

2021-08-31