在PySpark的數據框中獲得價值

Question

我有下面的數據框，我試圖獲取值3097作為一個整數，例如，將其存儲在python變量中以對其進行操作，然后將其乘以另一個int等。

我已經成功地獲得了成功，但是即使這是一個很好的方法，但我現在還是不知道，我仍然無法擁有作為整數的價值。

data.groupBy("card_bank", "failed").count().filter(data["failed"] == "true").collect()

Answer 1

您需要從序列中獲取row （用於循環或映射功能），然后根據https://spark.apache.org/docs/1.4.0/api/java/org/apache row.getInt(2) /spark/sql/Row.html 。

Answer 2

嘗試從spark數據框選擇值：-

df =data.groupBy("card_bank", "failed").count().filter(data["failed"] == "true").collect()
value = df.select("count").as[int].collect()

在這里，值將是一個列表。

Answer 3

使用索引0從Row對象獲取第一條記錄，並使用索引“ count”獲取值

from pyspark.sql.functions import col
data.groupby("card_bank", "failed").count().filter(col("failed") == "true").collect()[0]["count"]