按行切片Spark的DataFrame SQL（pyspark）

Question

我有一个Spark的Dataframe镶木地板文件，可以通过spark读取，如下所示

df = sqlContext.read.parquet('path_to/example.parquet')
df.registerTempTable('temp_table')

我想在df.iloc[0:4000], df.iloc[4000:8000]数据帧中按行（即相当于df.iloc[0:4000], df.iloc[4000:8000]等）切片我的数据帧df ，因为我想将每个小块转换为pandas dataframe以后每个人都要工作。 我只知道如何通过使用sample随机分数来做到这一点

df_sample = df.sample(False, fraction=0.1) # sample 10 % of my data
df_pandas = df_sample.toPandas()

如果有一种方法可以按行切片我的数据帧df ，我会很棒。 提前致谢。

Answer 1

您可以使用monotonically_increasing_id（）向数据帧添加ID列，并使用它来获取任何大小的工作集。

import pyspark.sql.functions as f

# add an index column
df = df.withColumn('id', f.monotonically_increasing_id())

# Sort by index and get first 4000 rows
working_set = df.sort('id').limit(4000)

然后，您可以使用subtract（）从数据框中删除工作集。

# Remove the working set, and use this `df` to get the next working set
df = df.subtract(working_set)

冲洗并重复，直到您完成所有行的处理。 不是理想的做事方式，但它有效。 考虑过滤掉要在Pandas中使用的Spark数据帧。