Pandas 加载和聚合大数据

Question

我有一个将近 4~6M 行的数据框，需要大量内存才能加载。 如果我只是一个一个地读取和处理数据就可以了，但问题是我需要对数据进行聚合。 （如总和或平均值）

也许我可以为我的工人分配更多的记忆，但我不知道未来的数据会有多大。

所以我的第一个想法是从数据库中取出部分数据，并为每个块聚合数据，然后组合结果：

# Pseudo code
aggregate_results = []
for i in range(number_of_chunks):
    data = preprocess(get_data(i))
    aggregate_results.append(aggregate(data))
final_result = combine(aggregate_results)

然后我想可能已经有这种工作的解决方案了。

我还有其他选择吗？ 我正在使用 AWS Redshift 存储数据并使用 Apache Airflow 来安排任务，但我对 Spark 或 Hadoop 等大数据解决方案一无所知。

以前用SQL聚合数据，现在用Pandas，因为聚合前需要对数据进行预处理。 所以直接使用数据库不是一种选择。

任何帮助，将不胜感激。