Pandas iterrows 太慢了，我该如何矢量化这段代码？

Question

我是一名 Jr. 数据科学家，我正在尝试解决一个对有经验的程序员来说可能很简单的问题。 我正在 GCP 上处理大数据，我需要优化我的代码。

                                      [...]
    def send_to_bq(self, df):
        result = []
        for i, row in df[["id", "vectors", "processing_timestamp"]].iterrows():
            data_dict = {
                "processing_timestamp": str(row["processing_timestamp"]),
                "id": row["id"],
                "embeddings_vector": [str(x) for x in row["vectors"]],
            }
            result.append(data_dict)
                                      [...]

我们的 DataFrame 具有以下模式：

           id                                               name  \
0  3498001704  roupa natal flanela animais estimacao traje ma...   

                                             vectors  \
0  [0.4021441, 0.45425776, 0.3963987, 0.23765437,...   

        processing_timestamp  
0 2021-10-26 23:48:57.315275

在 DataFrame 上使用 iterrows 太慢了。 我一直在研究替代方案，我知道：

1. 我可以使用申请
2. 我可以通过 Pandas 系列对其进行矢量化（比应用更好）
3. 我可以通过 Numpy 对其进行矢量化（比 Pandas 矢量化更好）
4. 我可以使用 Swifter - 它使用 apply 方法，然后在 Dask、Ray 和矢量化之间为您决定更好的解决方案

但我不知道如何为这些解决方案转换我的代码。

谁能帮我演示我的代码的解决方案？ 一个就足够了，但是如果有人可以展示不止一个解决方案，那么这对这个问题真的很有教育意义。

任何帮助我将不胜感激！

Answer 1

因此，您基本上将所有内容都转换为字符串，然后将您的 DataFrame 转换为 dict 列表

对于第二部分，有一个熊猫方法to_dict 。 在第一部分，我会用astype和apply只转换的类型

df["processing_timestamp"] = df["processing_timestamp"].astype(str)
df["embeddings_vector"] = df["vectors"].apply(lambda row: [str(x) for x in row])
result = df[["id", "vectors", "processing_timestamp"]].to_dict('records')

如果没有样本数据，测试有点困难，但希望这会有所帮助；) 另外，就像我使用lambda函数所做的那样，您基本上可以将整个循环体包装在一个apply ，但这会创建许多临时字典以加快速度。

Answer 2

您可以使用pandas.DataFrame方法将其转换为其他类型，比如DataFrame.to_dict()和更多。

Answer 3

您可以使用agg ：

>>> df.agg({'id': str, 'vectors': lambda v: [str(i) for i in v], 
            'processing_timestamp': str}).to_dict('records')

[{'id': '3498001704',
  'vectors': ['0.4021441', '0.45425776', '0.3963987', '0.23765437'],
  'processing_timestamp': '2021-10-26 23:48:57.315275'}]