有没有更有效的方法在 python 中使用两个 for 循环？

Question

我听说在彼此中使用两个 for 循环需要很长时间。 但是，我不确定如何解决这个问题。 我的每个 for 循环都是 ~40,000 循环，所以时间很长。 我基本上是在尝试比较两个 DataFrame 的条目。 如果某行中的三个条目（帧、x 和 y）在两者之间匹配，那么我想将其保存到新的数据数组中。 我的最终结果是有一个 dataframe 具有框架、x、y、粒子 # 和两个不同的强度）。 我相信我正在做的事情会奏效，但需要 5 个多小时才能得到结果。 无论如何我可以让这段代码更快更高效吗？ 非常感谢，我的代码贴在下面。

intensity = np.zeros((tracks.shape[0], 2))
location = np.zeros((tracks.shape[0], 2))
frame = np.zeros((tracks.shape[0], 1))
particle = np.zeros((tracks.shape[0], 1))

for r in range(red_masked_tracks.shape[0]):
    for g in range(green_masked_tracks.shape[0]):
        if red_masked_tracks['frame'][r] == green_masked_tracks['frame'][g]:
            if round(red_masked_tracks['x'][r]) == round(green_masked_tracks['x'][g]) and round(red_masked_tracks['y'][r]) == round(green_masked_tracks['y'][g]):
                intensity[g] = [red_masked_tracks['mass'][r], green_masked_tracks['mass'][g]]
                location[g] = [red_masked_tracks['x'][r], red_masked_tracks['y'][r]]
                frame[g] = red_masked_tracks['frame'][r]
                particle[g] = red_masked_tracks['particle'][r]
                break

Answer 1

使用内部合并过滤x 、 y和frame匹配的行。

# example data
red = pd.DataFrame({"x": [1.2, 3.3, 5.4, 1], "y": [1.1, 10.7, 9.3, 1.1], "frame": ["a", "b", "c", "a"], "mass": [10, 20, 30, 40]})
green = pd.DataFrame({"x": [1.2, 2.3, 3.4, 1], "y": [1.1, 4.7, 6.3, 1.1], "frame": ["a", "b", "c", "a"], "mass": [50, 60, 70, 80]})

# Add rounded versions of x and y
for df in [red, green]:
    df["xr"] = df["x"].round()
    df["yr"] = df["y"].round()

matches = pd.merge(red, green, on=["xr", "yr", "frame"], suffixes=["_red", "_green"])

原则上，红色的多个匹配项可以匹配绿色的特定行，反之亦然。 如果是这样，您将不得不决定如何处理这些，例如只保留每个组中的第一个，使用matches = matches.groupby(["xr", "yr", "frame"]).agg("first") .

您可以直接使用生成的 dataframe，或将其转换为 numpy arrays：

intensity = matches[["mass_red", "mass_green"]].to_numpy()
location = matches[["x_red", "y_red"]].to_numpy()
frame = matches["frame_red"].to_numpy()
particle = matches["particle_red"].to_numpy()