有没有一种绕过嵌套for循环的有效方法？

Question

我有一个嵌套的for循环，我想知道是否有更有效的方法来执行此操作，代码方面：

我的数据类似于以下内容。

  ID  | DEAD     | 2009-10 | ...    | 2016-10
 -----------------------------------------
  1   | 2018-11  | 5.4     | ...    | 6.5 
  2   | 2014-01  | 0.5     | ...    | 5.2
  ...                      
  N   | 2008-11  | 8.6     | ...    | 1.3

目标是在产品到期时立即用np.NaN替换值（当列'DEAD'<日期时），否则值应保持不变。

  ID  | DEAD     | 2009-10 | ...    | 2016-10
 -----------------------------------------
  1   | 2018-11  | 5.4     | ...    | 6.5 
  2   | 2014-01  | 0.5     | ...    | NaN
  ...                      
  N   | 2008-11  | 8.6     | ...    | NaN

我最初的想法是应用嵌套的for循环来检查是否达到条件'DEAD' < date 。 该方法适用于较小的N.但由于我的数据包括超过20,000行和400列，因此需要太多时间。

time = df.columns[2:] # take the header as an index
time = pd.DataFrame(time)
time.columns = ['Dummy']
time['Dummy'] = pd.to_datetime(time.Dummy) # Convert index argument to datetime

df['DEAD'] = pd.to_datetime(tore.DEAD) # Convert column 'DEAD' to datetime



lists = []
for i in range(397):
    row = []
    for j in range(20000):
        if time.iloc[i,0] <= df.iloc[j,0]: 
            newlist = df.iloc[j,i]
        else:
            newlist = np.NaN
        row.append(newlist)
    lists.append(row)

lists = pd.DataFrame(lists)
lists = lists.transpose()

感谢任何建议！

Answer 1

您可以尝试迭代每列：

for column_name in df.drop('DEAD', axis=1):
   column_date = pd.to_datetime(column_name)
   df[column_name].mask(df['DEAD']<column_date, inplace=True)

掩码方法在这里也很有用。

Answer 2

如果您的列是有序的 - 例如，按日期升序 - 那么您可以避免一些循环和检查。

• 对于每一行，找到符合条件的第一列
  • 如果您真的想要优化，可以使用二进制搜索来完成此操作
• 获取此列的索引; 叫它i
• 将index >= i所有后续列更新为NaN值

更新本身仍然是逐个单元地完成的，这可能不是特别好。

如果您创建第二个具有相同维度的数据帧（如位掩码），则可能会获得更好的性能，其中包含0和1值，指示是否应保留或删除基础数据帧中的值。

Answer 3

如果这些数据存储在数据库中，您应该直接使用sql，更快。