使用sqlalchemy删除需要45分钟，如何提高速度

Question

我正在尝试转换下面给出的 SQL 语句：

DELETE FROM  traceability.autodiscovery WHERE (sapsystemname) in (SELECT DISTINCT sapsystemname FROM traceability.lastrun_workorders)

为此使用 sqlalchemy：

autodiscovery.delete().where(autodiscovery.c.sapsystemname in df['sapsystemname'].unique().tolist())

问题是如果我执行这个：

print(autodiscovery.delete().where(autodiscovery.c.sapsystemname in df['sapsystemname'].unique().tolist()))

我收到这个 output：

DELETE FROM autodiscovery WHERE false

弄清楚需要做什么，我不得不遍历列表以获得我需要的东西。

for i in df['sapsystemname'].unique().tolist():
    print(autodiscovery.delete().where(autodiscovery.c.sapsystemname == i))

这给了 output，

DELETE FROM  traceability.autodiscovery WHERE sapsystemname is :sapsystemname_1

其中:sapsystemname_1只是i 。

这就引出了另一个问题，

这种删除方式涉及一个循环，当df的大小非常大时，该循环会很慢。 通常我必须处理 200k - 600k 行的数据集。 数据库表本身有 1 - 150 万条记录，我必须从中删除 200k - 600k 行。

使用第一个代码片段，执行删除大约需要 45 到 50 分钟。

在那种情况下，哪种方法可能对 go 有效？ 请提出任何更快的替代方案。

Answer 1

where方法的参数构造不正确。

autodiscovery.c.sapsystemname in df['sapsystemname'].unique().tolist()

是标准成员资格测试，测试列 object autodiscovery.c.sapsystemname是否存在于df['sapsystemname'].unique().tolist()生成的列表中。 事实并非如此，因此该参数的计算结果立即为False 。

要创建IN子句，您需要将值列表传递给列的in_方法：

autodiscovery.delete().where(autodiscovery.c.sapsystemname.in_(df['sapsystemname'].unique().tolist()))