检查在PyMySQL中使用SELECT的INSERT是否成功

Question

我有一个INSERT查询，它从SELECT语句中获取值。 但是由于SELECT返回了数百万条记录，因此它在MySQL服务器上增加了太多的负载。 因此，我们决定将SELECT查询分为多个部分，并通过使用LIMIT子句执行。

INSERT INTO target_table 
    SELECT * FROM source_table
    WHERE my_condition = value
    ...
    LIMIT <start>, <end>

我们将继续增加开始和结束值，直到SELECT返回0行。 我也正在考虑使它成为多线程。

我该如何使用PyMySQL？

我是否需要执行SELECT ，获取结果然后生成INSERT ？

Answer 1

首先，要回答您的问题：在PyMySQL中，您可以通过cursor.execute获得该值：

 execute(query, args=None) Execute a query Parameters: query (str) – Query to execute. args (tuple, list or dict) – parameters used with query. (optional) Returns: Number of affected rows 

因此，您可以重复执行查询，直到得到的值小于所选范围。

无论如何，请考虑：

• 首先，您应该检查是否可以优化您的select （假设它不像示例中那样简单），例如通过添加索引。 您可能还想测试仅选择和实际插入之间的区别，以大致了解哪个部分更相关。
• 如果插入引起问题，则可能是由于事务的大小。 在这种情况下，只有在您还可以拆分事务的情况下，拆分它才会减少问题（尽管由于您考虑并行执行查询，所以这似乎不是问题）
• 如果查询产生过多的（cpu）负载，则并行运行该查询的多个实例最多只能将其分布在多个内核上，这实际上会减少其他查询的可用cpu时间。 如果“负载”与I / O负载，有限资源的影响或“一般响应性”有关，则有可能，例如，一个小的查询可能会在内存中生成一个小的临时表，而一个大查询则会在内存上生成一个大的临时表。磁盘（尽管专门使用offset ，但这不太可能，请参阅下文。）否则，通常需要在连续运行的（足够小的）部分之间添加较小的暂停，以将相同的工作量分散在更长的时间上。
• limit仅在您有一个order by （可能是通过主键）时才有意义，否则，在连续运行中，第m行可以与之前的行不同（因为顺序不固定）。 这可能会或可能不会增加负载（和资源需求），具体取决于您的索引和where -condition。
• 对于源表的更新也是如此，就像您在结果my_condition添加或删除一行（例如，更改第一行的my_condition的值）一样，所有连续偏移都将移动，并且您可以跳过一行或得到一个排两次。 您可能需要锁定行，这可能会阻止并行运行查询（因为它们锁定相同的行），并且还可能影响是否可以拆分事务的决定（请参见第二个要点）。
• 使用offset要求MySQL首先查找然后跳过行。 因此，如果将查询分为n部分，则第一行将需要处理n次（最后一行通常需要处理一次），因此（用于选择）的总工作量将增加(n^2-n)/2 。 因此，特别是如果选择行是最相关的部分（请参阅第一个要点），这实际上会使您的情况更糟：仅最后一次运行将需要查找与当前查询相同的行数（尽管它会抛出大部分，甚至可能需要更多资源，具体取决于order by的效果。

通过使用条件中的主键，您也许可以解决一些offset问题，例如，具有包含如下内容的循环：

select max(id) as new_max from 
where id > last_id and <your condition>  
order by id limit 1000  -- no offset!

如果new_max为null ，则退出循环，否则执行插入操作：

insert ... select ... 
where id > last_id and id <= new_max and <your condition>

然后设置last_id = new_max并继续循环。

它使查询数量加倍，因为与带offset limit相反，您需要知道实际的id 。 它仍然需要您的主键和where -condition兼容（因此您可能需要添加适合的索引）。 无论如何，如果您的搜索条件找到了源表的很大一部分（大约超过15％或20％），则使用主键仍然是最佳的执行计划。

如果要对此进行并行化（取决于您的交易要求，并且是否值得，请参见上文），则可以首先获取主键的select max(id) as max_id from ... ），然后分别赋予对要使用的范围进行线程化。 例如，对于max_id=3000和3个线程，以(0..1000), (1001, 2000), (2001..3000)一个开始，并将其包含在第一个查询中：

select max(id) as new_max from 
where id > last_id 
  and id >= $threadmin_id and id <= $threadmax_id
  and <your condition>  
order by id limit 1000 

如果这些范围的大小相等，则可能取决于您的数据分布（并且您可能会在情况中找到更好的范围；尽管要计算确切的范围可能需要执行查询，所以您可能不太准确）。