在多線程生產者-消費者范例中，Python顯式的next（）比for循環慢

Question

假設我有以下代碼運行10次迭代，並調用生成器gen_next_img_batch ：

for _ in get_next_img_batch(train_data_paths, classes, batch_size):
     pass

現在，假設我將其替換為以下等效（在我看來）的迭代：

for i in range(10):
    next(get_next_img_batch(train_data_paths, classes, batch_size))

我的難題是，第一個代碼段需要17秒，而第二個代碼需要42秒。 此外，第二個代碼段的每次迭代都比前一個迭代花費更多時間。 也就是說，第二個片段的迭代i + 1比迭代i花費更長的時間。 第一個代碼段的所有迭代都花費相同的時間。

一個重要的事實似乎是，被迭代的生成器gen_next_img_batch從不斷在后台線程中填充的Python隊列中獲取數據。 更具體地說，在后台，一個單獨的線程將數據加載到Queue中，並且對next()每次調用都會從該Queue中產生一個對象。 如果省略了這種異步行為，則兩個代碼片段將花費相同的時間。

Answer 1

它們不相等。 具體來說，您的第一個片段調用一次get_next_img_batch() ，而您的第二個片段調用該函數10次。 等效片段可能是：

it = get_next_img_batch(train_data_paths, classes, batch_size))
for i in range(10):
    next(it)