Python 的生成器和迭代器的区别

Question

迭代器和生成器有什么区别？ 关于何时使用每种情况的一些示例会很有帮助。

Answer 1

iterator是一个更一般的概念：任何其类具有__next__方法（​​Python 2 中的next ）和return self的__iter__方法的对象。

每个生成器都是一个迭代器，但反之则不然。 生成器是通过调用具有一个或多个yield表达式（在 Python 2.5 和更早版本中的yield语句）的函数来构建的，并且是一个满足上一段iterator定义的对象。

当您需要一个具有某种复杂状态维护行为的类，或者想要公开除__next__ （以及__iter__和__init__ ）之外的其他方法时，您可能想要使用自定义迭代器，而不是生成器。 大多数情况下，一个生成器（有时，为了足够简单的需要，一个生成器表达式）就足够了，而且它更容易编码，因为状态维护（在合理的范围内）基本上是由框架暂停和恢复来“为你完成”的。

例如，一个生成器，例如：

def squares(start, stop):
    for i in range(start, stop):
        yield i * i

generator = squares(a, b)

或等效的生成器表达式 (genexp)

generator = (i*i for i in range(a, b))

将需要更多代码来构建自定义迭代器：

class Squares(object):
    def __init__(self, start, stop):
       self.start = start
       self.stop = stop
    def __iter__(self): return self
    def __next__(self): # next in Python 2
       if self.start >= self.stop:
           raise StopIteration
       current = self.start * self.start
       self.start += 1
       return current

iterator = Squares(a, b)

但是，当然，使用类Squares您可以轻松地提供额外的方法，即

    def current(self):
       return self.start

如果您在应用程序中对此类额外功能有任何实际需求。

Answer 2

迭代器和生成器有什么区别？ 关于何时使用每种情况的一些示例会很有帮助。

总之：迭代器是具有__iter__和__next__ （Python 2 中的next ）方法的对象。 生成器提供了一种简单的内置方法来创建迭代器的实例。

一个带有 yield 的函数仍然是一个函数，当被调用时，它会返回一个生成器对象的实例：

def a_function():
    "when called, returns generator object"
    yield

生成器表达式也返回一个生成器：

a_generator = (i for i in range(0))

有关更深入的说明和示例，请继续阅读。

生成器是迭代器

具体来说，生成器是迭代器的子类型。

>>> import collections, types
>>> issubclass(types.GeneratorType, collections.Iterator)
True

我们可以通过多种方式创建生成器。 一个非常常见和简单的方法是使用函数。

具体来说，带有 yield 的函数是一个函数，它在被调用时会返回一个生成器：

>>> def a_function():
        "just a function definition with yield in it"
        yield
>>> type(a_function)
<class 'function'>
>>> a_generator = a_function()  # when called
>>> type(a_generator)           # returns a generator
<class 'generator'>

生成器又是一个迭代器：

>>> isinstance(a_generator, collections.Iterator)
True

迭代器是可迭代的

迭代器是可迭代的，

>>> issubclass(collections.Iterator, collections.Iterable)
True

这需要一个返回迭代器的__iter__方法：

>>> collections.Iterable()
Traceback (most recent call last):
  File "<pyshell#79>", line 1, in <module>
    collections.Iterable()
TypeError: Can't instantiate abstract class Iterable with abstract methods __iter__

可迭代的一些示例是内置元组、列表、字典、集合、冻结集合、字符串、字节字符串、字节数组、范围和内存视图：

>>> all(isinstance(element, collections.Iterable) for element in (
        (), [], {}, set(), frozenset(), '', b'', bytearray(), range(0), memoryview(b'')))
True

迭代器需要next或__next__方法

在 Python 2 中：

>>> collections.Iterator()
Traceback (most recent call last):
  File "<pyshell#80>", line 1, in <module>
    collections.Iterator()
TypeError: Can't instantiate abstract class Iterator with abstract methods next

在 Python 3 中：

>>> collections.Iterator()
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: Can't instantiate abstract class Iterator with abstract methods __next__

我们可以使用iter函数从内置对象（或自定义对象）中获取迭代器：

>>> all(isinstance(iter(element), collections.Iterator) for element in (
        (), [], {}, set(), frozenset(), '', b'', bytearray(), range(0), memoryview(b'')))
True

当您尝试使用带有 for 循环的对象时，会调用__iter__方法。 然后在迭代器对象上调用__next__方法以将每个项目取出用于循环。 迭代器在你用完它时会引发StopIteration ，此时它不能被重用。

从文档

从内置类型文档的迭代器类型部分的生成器类型部分：

Python 的生成器提供了一种方便的方式来实现迭代器协议。 如果容器对象的__iter__()方法被实现为生成器，它将自动返回提供__iter__()和next() [Python 3 中的__next__() ] 方法的迭代器对象（技术上是生成器对象）。 有关生成器的更多信息可以在 yield 表达式的文档中找到。

（强调补充。）

所以从这里我们了解到生成器是一种（方便的）迭代器。

示例迭代器对象

您可以通过创建或扩展您自己的对象来创建实现迭代器协议的对象。

class Yes(collections.Iterator):

    def __init__(self, stop):
        self.x = 0
        self.stop = stop

    def __iter__(self):
        return self

    def next(self):
        if self.x < self.stop:
            self.x += 1
            return 'yes'
        else:
            # Iterators must raise when done, else considered broken
            raise StopIteration

    __next__ = next # Python 3 compatibility

但是简单地使用生成器来执行此操作会更容易：

def yes(stop):
    for _ in range(stop):
        yield 'yes'

或者更简单，生成器表达式（与列表推导类似）：

yes_expr = ('yes' for _ in range(stop))

它们都可以以相同的方式使用：

>>> stop = 4             
>>> for i, y1, y2, y3 in zip(range(stop), Yes(stop), yes(stop), 
                             ('yes' for _ in range(stop))):
...     print('{0}: {1} == {2} == {3}'.format(i, y1, y2, y3))
...     
0: yes == yes == yes
1: yes == yes == yes
2: yes == yes == yes
3: yes == yes == yes

结论

当需要将 Python 对象扩展为可以迭代的对象时，可以直接使用 Iterator 协议。

但是，在绝大多数情况下，您最适合使用yield来定义返回生成器迭代器的函数或考虑生成器表达式。

最后，请注意，生成器作为协程提供了更多功能。 在我对“yield 关键字有什么作用？”的回答中，我深入解释了生成器以及yield语句。

Answer 3

迭代器是使用next()方法获取序列的以下值的对象。

生成器是使用yield关键字产生或产生一系列值的函数。

生成器函数（例如：下面的foo() ）返回的生成器对象（例如：下面的f ）上的每个next()方法调用都会生成序列中的下一个值。

当一个生成器函数被调用时，它甚至没有开始执行该函数就返回一个生成器对象。 当next()方法第一次被调用时，函数开始执行，直到它到达返回产生值的yield语句。 yield跟踪发生了什么，即它记住最后一次执行。 其次， next()调用从前一个值继续。

以下示例演示了yield和对生成器对象的next方法的调用之间的相互作用。

>>> def foo():
...     print("begin")
...     for i in range(3):
...         print("before yield", i)
...         yield i
...         print("after yield", i)
...     print("end")
...
>>> f = foo()
>>> next(f)
begin
before yield 0            # Control is in for loop
0
>>> next(f)
after yield 0             
before yield 1            # Continue for loop
1
>>> next(f)
after yield 1
before yield 2
2
>>> next(f)
after yield 2
end
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
StopIteration

Answer 4

添加答案，因为现有答案都没有专门解决官方文献中的混淆。

生成器函数是使用yield而不是return定义的普通函数。 当被调用时，生成器函数返回一个生成器对象，它是一种迭代器——它有一个next()方法。 当您调用next()时，将返回生成器函数产生的下一个值。

根据您阅读的 Python 源文档，函数或对象都可以称为“生成器”。 Python 词汇表说生成器函数，而Python wiki暗示生成器对象。 Python 教程非常成功地在三个句子的空间中暗示了这两种用法：

生成器是用于创建迭代器的简单而强大的工具。 它们像常规函数一样编写，但只要它们想要返回数据就使用 yield 语句。 每次调用 next() 时，生成器都会从它停止的地方继续（它会记住所有数据值以及最后执行的语句）。

前两句用生成器函数标识生成器，而第三句用生成器对象标识它们。

尽管存在所有这些混淆，但可以查找Python 语言参考以获得明确和最终的结论：

yield 表达式仅在定义生成器函数时使用，并且只能在函数定义的主体中使用。 在函数定义中使用 yield 表达式足以使该定义创建生成器函数而不是普通函数。

当调用生成器函数时，它返回一个称为生成器的迭代器。 然后该生成器控制生成器函数的执行。

因此，在正式和精确的用法中， “生成器”不合格意味着生成器对象，而不是生成器函数。

上述参考是针对 Python 2 的，但Python 3 语言参考说的是同样的事情。 但是， Python 3 词汇表指出

generator ... 通常指的是生成器函数，但在某些情况下可能指的是生成器迭代器。 在预期含义不明确的情况下，使用完整的术语可以避免歧义。

Answer 5

每个人都有一个非常好的和详细的示例答案，我真的很感激。 我只是想为那些在概念上还不太清楚的人提供简短的几行答案：

如果您创建自己的迭代器，它会涉及一点点 - 您必须创建一个类并至少实现 iter 和 next 方法。 但是，如果您不想经历这些麻烦并想快速创建一个迭代器怎么办。 幸运的是，Python 提供了一种定义迭代器的捷径。 您需要做的就是定义一个至少有 1 次调用 yield 的函数，现在当您调用该函数时，它会返回“ something ”，它的作用类似于迭代器（您可以调用 next 方法并在 for 循环中使用它）。 这个东西在 Python 中有一个名字叫做 Generator

希望澄清一点。

Answer 6

Ned Batchelder的示例强烈推荐用于迭代器和生成器

一种没有生成器的方法，可以对偶数做一些事情

def evens(stream):
   them = []
   for n in stream:
      if n % 2 == 0:
         them.append(n)
   return them

而通过使用发电机

def evens(stream):
    for n in stream:
        if n % 2 == 0:
            yield n

• 我们不需要任何列表，也不需要return声明
• 对大型/无限长度流有效......它只是行走并产生价值

像往常一样调用evens方法（生成器）

num = [...]
for n in evens(num):
   do_smth(n)

• 生成器也用于中断双循环

迭代器

满页的书是可迭代的，书签是迭代器

而这个书签除了移到next没有任何关系

litr = iter([1,2,3])
next(litr) ## 1
next(litr) ## 2
next(litr) ## 3
next(litr) ## StopIteration  (Exception) as we got end of the iterator

要使用 Generator ...我们需要一个函数

要使用 Iterator ...我们需要next和iter

如前所述：

生成器函数返回一个迭代器对象

迭代器的全部好处：

一次在内存中存储一​​个元素

Answer 7

以前的答案错过了这个添加：生成器有一个close方法，而典型的迭代器没有。 close方法会触发生成器中的StopIteration异常，该异常可能会在该迭代器的finally子句中被捕获，以便有机会运行一些清理工作。 这种抽象使其在大型而不是简单的迭代器中最有用。 一个人可以关闭一个生成器，就像一个人可以关闭一个文件一样，而不必担心下面的内容。

也就是说，我个人对第一个问题的回答是：iteratable 只有一个__iter__方法，典型的迭代器只有一个__next__方法，生成器有一个__iter__和一个__next__以及一个额外的close 。

对于第二个问题，我个人的回答是：在公共接口中，我更倾向于生成器，因为它更具弹性： close方法与yield from具有更大的可组合性。 在本地，我可能会使用迭代器，但前提是它是一个扁平且简单的结构（迭代器不容易组合）并且有理由相信序列相当短，特别是如果它可能在到达末尾之前停止。 我倾向于将迭代器视为低级原语，除了文字。

对于控制流而言，生成器是一个与 Promise 一样重要的概念：两者都是抽象的和可组合的。

Answer 8

无代码 4 行备忘单：

A generator function is a function with yield in it.

A generator expression is like a list comprehension. It uses "()" vs "[]"

A generator object (often called 'a generator') is returned by both above.

A generator is also a subtype of iterator.

Answer 9

生成器函数、生成器对象、生成器：

Generator 函数就像 Python 中的常规函数​​一样，但它包含一个或多个yield语句。 生成器函数是一个很好的工具，可以尽可能简单地创建迭代器对象。 生成器函数返回的迭代器对象也称为生成器对象或生成器。

在这个例子中，我创建了一个 Generator 函数，它返回一个 Generator 对象<generator object fib at 0x01342480> 。 就像其他迭代器一样，Generator 对象可以在for循环中使用，也可以与内置函数next()一起使用，后者从生成器返回下一个值。

def fib(max):
    a, b = 0, 1
    for i in range(max):
        yield a
        a, b = b, a + b
print(fib(10))             #<generator object fib at 0x01342480>

for i in fib(10):
    print(i)               # 0 1 1 2 3 5 8 13 21 34


print(next(myfib))         #0
print(next(myfib))         #1
print(next(myfib))         #1
print(next(myfib))         #2

因此生成器函数是创建 Iterator 对象的最简单方法。

迭代器：

每个生成器对象都是一个迭代器，但反之则不然。 如果其类实现了__iter__和__next__方法（​​也称为迭代器协议），则可以创建自定义迭代器对象。

但是，使用生成器函数创建迭代器要容易得多，因为它们简化了它们的创建，但是自定义的迭代器给您更多的自由，您还可以根据您的要求实现其他方法，如下例所示。

class Fib:
    def __init__(self,max):
        self.current=0
        self.next=1
        self.max=max
        self.count=0

    def __iter__(self):
        return self

    def __next__(self):
        if self.count>self.max:
            raise StopIteration
        else:
            self.current,self.next=self.next,(self.current+self.next)
            self.count+=1
            return self.next-self.current

    def __str__(self):
        return "Generator object"

itobj=Fib(4)
print(itobj)               #Generator object

for i in Fib(4):  
    print(i)               #0 1 1 2

print(next(itobj))         #0
print(next(itobj))         #1
print(next(itobj))         #1

Answer 10

如果没有其他两个概念，很难回答这个问题： iterable和iterator protocol 。

1. iterator和iterable和有什么不一样？ 从概念上讲，您在相应的iterator的帮助下iterable迭代。 有一些区别可以帮助在实践中区分iterator和iterable ：
   • 一个区别是iterator有__next__方法，而iterable没有。
   • 另一个区别 - 它们都包含__iter__方法。 在iterable的情况下，它返回相应的迭代器。 如果是iterator ，它会返回自身。 这有助于在实践中区分iterator和iterable 。

>>> x = [1, 2, 3]
>>> dir(x) 
[... __iter__ ...]
>>> x_iter = iter(x)
>>> dir(x_iter)
[... __iter__ ... __next__ ...]
>>> type(x_iter)
list_iterator

2. python中的iterables对象是什么？ list 、 string 、 range等。什么是iterators ？ enumerate 、 zip 、 reversed等。我们可以使用上面的方法检查这一点。 这有点令人困惑。 如果我们只有一种类型，可能会更容易。 range和zip之间有什么区别吗？ 这样做的原因之一 - range有很多额外的功能 - 我们可以索引它或检查它是否包含一些数字等（请参阅此处的详细信息）。

3. 我们如何自己创建一个iterator ？ 理论上我们可以实现Iterator Protocol （见这里）。 我们需要编写__next__和__iter__方法并引发StopIteration异常等等（有关示例和可能的动机，请参见 Alex Martelli 的回答，另请参见此处）。 但实际上我们使用生成器。 到目前为止，这似乎是在python中创建iterators的主要方法。

我可以给你一些更有趣的例子，展示这些概念在实践中的一些令人困惑的用法：

• 在keras我们有tf.keras.preprocessing.image.ImageDataGenerator ； 这个类没有__next__和__iter__方法； 所以它不是迭代器（或生成器）；
• 如果您调用它的flow_from_dataframe()方法，您将获得具有这些方法的DataFrameIterator ； 但它没有实现StopIteration （这在python的内置迭代器中并不常见）； 在文档中，我们可能会读到“A DataFrameIterator yielding tuples of (x, y) ”——再次混淆了术语的使用；
• 我们在keras中也有Sequence类，这是生成器功能的自定义实现（常规生成器不适合多线程），但它没有实现__next__和__iter__ ，而是对生成器的包装（它使用yield语句）；

Answer 11

您可以比较相同数据的两种方法：

def myGeneratorList(n):
    for i in range(n):
        yield i

def myIterableList(n):
    ll = n*[None]
    for i in range(n):
        ll[i] = i
    return ll

# Same values
ll1 = myGeneratorList(10)
ll2 = myIterableList(10)
for i1, i2 in zip(ll1, ll2):
    print("{} {}".format(i1, i2))

# Generator can only be read once
ll1 = myGeneratorList(10)
ll2 = myIterableList(10)

print("{} {}".format(len(list(ll1)), len(ll2)))
print("{} {}".format(len(list(ll1)), len(ll2)))

# Generator can be read several times if converted into iterable
ll1 = list(myGeneratorList(10))
ll2 = myIterableList(10)

print("{} {}".format(len(list(ll1)), len(ll2)))
print("{} {}".format(len(list(ll1)), len(ll2)))

此外，如果您检查内存占用，生成器占用的内存要少得多，因为它不需要同时将所有值存储在内存中。

Answer 12

该线程详细介绍了两者之间的所有差异，但想在两者之间的概念差异上添加一些内容：

[...] GoF 书中定义的迭代器从集合中检索项目，而生成器可以“凭空”产生项目。 这就是为什么斐波那契数列生成器是一个常见示例的原因：无限的数字序列不能存储在集合中。

拉马略，卢西亚诺。 流利的 Python（第 415 页）。 奥莱利媒体。 Kindle版。

当然，它并没有涵盖所有方面，但我认为它提供了一个很好的概念，什么时候有用。

Answer 13

我正在以一种非常简单的方式专门为 Python 新手编写，尽管 Python 在内心深处做了很多事情。

让我们从最基本的开始：

考虑一个清单，

l = [1,2,3]

让我们写一个等价的函数：

def f():
    return [1,2,3]

print(l): [1,2,3] & print(f()) : [1,2,3]

让列表 l 可迭代：在 python 中，列表始终是可迭代的，这意味着您可以随时应用迭代器。

让我们在列表上应用迭代器：

iter_l = iter(l) # iterator applied explicitly

让我们使函数可迭代，即编写一个等效的生成器函数。 在 python 中，只要你引入关键字yield ; 它成为一个生成器函数，并且迭代器将被隐式应用。

注意：每个生成器在应用隐式迭代器的情况下始终是可迭代的，这里隐式迭代器是关键所以生成器函数将是：

def f():
  yield 1 
  yield 2
  yield 3

iter_f = f() # which is iter(f) as iterator is already applied implicitly

因此，如果您观察到，一旦您制作了函数 fa 生成器，它就已经是 iter(f)

现在，

l 是列表，在应用迭代器方法“iter”后，它变成了 iter(l)

f 已经是 iter(f)，在应用迭代器方法“iter”之后，它变成了 iter(iter(f))，它又是 iter(f)

这有点像您将 int 转换为 int(x)，它已经是 int 并且它将保持 int(x)。

例如 o/p 的：

print(type(iter(iter(l))))

是

<class 'list_iterator'>

永远不要忘记这是 Python 而不是 C 或 C++

因此，上述解释的结论是：

列表 l ~= iter(l)

生成器函数 f == iter(f)

Answer 14

可迭代对象是可以（自然地）迭代的东西。 但是，要做到这一点，您将需要像迭代器对象这样的东西，而且，是的，术语可能会令人困惑。 可迭代对象包括一个__iter__方法，该方法将返回可迭代对象的迭代器对象。

迭代器对象是实现迭代器协议的对象——一组规则。 在这种情况下，它必须至少有这两个方法： __iter__和__next__ 。 __next__方法是一个提供新值的函数。 __iter__方法返回迭代器对象。 在更复杂的对象中，可能有一个单独的迭代器，但在更简单的情况下， __iter__返回对象本身（通常return self ）。

一个可迭代对象是list对象。 它不是迭代器，但它有一个返回迭代器的__iter__方法。 您可以直接将此方法称为things.__iter__() ，或使用iter(things) 。

如果你想遍历任何集合，你需要使用它的迭代器：

things_iterator = iter(things)
for i in things_iterator:
    print(i)

然而，Python 会自动使用迭代器，这就是为什么你永远看不到上面的例子。 相反，你写：

for i in things:
    print(i)

自己编写迭代器可能很乏味，因此 Python 有一个更简单的替代方案：生成器函数。 生成器函数不是普通函数。 不是运行代码并返回最终结果，而是延迟代码，并且函数立即返回生成器对象。

生成器对象类似于迭代器对象，因为它实现了迭代器协议。 这对于大多数用途来说已经足够了。 其他答案中有很多生成器的例子。

简而言之，迭代器是一个对象，它允许您遍历另一个对象，无论它是集合还是其他值的来源。 生成器是一个简化的迭代器，它或多或少地完成相同的工作，但更容易实现。

通常，如果这就是您所需要的，您会选择发电机。 但是，如果您正在构建一个更复杂的对象，其中包括其他功能中的迭代，您将使用迭代器协议。

Answer 15

所有生成器都是迭代器，但反之则不然。

from typing import Iterator
from typing import Iterable
from typing import Generator

class IT:

    def __init__(self):
        self.n = 0

    def __iter__(self):
        return self

    def __next__(self):
        if self.n == 4:
            raise StopIteration
        try:
            return self.n
        finally:
            self.n += 1


def g():
    for i in range(4):
        yield i

def test(it):
    print(f'type(it) = {type(it)}')
    print(f'isinstance(it, Generator) = {isinstance(it, Generator)}')
    print(f'isinstance(it, Iterator) = {isinstance(it, Iterator)}')
    print(f'isinstance(it, Iterable) = {isinstance(it, Iterable)}')
    print(next(it))
    print(next(it))
    print(next(it))
    print(next(it))
    try:
        print(next(it))
    except StopIteration:
        print('boom\n')


print(f'issubclass(Generator, Iterator) = {issubclass(Generator, Iterator)}')
print(f'issubclass(Iterator, Iterable) = {issubclass(Iterator, Iterable)}')
print()
test(IT())
test(g())

---

Output：

issubclass(Generator, Iterator) = True
issubclass(Iterator, Iterable) = True

type(it) = <class '__main__.IT'>
isinstance(it, Generator) = False
isinstance(it, Iterator) = True
isinstance(it, Iterable) = True
0
1
2
3
boom

type(it) = <class 'generator'>
isinstance(it, Generator) = True
isinstance(it, Iterator) = True
isinstance(it, Iterable) = True
0
1
2
3
boom