发电机似乎没有停止

Question

我有一个生成器，我需要将其内容输入 SQL 数据库。 生成器包含超过一百万个项目，在迭代它们时，我将它们以 10.000 的箱子发送到 pandas dataframe，然后通过 to_sql ZC1C425268E68385D1AB4Z507DZ 提交到数据库中。

只要我可以用 10.000 件物品装满垃圾箱，它就可以正常工作。 但是，StopIteration 永远不会被触发，即使生成器的最后一项被 next 方法调用。

调试它，我可以看到项目 1.384.471 在 try-part 中被处理，然后while仍然是True ， next没有得到一个新项目，而是没有激活 except-part 程序只是运行到必杀技。

如果你们中的一些人能指出我的错误，那就太好了。

import ijson
import pandas as pd
import sqlalchemy as sa

def connect_to_database():
    engine = sa.create_engine(f"postgresql+psycopg2://{USER}:{PWD}@{SERVERNAME}:{PORT}/{DB}")

    return engine

engine = connect_to_database()

def create_content(objects, table_name):
''' simple helper function to get content
for every object list from the JSON file'''

    item_lst = []
    item_count = 0

    while True:
        try:
            item = next(objects)
        
            value_conversion(item)
            item_lst.append(item)
            if item_count == 1380000 and len(item_lst) == 4470:
                print('Watch it!')
        
            if len(item_lst) == 10000:
                item_count += len(item_lst)
                submit_sql(table_name, item_lst)
                item_lst.clear()

        except StopIteration:
            if len(item_lst) > 0:
                item_count += len(item_lst)
                submit_sql(table_name, item_lst)
                item_lst.clear()
                print(item_count)

            break               

        except Exception as e:
            print(e)


def submit_sql(engine, table_name, items):
''' submit dataframe content of items to sql database '''
    
    engine = connect_to_database()

    temp_df = pd.DataFrame(items)
    temp_df.to_sql(table_name, engine, if_exists='append', index=False)

    engine.dispose()


with open("C:/Path/To/Json/file.json", "r", encoding="utf-8") as json_file:
    s_objects = ijson.items(json_file, 'ObjectList.item')
    create_content(s_objects, 'tablename')

带有简单 for 循环的版本也不起作用。 永远不会到达 for 循环之后的 if 语句。

try:
    for item in objects:
        value_conversion(item)
        item_lst.append(item)
        
        if len(item_lst) == 10000:
            item_count += len(item_lst)
            submit_sql(table_name, item_lst)
            item_lst.clear()
            print(item_count)


    if len(item_lst) > 0:
        item_count += len(item_lst)
        submit_sql(table_name, item_lst)
        item_lst.clear()
        print(item_count)

except Exception as e:
    print(e)