解析和写入巨大的 XML 文件需要很长时间？

Question

我正在尝试解析一个巨大的 XML 文件 > 1GB 并替换一些元素的文本值。 它可以工作，但需要很多时间（超过 15 分钟）。

有什么方法可以提高我的脚本的性能吗？

我的解析代码是这样的：

import xml.etree.ElementTree as ET

 tree = ET.parse(path)
 root = tree.getroot()
for element in root.findall( My_Xpath_NS +'InstdAmt'):
    Somme_Indiv = element.text = Sample_Indiv
    Somme_Indiv = float(Somme_Indiv)
    Somme_Total += Somme_Indiv
    Counter_Transaction += 1


for element2 in root.findall(My_Xpath_NS+'CtrlSum') :
    Impot_Total = element2.text = str(Somme_Total)

    print(Impot_Total)

for element in root.findall(My_Xpath_NS + 'IBAN'):
    IbanFictif = "Fake"
    Iban_Fictif = element.text = str(IbanFictif)

for date_Today in root.findall(My_Xpath_NS + 'CreDtTm'):
    date_Today.text = str(today) + "T00:00:00"
for Date_User in root.findall(My_Xpath_NS + 'ReqdColltnDt'):
    Date_User.text = User_Date

for Transaction in root.findall(My_Xpath_NS + 'NbOfTxs'):
    Transaction.text = str(Counter_Transaction)


for Customer_Names in root.findall(My_Xpath_NS + 'Nm'):
    full_name = random.choice(first_name) + " " + random.choice(last_name)
    Customer_Names.text = full_name


tree.write(path , xml_declaration=True, method='xml', encoding='UTF-8')

我确信问题是有多个 for 循环，也许它没有优化，这就是为什么它需要这么长时间，不是吗？

xml 文件看起来像那样（但真正的文件要大得多）

<?xml version="1.0" encoding ="utf8"?>
<Document xmlns:xsi = "sample" xmlns ="sample2">
   <CstmrDrctDbtInitn>     
        <GrpHdr>
            <MSgId>sample1</MSgId>
            <CreDtTm>2020-09-21T00:00:00</CreDtTm>
            <NbOfTxs>4</NbOfTxs>
            <CtrlSum>4</CtrlSum>
            <InitgPty>
                <Nm>sample</Nm>
                <Id>
                    <OrgId>
                        <Othr>
                            <IBAN>fake</IBAN>
                        </Othr>
                     </OrgId>
                </Id>
            </InitgPty>
        </GrpHdr>
        <InitgPty1>
            <InstdAmt>0.01</InstdAmt>
            <InstdAmt>0.01</InstdAmt>
            <InstdAmt>0.01</InstdAmt>
            <InstdAmt>0.01</InstdAmt>
        </InitgPty1>
    </CstmrDrctDbtInitn>
</Document>

Answer 1

如果你把它写成一个流 XSLT 3.0 转换，我希望它能在一分钟或更短的时间内运行，并且使用更少的 memory。我不会尝试为你编码，因为逆向工程你的要求代码并不好玩，但 1 分钟是对性能的合理期望。