[英]Match two files against each other and write output as file - Python
我是Python的新手。 我第二次在其中编码。 该脚本的要点是获取一个包含数千行文件名的文本文件(sNotUsed文件),并将其与大约50个XML文件进行匹配。 每个XML文件最多可以包含数千行,并且按照大多数XML的格式进行格式化。 我不确定到目前为止代码的问题是什么。 代码没有完全完成,因为我还没有添加将输出写回到XML文件的部分,但是当前的最后一行应该至少打印一次。 事实并非如此。
两种文件格式的示例如下:
文本文件:
fileNameWithoutExtension1
fileNameWithoutExtension2
fileNameWithoutExtension3
etc.
XML文件:
<blocks>
<more stuff="name">
<Tag2>
<Tag3 name="Tag3">
<!--COMMENT-->
<fileType>../../dir/fileNameWithoutExtension1</fileType>
<fileType>../../dir/fileNameWithoutExtension4</fileType>
</blocks>
我的代码这么远:
import os
import re
sNotUsed=list()
sFile = open("C:\Users\xxx\Desktop\sNotUsed.txt", "r") # open snotused txt file
for lines in sFile:
sNotUsed.append(lines)
#sNotUsed = sFile.readlines() # read all lines and assign to list
sFile.close() # close file
xmlFiles=list() # list of xmlFiles in directory
usedS=list() # list of S files that do not match against sFile txt
search = "\w/([\w\-]+)"
# getting the list of xmlFiles
filelist=os.listdir('C:\Users\xxx\Desktop\dir')
for files in filelist:
if files.endswith('.xml'):
xmlFile = open(files, "r+") # open first file with read + write access
xmlComp = xmlFile.readlines() # read lines and assign to list
for lines in xmlComp: # iterate by line in list of lines
temp = re.findall(search, lines)
#print temp
if temp:
if temp[0] in sNotUsed:
print "yes" # debugging. I know there is at least one match for sure, but this is not being printed.
解决问题:对不起,我想我的问题不是很清楚。 我希望脚本逐行浏览每个XML,并查看该行的FILENAME部分是否与sNotUsed.txt文件的确切行匹配。 如果有匹配项,那么我想将其从XML中删除。 如果该行与sNotUsed.txt中的任何行都不匹配,那么我希望它是新的经过修改的XML文件(它将覆盖旧文件)的输出的一部分。 如果仍然不清楚,请告诉我。
编辑,工作代码
import os
import re
import codecs
sFile = open("C:\Users\xxx\Desktop\sNotUsed.txt", "r") # open sNotUsed txt file
sNotUsed=sFile.readlines() # read all lines and assign to list
sFile.close() # close file
search = re.compile(r"\w/([\w\-]+)")
sNotUsed=[x.strip().replace(',','') for x in sNotUsed]
directory=r'C:\Users\xxx\Desktop\dir'
filelist=os.listdir(directory) # getting the list of xmlFiles
# for each file in the list
for files in filelist:
if files.endswith('.xml'): # make sure it is an XML file
xmlFile = codecs.open(os.path.join(directory, files), "r", encoding="UTF-8") # open first file with read
xmlComp = xmlFile.readlines() # read lines and assign to list
print xmlComp
xmlFile.close() # closing the file since the lines have already been read and assigned to a variable
xmlEdit = codecs.open(os.path.join(directory, files), "w", encoding="UTF-8") # opening the same file again and overwriting all existing lines
for lines in xmlComp: # iterate by line in list of lines
#headerInd = re.search(search, lines) # used to get the headers, comments, and ending blocks
temp = re.findall(search, lines) # finds all strings that match the regular expression compiled above and makes a list for each
if temp: # if the list is not empty
if temp[0] not in sNotUsed: # if the first (and only) value in each list is not in the sNotUsed list
xmlEdit.write(lines) # write it in the file
else: # if the list is empty
xmlEdit.write(lines) # write it (used to preserve the beginning and ending blocks of the XML, as well as comments)
有很多话要说,但我会尽量保持简洁。
对于局部变量,应使用带下划线的小写字母。 看看PEP8:Python代码样式指南。
with
语句 使用with
语句打开文件,请参见:文件对象: http : //docs.python.org/2/library/stdtypes.html#bltin-file-objects
Windows文件名中的反斜杠可能会导致Python程序出现问题。 您必须使用双反斜杠转义字符串或使用原始字符串。
例如:如果您的Windows文件名是"dir\\notUsed.txt"
,则应这样转义它: "dir\\\\notUsed.txt"
或使用原始字符串r"dir\\notUsed.txt"
。 如果您不这样做,则"\\n"
将被解释为换行符!
注意:如果需要支持Unicode文件名,则可以使用Unicode原始字符串: ur"dir\\notUsed.txt"
。
另请参见StockOverFlow中的问题19065115。
将文件名存储在一个set
:这是一个优化的集合,没有重复项
not_used_path = ur"dir\sNotUsed.txt"
with open(not_used_path) as not_used_file:
not_used_set = set([line.strip() for line in not_used_file])
多次使用时,编译正则表达式效率更高。 同样,您应该使用原始字符串来避免反斜杠的解释。
pattern = re.compile(r"\w/([\w\-]+)")
警告: os.listdir()
函数返回文件名列表而不是完整路径列表。 请参阅Python文档中的此函数。
在您的示例中,使用os.listdir()
读取桌面目录'C:\\Users\\xxx\\Desktop\\dir'
。 然后,您要使用open(files, "r+")
此目录中的每个XML文件。 但这是错误的,直到您当前的工作目录不是您的桌面目录。 经典用法是使用os.path.join()
函数,如下所示:
desktop_dir = r'C:\Users\xxx\Desktop\dir'
for filename in os.listdir(desktop_dir):
desktop_path = os.path.join(desktop_dir, filename)
如果要提取文件名的扩展名,则可以使用os.path.splitext()
函数。
desktop_dir = r'C:\Users\xxx\Desktop\dir'
for filename in os.listdir(desktop_dir):
if os.path.splitext(filename)[1].lower() != '.xml':
continue
desktop_path = os.path.join(desktop_dir, filename)
您可以使用理解列表简化此操作:
desktop_dir = r'C:\Users\xxx\Desktop\dir'
xml_list = [os.path.join(desktop_dir, filename)
for filename in os.listdir(desktop_dir)
if os.path.splitext(filename)[1].lower() == '.xml']
如何解析XML文件? 这是一个很好的问题! 有几种可能:-使用正则表达式,高效但危险; -使用SAX解析器,效率也很高,但令人困惑且难以维护; -使用DOM解析器,效率较低,但更清晰...考虑使用lxml包(@see: http : //lxml.de/ )
这很危险,因为您读取文件的方式并不关心XML编码。 这很糟糕! 确实非常糟糕! XML文件通常以UTF-8编码。 您应该首先解码UTF-8字节流。 一种简单的方法是使用codecs.open()打开编码的文件。
for xml_path in xml_list:
with codecs.open(xml_path, "r", encoding="UTF-8") as xml_file:
content = xml_file.read()
使用此解决方案,完整的XML内容作为Unicode字符串存储在content
变量中。 然后,您可以使用Unicode正则表达式来解析内容。
最后,您可以使用交集来查找给定的XML文件是否包含文本文件的公用名称。
for xml_path in xml_list:
with codecs.open(xml_path, "r", encoding="UTF-8") as xml_file:
content = xml_file.read()
actual_set = set(pattern.findall(content))
print(not_used_set & actual_set)
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.