使用正则表达式分组将字符串转换为字典

Question

我有许多这样的txt文件格式-

\n==== Intro \n text \n text \n==== Body \n text \n text \n==== Refs \n test \n text

我想将它们放入看起来像这样的字典中-

{'Intro': '\n text \n text \n', 
'Body': '\n text \n text', 
'Refs': '\n test \n text'}

我担心要处理所有txt文件所需的时间，因此想要一种方法，该方法将花费尽可能少的时间，而且我不在乎将文本分成几行。

我正在尝试使用正则表达式，但是正努力使其正常工作-我认为我的最后一个正则表达式组不正确。 以下是我目前拥有的。 任何建议都很好。

pattern = r"(====.)(.+?\b)(.*)"
matches = re.findall(pattern, data, re.DOTALL) 
my_dict = {b:c for a,b,c in matches}

Answer 1

您在这里不需要RegEx，而可以使用经典的split()函数。

在这里，我使用textwrap来提高可读性：

import textwrap

text = textwrap.dedent("""\

==== Intro 
 text 
 text 
==== Body 
 text 
 text 
==== Refs 
 test 
 text""")

你可以做：

result = {}
for part in text.split("==== "):
    if not part.isspace():
        section, content = part.split(' ', 1)
        result[section] = content

或者用理解的元组列表初始化dict ：

result = dict(part.split(' ', 1)
              for part in text.split("==== ")
              if not part.isspace())

Answer 2

应该这样做：

d = dict(re.findall('(?<=\n====\s)(\w+)(\s+[^=]+)', text, re.M | re.DOTALL))
print(d)
{'Body': ' \n text \n text \n',
 'Intro': ' \n text \n text \n',
 'Refs': ' \n test \n text'}

---

正则表达式详细信息

(?<=    # lookbehind (must be fixed width)
    \n      # newline
    ====    # four '=' chars in succession
    \s      # single wsp character
)
(       # first capture group
    \w+     # 1 or more alphabets (or underscore)    
)    
(       # second capture group
    \s+     # one or more wsp characters
    [^=]+   # match any char that is not an '='
)

Answer 3

您可以尝试以下方法：

import re

s = "\n==== Intro \n text \n text \n==== Body \n text \n text \n==== Refs \n test \n text"

final_data = re.findall("(?<=\n\=\=\=\=\s)[a-zA-Z]+\s", s)
text = re.findall("\n .*? \n .*?$|\n .*? \n .*? \n", s)
final_body = {a:b for a, b in zip(final_data, text)}

输出：

{'Body ': '\n text \n text \n', 'Intro ': '\n text \n text \n', 'Refs ': '\n test \n text'}

Answer 4

如果您不想将整个文件读入内存，则可以逐行处理，如下所示：

marker = "==== "
def read_my_custom_format(file):
    current_header = None
    current_contents = []
    for line in file:
        line = line.strip() # trim whitespace, including trailing newline
        if line.startswith(marker):
            yield current_header, current_contents # emit current section
            current_header = line[len(marker):] # trim marker
            current_contents = []
        else:
            current_contents.append(line)

这是生成元组的生成器，而不是构建字典。 这样，它一次只能在一个内存中保存一个节。 另外，每个键都映射到行列表，而不是一个字符串，但是您可以轻松地"".join(iterable)它们"".join(iterable) 。 如果要生成一个字典，该字典又要与输入文件成比例地占用内存，则可以这样进行：

with open("your_textfile.txt") as file:
    data = dict(read_my_custom_format(file))

因为dict()可以迭代2个元组