将3D单词列表展平为2D

Question

我有一列带有文本字符串的pandas列。 为了简单起见，假设我有一列包含两个字符串。

s=["How are you. Don't wait for me",  "this is all fine"]

我想得到这样的东西：

[["How", "are","you"],["Don't", "wait", "for", "me"],["this","is","all","fine"]]

基本上将文档中的每个句子和符号表示法都包含在单词列表中。 所以最后我需要字符串列表列表。

我尝试使用如下地图：

nlp=spacy.load('en')
def text_to_words(x):
    """ This function converts sentences in a text to a list of words

    """

    global log_txt
    x=re.sub("\s\s+" , " ", x.strip())
    txt_to_words= [str(doc).replace(".","").split(" ") for doc in nlp(x).sents]

    #log_txt=log_txt.extend(txt_to_words)

    return txt_to_words

spacy中的nlp用于将文本字符串拆分为句子列表。

log_txt=list(map(text_to_words,s))

log_txt

但是正如您所知，这会将两个文档的所有结果放入另一个列表中

[[['How', 'are', 'you'], ["Don't", 'wait', 'for', 'me']],
 [['this', 'is', 'all', 'fine']]]

Answer 1

您将需要嵌套列表理解。 此外，您可以使用re.sub摆脱标点符号。

import re

data = ["How are you. Don't wait for me",  "this is all fine"]
words = [
    re.sub([^a-z\s], '', j.lower()).split() for i in data for j in nlp(i).sents
]

要么，

words = []
for i in data:
    ... # do something here
    for j in nlp(i).sents:
        words.append(re.sub([^a-z\s], '', j.lower()).split())

Answer 2

有一种更简单的列表理解方法。 您可以先用句号“。”连接字符串。 并再次拆分。

[x.split() for x in '.'.join(s).split('.')]

它将给出期望的结果。

[["How", "are","you"],["Don't", "wait", "for", "me"],["this","is","all","fine"]]

对于Pandas数据框，您可能会得到一个对象，并因此得到tolist函数之后的列表列表。 只需提取第一个元素。

例如，

import pandas as pd

def splitwords(s):
    s1 = [x.split() for x in '.'.join(s).split('.')]
    return s1

df = pd.DataFrame(s)
result = df.apply(splitwords).tolist()[0]

同样，它将为您提供首选的结果。

希望能帮助到你 ;）