如何提取仅包含有意义文本的行

Question

我有一个很大的Excel文件，如下所示：

Timestamp       Text                                Work        Id
5/4/16 17:52    rain a lot the packs maybe damage.  Delivery    XYZ
5/4/16 18:29    wh. screen                          Other       ABC
5/4/16 14:54    15107 Lane Pflugerville, 
                TX customer called me and his phone 
                number and my phone numbers were not 
                masked. thank you customer has had a 
                stroke and items were missing from his 
                delivery the cleaning supplies for his 
                wet vacuum steam cleaner.  he needs a 
                call back from customer support     Delivery    YYY
5/6/16 13:05    How will I know if I                Signing up  ASX
5/4/16 23:07    an quality                          Delivery    DFC

我只想在“文本”列上工作，然后删除那些在“文本”列中基本上只是乱码的行（上例中的第2、4、5行）。

我只读第二列，如下所示：

import xlrd
book = xlrd.open_workbook("excel.xlsx")
sheet = book.sheet_by_index(0)
for row_index in xrange(1, sheet.nrows): # skip heading row
    timestamp, text = sheet.row_values(row_index, end_colx=2)
    text)
    print (text)

如何删除乱码？ 我有一个想法，我需要使用nltk并拥有一个正语料库（一个没有任何胡言乱语），一个负语料库（仅具有胡言乱语），并用它训练我的模型。 但是我该如何实施呢？ 请帮忙！！

Answer 1

您可以使用nltk执行以下操作。

import nltk
english_words = set(w.lower() for w in nltk.corpus.words.words())

'a' in english_words
True

'dog' in english_words
True

'asdasdase' in english_words
False

如何从字符串中获取nltk中的单个单词：

individual_words_front_string = nltk.word_tokenize('This is my text from text column')

individual_words_front_string
['This', 'is,' 'my', 'text', 'from', 'text', 'column']

对于每行文本列，测试各个单词以查看它们是否在英语词典中。 如果全部都是这样，则您知道行文本列不会乱码。

如果您对乱码与非乱码的定义与nltk中的英语单词不同，则可以使用与上面相同的过程，只是使用不同的可接受单词列表。

如何接受电话号码和街道地址？

确定某物是否为数字的简单方法。

word = '32423432' 
word.isdigit()
True

word = '32423432ds' 
word.isdigit()
False

地址更加困难。 您可以在此处找到有关此信息： 解析地址 ，可能还有许多其他地方。 当然，如果您可以访问城市，州，道路等的列表，则始终可以使用上述逻辑。

如果任何一个单词为False，它会失败吗？

这是您决定的代码。 如果文本中x％的单词为假，则可以将某些内容标记为乱码？

如何确定语法是否正确？

这是一个更大的主题，可以在以下链接中找到更深入的说明： Checking Grammar 。 但是上面的答案只会检查单词是否在nltk语料库中，而不是检查句子在语法上是否正确。

Answer 2

从“垃圾”中分离出好的文字并不是一件容易的事，尤其是当您要处理短信/聊天时（这对我来说就是这样）。

拼写错误的单词不会使示例不可用，即使是句法错误的句子也不应使整个文本失去资格。 这是您可以用于报纸文本的标准，但不能用于用户生成的原始内容。

我会注释一个语料库，在其中将好样本与坏样本分开，并在其中训练简单的分类器。注释不必费劲，因为这些乱七八糟的文本比好文本短，并且应该易于识别（至少一些）。 另外，您可以尝试从约100个数据点（50个好/ 50个坏）的语料库大小开始，并在第一个模型或多或少起作用时对其进行扩展。

这是我始终用于文本分类的示例代码。 您需要安装scikit-learn和numpy：

import re
import random
import numpy as np
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn import metrics

# Prepare data

def prepare_data(data):
    """
    data is expected to be a list of tuples of category and texts.
    Returns a tuple of a list of lables and a list of texts
    """
    random.shuffle(data)
    return zip(*data)

# Format training data

training_data = [
    ("good", "rain a lot the packs maybe damage."),
    ("good", "15107 Lane Pflugerville, TX customer called me and his phone number and my phone numbers were not masked. thank you customer has had a stroke and items were missing from his delivery the cleaning supplies for his wet vacuum steam cleaner.  he needs a call back from customer support "),
    ("gibber", "wh. screen"),
    ("gibber", "How will I know if I")
]
training_labels, training_texts = prepare_data(training_data)


# Format test set
test_data = [
    ("gibber", "an quality"),
    ("good", "<datapoint with valid text>",
    # ...
]
test_labels, test_texts = prepare_data(test_data)


# Create feature vectors

"""
Convert a collection of text documents to a matrix of token counts.
See: http://scikit-learn.org/stable/modules/generated/sklearn.feature_extraction.text.CountVectorizer.html
"""
vectorizer = CountVectorizer()
X = vectorizer.fit_transform(training_texts)
y = training_labels


# Train the classifier

clf = LogisticRegression()
clf.fit(X, y)


# Test performance

X_test = vectorizer.transform(test_texts)
y_test = test_labels

# Generates a list of labels corresponding to the samples
test_predictions = clf.predict(X_test)

# Convert back to the usual format
annotated_test_data = list(zip(test_predictions, test_texts))

# evaluate predictions
y_test = np.array(test_labels)
print(metrics.classification_report(y_test, test_predictions))
print("Accuracy: %0.4f" % metrics.accuracy_score(y_test, test_predictions))

# predict labels for unknown texts
data = ["text1", "text2",]
# Important: use the same vectorizer you used for the training.
# When saving the model (e.g. via pickle) always serialize
# classifier & vectorizer
X = vectorizer.transform(data)
# Now predict the labels for the texts in 'data'
labels = clf.predict(X)
# And put them back together 
result = list(zip(labels, data))
# result = [("good", "text1"), ("gibber", "text2")]

关于其工作原理的几句话：计数向量化器对文本进行标记化，并创建包含语料库中所有单词计数的向量。 基于这些向量，分类器尝试识别模式以区分两个类别。 仅包含少量且不常见（b / c拼写错误）的单词的文本宁可属于“乱语”类别，而包含很多常见句子中常见单词的文本（请考虑此处的所有停用词：“我'，'您'，'是'...）更容易成为一个好的文本。

如果此方法适合您，您还应该尝试其他分类器，并使用第一个模型对较大的训练语料库进行半自动注释。