使用nltk输入文本分类

Question

我有5500个问题的数据集-link1和6个类别的关键字-link2

我要执行两个动作

1. 根据两个链接中的给定数据集对输入问题的类别进行分类
2. 对以上link2数据集的输入句子中的命名实体类别进行分类

最初，我从性别分类开始，只是想知道如何进行分类，并且效果很好。

>>> def gender_features(word):
...     return {'last_letter': word[-1]}
>>> gender_features('Shrek')
{'last_letter': 'k'}

>>> from nltk.corpus import names
>>> labeled_names = ([(name, 'male') for name in names.words('male.txt')] +
... [(name, 'female') for name in names.words('female.txt')])
>>> import random
>>> random.shuffle(labeled_names)

>>> featuresets = [(gender_features(n), gender) for (n, gender) in labeled_names]
>>> train_set, test_set = featuresets[500:], featuresets[:500]
>>> classifier = nltk.NaiveBayesClassifier.train(train_set)
>>> classifier.classify(gender_features('Neo'))
'male'
>>> classifier.classify(gender_features('Trinity'))
'female'

我以类似的方式尝试对link2中列出的任何类别的输入单词进行分类。 但是我无法确定我应该在这里使用什么feature extraction function 。

任何对1,2行动的帮助或建议都是非常可取的。