使用ruby创建常用单词或短语的列表

Question

寻找有关从nosql数据库中的一堆条目生成常用单词和短语列表的建议。 基本上，我们有一堆帖子是由某人发表的，我们想告诉他们“嘿，您在这里经常使用这些单词/短语”。

我对此有些困惑。

我的应用程序是在rails，border-js和redis上使用ruby。

Answer 1

由于尚不清楚帖子的存储方式，因此我假设您可以获取所有帖子的数组。

查找最常见的不常见单词的简单算法如下：遍历所有帖子的数组，然后从单词以外的任何内容中删除帖子并将其拆分为单词。 遍历条目中的所有单词，并将您看到该单词的次数加1。 完成所有条目中所有单词的操作后，您将获得一个包含所有单词出现次数的哈希值。 删除最常用的词，这是100个常用词的示例。 您可能应该在应用程序中使用更多。 按出现次数对它们进行排序，您将获得最常见的单词。

在这里实现。 它不处理您可能想要的情况，例如posts正在post 。 您可以研究Rails如何实现String#singular来获得此行为。

如果您想找到常用的短语会变得更有趣，那么您可能不得不使用某种自然语言处理，如@sawa在评论中指出的那样。 我想不出一个足够快的解决方案。