隐式反馈情况下的Mahout建议

Question

我正在使用Mahout框架，以便使用众所周知的movielens数据集（ml-100k）在隐式反馈上下文中获得建议，该数据集已二值化，考虑到所有评级等于4或5，其他评级等于0。 在此数据集中，有五个拆分，每个拆分通常都分为测试集和训练集。

在推荐过程中，我使用简单的GenericBooleanPrefUserBasedRecommender和TanimotoCoefficientSimilarity训练推荐器，如以下代码行所述：

    DataModel trainModel = new FileDataModel(new File(String.valueOf(Main.class.getResource("/binarized/u1.base").getFile())));
    DataModel testModel = new FileDataModel(new File(String.valueOf(Main.class.getResource("/binarized/u1.test").getFile())));
    UserSimilarity similarity = new TanimotoCoefficientSimilarity(trainModel);
    UserNeighborhood neighborhood = new NearestNUserNeighborhood(35, similarity, trainModel);

    GenericBooleanPrefUserBasedRecommender userBased = new GenericBooleanPrefUserBasedRecommender(trainModel, neighborhood, similarity);

    long firstUser = testModel.getUserIDs().nextLong(); // get the first user

    // try to recommender items for the first user
    for(LongPrimitiveIterator iterItem = testModel.getItemIDsFromUser(firstUser).iterator(); iterItem.hasNext(); ) {
        long currItem = iterItem.nextLong();
        // estimates preference for the current item for the first user
        System.out.println("Estimated preference for item " + currItem + " is " + userBased.estimatePreference(firstUser, currItem));

    }

当我执行此代码时，结果是0.0或1.0的列表，这些列表在隐式反馈上下文中的top-n建议上下文中没有用。 仅仅因为我必须为每个项目获得一个估计的比率，该比率保持在[0，1]范围内，以便以降序对列表进行排名并适当地构建前n个推荐。

那么这段代码有什么问题呢？ 我错过了什么还是什么不正确？ 还是Mahout框架没有提供使用二进制反馈的正确方法？

先感谢您，

亚历山德罗·苏利亚（Alessandro Suglia）

Answer 1

如果需要建议，则调用错误的函数。 您必须致电推荐

List<RecommendedItem> items = userBased.recommend(firstUser, 10);
for(RecommendedItem item : items) {
    System.out.println(item.getItemID()+" Estimated preference: "+item.getValue());
}

可以在javadocs上找到更多信息： https : //builds.apache.org/job/mahout-quality/javadoc/org/apache/mahout/cf/taste/recommender/Recommender.html

广泛的代码示例可以在这里找到：

https://github.com/ManuelB/facebook-recommender-demo/blob/master/src/main/java/de/apaxo/bedcon/FacebookRecommender.java

Answer 2

如果您尝试脱机评估推荐器，并且使用的是基于内存的项或基于用户的推荐器，那么Mahout会为此提供评估框架。 它将数据分为训练并自动且随机地进行测试。 它在训练集上进行训练，并在测试集上进行评估，并返回几个指标。

在此处查看Wiki页面底部的“评估”部分： https : //mahout.apache.org/users/recommender/userbased-5-minutes.html

由于设置了随机保留，因此每次运行都会产生略有不同的结果。

我会在不同的推荐程序算法上执行此操作，请注意，因为测试仅针对自身进行检查。 比较两个算法或实现更为复杂。 确保使用完全相同的数据，训练和测试组，即使如此，在进行A / B用户测试之前，结果还是值得怀疑的。

更新：离线时您说您正在使用特定的评估系统，并且不能使用Mahout的评估系统。 这是完成的过程：

您可以从数据集中删除一些数据。 因此，删除某些首选项。 然后训练并为保留了一些数据的用户获取建议。 测试数据尚未用于训练和获取推荐，因此您可以将用户的实际偏爱与推荐者的预测进行比较。 如果它们都匹配，则您的精度为100％。 请注意，您正在将建议与实际的但未接受的首选项进行比较。

如果您使用某些特殊工具，则可能会这样做以比较算法，这根本不是一回事，无论Netflix的奖项为何使我们相信。 如果您使用离线测试来调整特定的推荐者，那么结果可能会更好。

在一次安装中，我们获得了真实数据，并按日期将其分为测试和培训。 90％的旧数据用于训练，最近的10％用于测试。 这将模仿数据的输入方式。我们将训练数据中的建议与帮助数据中的实际偏好进行了比较，并使用MAP @ some-rec-numbers作为评分。 这使您可以衡量排名，而RMSE则不行。 Map得分使我们得出了一些有用的结论，这些结论取决于数据。

http://en.wikipedia.org/wiki/Information_retrieval#Mean_average_precision