通过Bluemix Retrieve＆Rank，我们如何实现持续学习的系统？

Question

参考以下Web页面，使用IBM Bluemix的Retrieve＆Rank服务，我们正在创建一个可以响应查询的机器人。

问：一次学习了排名后，根据用户对查询的响应，我们如何构建一种持续学习并提高响应准确性的机制？

假设：由于没有R＆R服务的API可以从用户的查询响应结果中不断学习，因此需要调整GroundTruth文件，因此我认为有必要定期执行这样的过程，即再次训练排名者。

调优假定的GT文件的内容：

• 如果有新问题，请添加一组问题和答案
• 如果存在的问题无法通过现有问题很好地回答，则增加或降低响应的相关性分数（如果漫游器回答不正确，则降低分数，如果有有用的答案，则提高分数）

Answer 1

为了不断学习，您需要执行以下操作：

• 捕获新示例，即每个用户输入和相应的结果
• 查看这些示例并创建新的排名示例，调整相关性得分等
• 将这些新示例添加到排名
• 使用您的新示例和现有示例重新训练排名

注意：请确保验证对ranker数据的新更新可以提高整体系统性能。 k倍验证是衡量这一点的好方法。

总而言之，学习是一个连续的过程，应该无限期地重复学习，或者直到系统性能被认为足够为止。