MTurk：3个HIT创建/检索中最好的2个

Question

期望的结果

我可以检索给定HIT的约定答案值

问题

我打电话的时候

CLIENT.list_review_policy_results_for_hit(HITId=hit['HITId'])

要从mturk沙箱端点检索特定HITId的结果，约定答案的“值”是一个空字符串。 我假设我在布局定义或create_hit（）逻辑中缺少某种问题映射，但是文档真的不清楚它应该如何工作所以我甚至不确定“list_review_policy_results_for_hit（）”是检索结果的正确方法。

背景

我正在努力创建一个用于上传单个问题HIT的管道，其中turker预计将二进制评级的文本评定为“质量”或“非质量”。 我想用“最好的2分3”裁定评估每个HIT，其中HIT被送到两个turkers进行审查，如果需要打破平局则需要额外的第三个变速器。

我正在使用SimplePlurality / 2011-09-01审核策略来处理“2 of 3”逻辑。

我很乐意根据要求提供更多信息/代码示例，但不希望在初始帖子中包含不必要的信息。

Answer 1

您可能没有正确配置ReviewPolicy。

您可以在CreateHIT请求中分享您传入的ReviewPolicy作为HITReviewPolicy参数吗？

我在下面分享了一个例子。 您可以使用HIT中的标识符替换“your_question_id”。

谢谢

{
    'PolicyName': 'SimplePlurality/2011-09-01',
    'Parameters': [
        {
            'Key': 'QuestionIds',
            'Values': ['your_question_id']
        },
        {
            'Key': 'QuestionAgreementThreshold',
            'Values': ['66']
        },
        {
            'Key': 'ExtendIfHITAgreementScoreIsLessThan',
            'Values': ['100']
        },
        {
            'Key': 'ExtendMaximumAssignments',
            'Values': ['3']
        },
        {
            'Key': 'ExtendMinimumTimeInSeconds',
            'Values': ['86400']
        },
        {
            'Key': 'DisregardAssignmentIfRejected',
            'Values': ['T']
        }
    ]
}