使用hypothesis.given进行测试时处理pydantic ValidationError

Question

在使用假设来测试我的 pydantic 模型时，我不知道如何处理自定义验证器抛出的 ValidationError。 这是一个显示问题的非常小的示例：

# model
from pydantic import BaseModel, validator

class SimpleModel(BaseModel):
    a: int
    b: int

    @validator('b')
    def check_numbers(cls, b, values):
        if b*values['a'] < 0:
            raise ValueError('a*b > 0 does not hold')
        return b

# test
from hypothesis import given, strategies as st

@given(st.builds(SimpleModel))
def test_simple_model(instance: SimpleModel):
    assert type(instance.b) == int

到目前为止，我已经编写了自定义假设搜索策略来仅生成有效的实例。 但是对于更复杂的模型来说，这变得非常乏味，所以在我看来，必须有一种更聪明的方法来“使用”ValidationError。 在测试 function 之前也会出现该错误，因此我无法在测试 function 中处理它。

我需要一种生成实例的可能性，它只是跳过引发 ValidationError 的实例。

Answer 1

在使用了假设的更多功能之后，我想出了这种方法，它使用composite策略和assume 。 使用复合我创建了一个自定义策略，然后可以在given的装饰器中使用它。 内部假设用于告诉假设示例是坏的并且应该被跳过，每当抛出 ValidationError 时。

from pydantic import ValidationError
from hypothesis import given, assume, strategies as st

@st.composite
def simple_model_strategy(draw) -> SimpleModel:
    try:
        simple_model = draw(st.builds(SimpleModel))
    except ValidationError:
        assume(False)
    return simple_model

@given(simple_model_strategy())
def test_simple_model(instance: SimpleModel):
    assert type(instance.b) == int

笔记：

• 我之前在测试中使用了假设，但是像这样它也可以在 model 生成期间
• 如果在大多数自动生成的实例上调用假设，假设也会警告测试用例的问题