對 delta 表寄予厚望

Question

我正在嘗試在 Databricks 的增量表上運行一個很好的期望套件。 但是我想通過查詢在表的一部分上運行它。 盡管驗證運行良好，但它是在完整的表數據上運行的。

我知道我可以加載 Dataframe 並將其傳遞給批處理請求，但我想直接通過查詢加載數據。

batch_request = RuntimeBatchRequest(
    datasource_name="datasource",
    data_connector_name="data_quality_run",
    data_asset_name="Input Data",
    runtime_parameters={"path": "/delta table path"},
    batch_identifiers={"data_quality_check": f"data_quality_check_{datetime.date.today().strftime('%Y%m%d')}"},
    batch_spec_passthrough={"reader_method": "delta", "reader_options": {"header": True}, "query" : {"name":"John"}},
)

上面的批處理請求加載忽略查詢選項的數據。 有沒有辦法在批處理請求中傳遞對增量表的查詢

Answer 1

您可以嘗試將query放在runtime_parameters 。

當我在 SQL 服務器中查詢數據時，這對我有用：

batch_request = RuntimeBatchRequest(
    datasource_name="my_mssql_datasource",
    data_connector_name="default_runtime_data_connector_name",
    data_asset_name="default_name",
    runtime_parameters={
        "query": "SELECT * from dbo.MyTable WHERE Created = GETDATE()"
    },
    batch_identifiers={"default_identifier_name": "default_identifier"},
)