从 AWS Athena 的表中选择每组 1000 个样本

Question

我在 AWS Athena 中有一个具有以下架构的表

DB 中唯一的标准实验室参数名称、单位对的数量约为 3k，并且 DB 有大约 8000 万个条目。 现在，我希望每个唯一的 standard_lab_parameter_name，单位对获得 1000 个样本（随机），因此接近 3k x 1000 行。 我尝试在互联网上搜索任何此类查询，但徒劳无功。 有什么帮助吗？

Answer 1

您可以使用 CTE 为每个standard_lab_parameter_name , units对生成随机行号，然后通过要求行号<= 1000为每对选择前 1000 行：

WITH CTE AS (
    SELECT *,
           ROW_NUMBER() OVER (PARTITION BY standard_lab_parameter_name, units ORDER BY RANDOM()) AS rn
    FROM yourtable
)
SELECT *
FROM CTE
WHERE rn <= 1000