对于 SQL，我如何处理包含许多列的 JOINing 数据库，这些列都必须是唯一的？

Question

好的，这是我第一次使用大型数据库，这非常可怕。 这是我想要发生的一个例子：

表

table 1
ID   art1  art2
1    90    20
2    20    80
3    20    20

table 2
ID   art1  art2
1    20    20
2    40    30
4    20    50

期望的结果（顺序无关紧要）

table 1
ID   art1  art2
1    ...
2
3
4

我有点小规模地得到它，我为此使用 LEFT JOIN，并且从我读到的内容来看，GROUP BY 至少用于属性（如果不是 ID？）。

我的问题是这些表很大。 有 30 列或更多列和大约 25k 行。

那么我应该写 30 多个 GROUP BY 吗？ 有没有更有效的东西？ 喜欢 GROUP ALL？

这些表还有一个奇怪的地方。 它们有 Null 行的 lof（在某些列中具有 attr 1），它们的 ID 均为 0。但它们必须留在那里，因为出于功能原因，表必须恰好有 26001 行。 所以在我完成之后，我必须削减我添加的行数，但我不能在 SQL 之外这样做，而且这对我来说更快。

我的想法是否正确？ 到目前为止，在我发现 GROUP BY 之前，我只尝试了一个查询。 我等了大约 50 万行 5 分钟，所以这并不好。 我的查询是：

SELECT *
FROM `table1` 
LEFT JOIN `table2`
USING (ID)

现在我想应该是

SELECT *
FROM `table1` 
LEFT JOIN `table2`
USING (ID)
GROUP BY *insert all columns?*

但我不确定，我是否还必须“排列”所有列以避免重复结果？ 还是我必须使用 DISTINCT？ 再次在所有 30 多个列上？

Answer 1

考虑到其他评论和答案，我的建议是：

1. 谨慎使用SELECT * ，通常它会查询所有内容，包括您不需要的内容。 由于 BigQuery 是共存的，它会像增加列数一样增加查询的费用。 在这里考虑你的情况。
2. 如果你想再试一次join ，考虑使用inner join你的情况，因为它会过滤掉你不想要的东西，而且它比最后的where子句表现更好，考虑到大数据场景，这是一个胜利.
3. UNION可能是一个很好的解决方案，即使您已经测试过。 为了解决您对数据重复性的担忧：BigQuery 将考虑所有列。 因此，如果您的 ID 重复但数据不同，您将必须指定哪个是正确的。 为此，请考虑：
   1. 使用window function使用row_number() function进行行计数。 Window个函数在大数据场景下表现优于group by ones。
   2. 确保添加所有条件以识别 window partition by唯一性。此外，执行此操作的一个好方法是按 DESC 排序，因此第一条记录就是你想要的。
   3. 完成后，您可以使用 0 过滤它们。行号等于 0 的每条记录都是唯一的，并且是您想要的记录。

Window 函数在大数据场景中非常有用， 这里有一篇精彩的文章可以更好地理解它。