如何在django中查询为GROUP BY？

Question

我查询一个model：

Members.objects.all()

它返回：

Eric, Salesman, X-Shop
Freddie, Manager, X2-Shop
Teddy, Salesman, X2-Shop
Sean, Manager, X2-Shop

我想要的是了解向我的数据库触发group_by查询的最佳 Django 方法，例如：

Members.objects.all().group_by('designation')

当然，这是行不通的。 我知道我们可以在django/db/models/query.py上做一些技巧，但我只是想知道如何在不打补丁的情况下做到这一点。

Answer 1

如果您打算进行聚合，则可以使用ORM 的聚合功能：

from django.db.models import Count
result = (Members.objects
    .values('designation')
    .annotate(dcount=Count('designation'))
    .order_by()
)

这导致查询类似于

SELECT designation, COUNT(designation) AS dcount
FROM members GROUP BY designation

output 的形式是

[{'designation': 'Salesman', 'dcount': 2}, 
 {'designation': 'Manager', 'dcount': 2}]

如果您不包括order_by() ，如果默认排序不是您所期望的，您可能会得到不正确的结果。

如果要在结果中包含多个字段，只需将它们作为 arguments 添加到values中，例如：

    .values('designation', 'first_name', 'last_name')

参考：

• Django 文档： values() 、 annotate()和Count
• Django 文档： 聚合，特别是标题为与默认排序或order_by()交互的部分

Answer 2

一个简单的解决方案，但不是正确的方法是使用原始 SQL ：

results = Members.objects.raw('SELECT * FROM myapp_members GROUP BY designation')

另一种解决方案是使用group_by属性：

query = Members.objects.all().query
query.group_by = ['designation']
results = QuerySet(query=query, model=Members)

您现在可以遍历结果变量来检索结果。 请注意， group_by未记录在案，可能会在 Django 的未来版本中更改。

而且......你为什么要使用group_by ？ 如果不使用聚合，可以使用order_by来获得相似的结果。

Answer 3

您还可以使用regroup模板标签按属性进行分组。 从文档：

cities = [
    {'name': 'Mumbai', 'population': '19,000,000', 'country': 'India'},
    {'name': 'Calcutta', 'population': '15,000,000', 'country': 'India'},
    {'name': 'New York', 'population': '20,000,000', 'country': 'USA'},
    {'name': 'Chicago', 'population': '7,000,000', 'country': 'USA'},
    {'name': 'Tokyo', 'population': '33,000,000', 'country': 'Japan'},
]

...

{% regroup cities by country as countries_list %}

<ul>
    {% for country in countries_list %}
        <li>{{ country.grouper }}
            <ul>
            {% for city in country.list %}
                <li>{{ city.name }}: {{ city.population }}</li>
            {% endfor %}
            </ul>
        </li>
    {% endfor %}
</ul>

看起来像这样：

• 印度
  • 孟买：19,000,000
  • 加尔各答：15,000,000
• 美国
  • 纽约：20,000,000
  • 芝加哥：7,000,000
• 日本
  • 东京：33,000,000

我相信它也适用于QuerySet 。

来源： https://docs.djangoproject.com/en/2.1/ref/templates/builtins/#regroup

编辑：请注意，如果您的词典列表未按键排序，则regroup标签不会像您期望的那样工作。 它迭代地工作。 因此，在将列表（或查询集）传递给regroup标签之前，先按石斑鱼的键对列表（或查询集）进行排序。

Answer 4

Django 不支持自由分组查询。 我以非常糟糕的方式学到了它。 ORM 不是为了支持你想做的事情而设计的，不使用自定义 SQL。你仅限于：

• RAW sql（即 MyModel.objects.raw()）
• cr.execute语句（以及对结果的手工解析）。
• .annotate() （按句子分组在 child model for.annotate() 中执行，例如聚合 lines_count=Count('lines'))）。

在查询集qs上，您可以调用qs.query.group_by = ['field1', 'field2', ...]但是如果您不知道您正在编辑什么查询并且不能保证它会工作并且不要破坏 QuerySet object 的内部结构。此外，它是一个内部（未记录的）API，您不应直接访问，以免代码不再与未来的 Django 版本兼容。

Answer 5

你也可以直接使用 pythons 内置的itertools.groupby ：

from itertools import groupby

designation_key_func = lambda member: member.designation
queryset = Members.objects.all().select_related("designation")

for designation, member_group in groupby(queryset, designation_key_func):
    print(f"{designation} : {list(member_group)}")

在我看来，不需要原始 sql、子查询、第三方库或模板标签，也不需要 pythonic 和显式。

Answer 6

以下模块允许您对 Django 个模型进行分组，并在结果中仍然使用 QuerySet： https://github.com/kako-nawao/django-group-by

例如：

from django_group_by import GroupByMixin

class BookQuerySet(QuerySet, GroupByMixin):
    pass

class Book(Model):
    title = TextField(...)
    author = ForeignKey(User, ...)
    shop = ForeignKey(Shop, ...)
    price = DecimalField(...)

---

class GroupedBookListView(PaginationMixin, ListView):
    template_name = 'book/books.html'
    model = Book
    paginate_by = 100

    def get_queryset(self):
        return Book.objects.group_by('title', 'author').annotate(
            shop_count=Count('shop'), price_avg=Avg('price')).order_by(
            'name', 'author').distinct()

    def get_context_data(self, **kwargs):
        return super().get_context_data(total_count=self.get_queryset().count(), **kwargs)

'书/书.html'

<ul>
{% for book in object_list %}
    <li>
        <h2>{{ book.title }}</td>
        <p>{{ book.author.last_name }}, {{ book.author.first_name }}</p>
        <p>{{ book.shop_count }}</p>
        <p>{{ book.price_avg }}</p>
    </li>
{% endfor %}
</ul>

annotate / aggregate基本 Django 查询的不同之处在于使用了相关字段的属性，例如book.author.last_name 。

如果您需要已分组在一起的实例的 PK，请添加以下注释：

.annotate(pks=ArrayAgg('id'))

注意： ArrayAgg是 Postgres 特定的 function，从 Django 1.9 开始可用： https://docs.djangoproject.com/en/3.2/ref/contrib/postgres/aggregates/#arrayagg

Answer 7

该文档说您可以使用值对查询集进行分组。

class Travel(models.Model):
    interest = models.ForeignKey(Interest)
    user = models.ForeignKey(User)
    time = models.DateTimeField(auto_now_add=True)

# Find the travel and group by the interest:

>>> Travel.objects.values('interest').annotate(Count('user'))
<QuerySet [{'interest': 5, 'user__count': 2}, {'interest': 6, 'user__count': 1}]>
# the interest(id=5) had been visited for 2 times, 
# and the interest(id=6) had only been visited for 1 time.

>>> Travel.objects.values('interest').annotate(Count('user', distinct=True)) 
<QuerySet [{'interest': 5, 'user__count': 1}, {'interest': 6, 'user__count': 1}]>
# the interest(id=5) had been visited by only one person (but this person had 
#  visited the interest for 2 times

您可以使用以下代码找到所有书籍并按名称对它们进行分组：

Book.objects.values('name').annotate(Count('id')).order_by() # ensure you add the order_by()

你可以在这里看一些备忘单。

Answer 8

您需要按照此代码段中的示例执行自定义 SQL：

通过子查询自定义 SQL

或者在自定义管理器中，如在线 Django 文档中所示：

添加额外的管理器方法

Answer 9

换句话说，如果您只需要基于某个字段“删除重复项”，或者只需要按原样查询 ORM 对象，我想出了以下解决方法：

from django.db.models import OuterRef, Exists

qs = Members.objects.all()
qs = qs.annotate(is_duplicate=Exists(
    Members.objects.filter(
        id__lt=OuterRef('id'),
        designation=OuterRef('designation')))
qs = qs.filter(is_duplicate=False)

所以，基本上我们只是通过使用一些方便的过滤（可能会根据您的 model 和要求而有所不同）来注释is_duplicate值，然后简单地使用该字段来过滤掉重复项。

Answer 10

如果你想要 model 对象，而不仅仅是简单的值或字典，你可以这样做：

members = Member.objects.filter(foobar=True)
designations = Designation.objects.filter(member__in=members).order_by('pk').distinct()

将member__in替换为您的 model 名称的小写版本，后跟__in 。 例如，如果您的 model 名称是Car ，请使用car__in 。

Answer 11

这有点复杂，但只需一次 DB 命中就可以询问他/她的预期。

from django.db.models import Subquery, OuterRef

member_qs = Members.objects.filter(
    pk__in = Members.objects.values('designation').distinct().annotate(
        pk = Subquery(
          Members.objects.filter(
            designation= OuterRef("designation")
        )
        .order_by("pk") # you can set other column, e.g. -pk, create_date...
        .values("pk")[:1]
        ) 
    )
   .values_list("pk", flat=True)
)

Answer 12

出于某种原因，上述解决方案对我不起作用。 这是有效的：

dupes_query = MyModel.objects.all().values('my_field').annotate(
    count=Count('id')
).order_by('-count').filter(count__gt=1)

我希望它有所帮助。

Answer 13

我查询一个 model：

Members.objects.all()

它返回：

Eric, Salesman, X-Shop
Freddie, Manager, X2-Shop
Teddy, Salesman, X2-Shop
Sean, Manager, X2-Shop

我想知道向我的数据库发起group_by查询的最佳 Django 方式，例如：

Members.objects.all().group_by('designation')

当然，这是行不通的。 我知道我们可以在django/db/models/query.py上做一些技巧，但我只是想知道如何在不打补丁的情况下做到这一点。

Answer 14

from django.db.models import Sum
Members.objects.annotate(total=Sum(designation))

首先你需要导入 Sum 然后..