堆栈内存溢出
  繁体   English   中英

ElasticSearch post_filter和过滤后的聚合行为不同

[英]ElasticSearch post_filter and filtered aggregations not behaving the same way

 原文  2018-12-21 17:11:33  5   1    elasticsearch/ search/ filter/ facet

问题描述

我已经花了整整一个星期的时间，没有希望解决它。 我正在关注这篇有关电子商务搜索和多面过滤等的文章 （很旧），并且到目前为止效果很好（当在查询中应用过滤器时，搜索结果很好，聚合效果很好。 ElasticSearch 6.1.1。

但是，由于我想允许我的用户在构面上进行多项选择，因此将过滤器移至post_filter部分。 这仍然运作良好 ，可以正确过滤结果并准确显示整个文档集的汇总计数。

在阅读了StackOverflow上的这个问题之后，我意识到我必须对“过滤的”聚合与“特殊的”聚合进行一些疯狂的杂技，以对这些聚合进行往复修剪，以显示正确的计数并允许同时使用多个过滤器。 我已要求对该问题进行澄清，但尚未答复（这是一个老问题）。

我长期以来一直在努力的问题是在嵌套字段上获得一组已过滤的聚合，其中所有方面都使用所有过滤器进行了过滤。

我的计划是使用常规聚合（未过滤），并使选定的构面聚合保持未过滤状态（以便我可以选择多个条目），但使用当前选定的构面过滤所有其他聚合，这样我只能显示仍可以应用。

但是，如果我在文档上使用THE SAME过滤器（效果很好），并将过滤器放入过滤的聚合中，则它们将无法正常工作。 计数都是错误的。 我知道聚合是在过滤器之前计算的，这就是为什么我在所需聚合上复制过滤器的原因。

这是我的查询： 

  "query": {
    "bool": {
      "must": [
        {
          "multi_match": {
            "fields": [
              "search_data.full_text_boosted^7",
              "search_data.full_text^2"
            ],
            "type": "cross_fields",
            "analyzer": "full_text_search_analyzer",
            "query": "some book"
          }
        }
      ]
    }
  }

这里没什么特别的，它很好用并返回相关结果。

这是我的过滤器（在post_filter中）： 

"post_filter" : {
    "bool" : {
      "must" : [
      {
        "nested": {
          "path": "string_facets",
            "query": {
              "bool" : {
                "filter" : 
                [
                  { "term" : { "string_facets.facet_name" : "Cover colour" } },
                  { "terms" : { "string_facets.facet_value" : [ "Green" ] } }
                ]
              }
            }
          }
        }

      ]
    }
  }

让我强调： 这很好。 我看到了正确的结果（在这种情况下，显示了“ 13”个结果，所有结果都与正确的字段相匹配-“封面颜色” =“绿色”）。

这是我的常规（未经过滤的聚合），它返回所有具有正确计数的所有产品的方面： 

    "agg_string_facets": {
  "nested": {
    "path": "string_facets"
  },
  "aggregations": {
      "facet_name": {
        "terms": {
          "field": "string_facets.facet_name"
        },
        "aggregations": {
          "facet_value": {
            "terms": {
              "field": "string_facets.facet_value"
            }
          }
        }
      }
  }
}

这也完美 ！ 我看到与我的查询匹配的所有文档的所有聚合都具有准确的构面计数。

现在，检查一下：我正在为相同的嵌套字段创建一个聚合，但是对其进行了过滤，以便获得可以“生存”我的过滤器的聚合和构面： 

"agg_all_facets_filtered" : {

           "filter" : {
             "bool" : {
               "must" : [
                {
                   "nested": {
                     "path": "string_facets",
                     "query": {
                       "bool" : {
                         "filter" : [
                           { "term" : { "string_facets.facet_name" : "Cover colour" } },
                           { "terms" : { "string_facets.facet_value" : [ "Green" ] } }
                          ]
                       }
                    }
                  }
              }]
            }
        },
        "aggs" : {
         "agg_all_facets_filtered" : {
           "nested": { "path": "string_facets" },
           "aggregations": {
            "facet_name": {
              "terms": { "field": "string_facets.facet_name" },
              "aggregations": {
                    "facet_value": {
                      "terms": { "field": "string_facets.facet_value" }
                    }
                  }
                }
            }  
         }

       }

请注意，我在此聚合中使用的过滤器与首先过滤我的结果的过滤器相同 （发布后）。

但是由于某种原因，返回的聚合都是错误的，即构面计数。 例如，在我这里的搜索中，我得到13个结果，但是从' agg_all_facets_filtered '返回的聚合只有一个计数： 'Cover colour'= 4 。 

{
  "key": "Cover colour",
  "doc_count": 4,
  "facet_value": {
    "doc_count_error_upper_bound": 0,
    "sum_other_doc_count": 0,
    "buckets": [
        {
          "key": "Green",
          "doc_count": 4
        }
    ]
  }
}

在检查了为什么4以后，我注意到其中3个文档包含刻面“ 封面颜色 ”两次：一次是“绿色”，一次是“某些其他颜色” ...所以看来我的汇总只计算了具有方面名称TWICE-或与其他文档相同。 这就是为什么我认为我的聚合过滤器是错误的。 我已经做了大量关于匹配/过滤器的AND与OR的阅读，我尝试使用“过滤器”，“应该”等。没有任何方法可以解决此问题。

很抱歉，这是一个长期的问题，但是：

考虑到我的过滤器本身可以完美工作，我如何编写聚合过滤器，以便返回的构面具有正确的计数？

非常感谢。

更新：例如，以下请求是我的完整查询（请注意post_filter中的过滤器以及过滤后的聚合中的相同过滤器）： 

{
  "size" : 0,
  "query": {
    "bool": {
      "must": [
        {
          "multi_match": {
            "fields": [
              "search_data.full_text_boosted^7",
              "search_data.full_text^2"
            ],
            "type": "cross_fields",
            "analyzer": "full_text_search_analyzer",
            "query": "bible"
          }
        }
      ]
    }
  },

  "post_filter" : {

    "bool" : {
      "must" : [
      {
        "nested": {
          "path": "string_facets",
            "query": {
              "bool" : {
                "filter" : 
                [
                  { "term" : { "string_facets.facet_name" : "Cover colour" } },
                  { "terms" : { "string_facets.facet_value" : [ "Green" ] } }
                ]
              }
            }
          }
        }

      ]
    }

  },

  "aggregations": {

        "agg_string_facets": {
      "nested": {
        "path": "string_facets"
      },
      "aggregations": {
          "facet_name": {
            "terms": {
              "field": "string_facets.facet_name"
            },
            "aggregations": {
              "facet_value": {
                "terms": {
                  "field": "string_facets.facet_value"
                }
              }
            }
          }
      }
    },

    "agg_all_facets_filtered" : {

           "filter" : {
             "bool" : {
               "must" : [
                {
                   "nested": {
                     "path": "string_facets",
                     "query": {
                       "bool" : {
                         "filter" : [
                           { "term" : { "string_facets.facet_name" : "Cover colour" } },
                           { "terms" : { "string_facets.facet_value" : [ "Green" ] } }
                          ]
                       }
                    }
                  }
              }]
            }
        },
        "aggs" : {
         "agg_all_facets_filtered" : {
           "nested": { "path": "string_facets" },
           "aggregations": {
            "facet_name": {
              "terms": { "field": "string_facets.facet_name" },
              "aggregations": {
                    "facet_value": {
                      "terms": { "field": "string_facets.facet_value" }
                    }
                  }
                }
            }  
         }

       }


    }

  }
}

返回的结果是正确的（就文档而言），这是汇总（从结果中未经过滤的“ agg_string_facets”-请注意，“绿色”显示了13个文档-是正确的）： 

{
            "key": "Cover colour",
            "doc_count": 483,
            "facet_value": {
              "doc_count_error_upper_bound": 0,
              "sum_other_doc_count": 111,
              "buckets": [
                {
                  "key": "Black",
                  "doc_count": 87
                },
                {
                  "key": "Brown",
                  "doc_count": 75
                },
                {
                  "key": "Blue",
                  "doc_count": 45
                },
                {
                  "key": "Burgundy",
                  "doc_count": 43
                },
                {
                  "key": "Pink",
                  "doc_count": 30
                },
                {
                  "key": "Teal",
                  "doc_count": 27
                },
                {
                  "key": "Tan",
                  "doc_count": 20
                },
                {
                  "key": "White",
                  "doc_count": 18
                },
                {
                  "key": "Chocolate",
                  "doc_count": 14
                },
                {
                  "key": "Green",
                  "doc_count": 13
                }
              ]
            }
          }

这是聚合（使用相同的过滤器过滤，同时来自“ agg_all_facets_filtered”），对于“绿色”仅显示4： 

{
              "key": "Cover colour",
              "doc_count": 4,
              "facet_value": {
                "doc_count_error_upper_bound": 0,
                "sum_other_doc_count": 0,
                "buckets": [
                  {
                    "key": "Green",
                    "doc_count": 4
                  }
                ]
              }
            }

更新2：这是查询返回的一些示例文档： 

"hits": {
    "total": 13,
    "max_score": 17.478987,
    "hits": [
      {
        "_index": "redacted",
        "_type": "product",
        "_id": "33107",
        "_score": 17.478987,
        "_source": {
          "type": "product",
          "document_id": 33107,
          "search_data": {
            "full_text": "hcsb compact ultrathin bible mint green leathertouch  holman bible staff leather binding 9781433617751 ",
            "full_text_boosted": "HCSB Compact Ultrathin Bible Mint Green Leathertouch Holman Bible Staff "
          },
          "search_result_data": {
            "name": "HCSB Compact Ultrathin Bible, Mint Green Leathertouch (Leather)",
            "preview_image": "/images/products/medium/0.jpg",
            "url": "/Products/ViewOne.aspx?ProductId=33107"
          },
          "string_facets": [
            {
              "facet_name": "Binding",
              "facet_value": "Leather"
            },
            {
              "facet_name": "Bible size",
              "facet_value": "Compact"
            },
            {
              "facet_name": "Bible size",
              "facet_value": "Ultrathin"
            },
            {
              "facet_name": "Bible version",
              "facet_value": "HCSB"
            },
            {
              "facet_name": "Cover colour",
              "facet_value": "Green"
            }
          ]
        }
      },
      {
        "_index": "redacted",
        "_type": "product",
        "_id": "17240",
        "_score": 17.416323,
        "_source": {
          "type": "product",
          "document_id": 17240,
          "search_data": {
            "full_text": "kjv thinline bible compact  leather binding 9780310439189 ",
            "full_text_boosted": "KJV Thinline Bible Compact "
          },
          "search_result_data": {
            "name": "KJV Thinline Bible, Compact (Leather)",
            "preview_image": "/images/products/medium/17240.jpg",
            "url": "/Products/ViewOne.aspx?ProductId=17240"
          },
          "string_facets": [
            {
              "facet_name": "Binding",
              "facet_value": "Leather"
            },
            {
              "facet_name": "Bible size",
              "facet_value": "Compact"
            },
            {
              "facet_name": "Bible size",
              "facet_value": "Thinline"
            },
            {
              "facet_name": "Bible version",
              "facet_value": "KJV"
            },
            {
              "facet_name": "Cover colour",
              "facet_value": "Green"
            }
          ]
        }
      },
      {
        "_index": "redacted",
        "_type": "product",
        "_id": "17243",
        "_score": 17.416323,
        "_source": {
          "type": "product",
          "document_id": 17243,
          "search_data": {
            "full_text": "kjv busy mom's bible  leather binding 9780310439134 ",
            "full_text_boosted": "KJV Busy Mom'S Bible "
          },
          "search_result_data": {
            "name": "KJV Busy Mom's Bible (Leather)",
            "preview_image": "/images/products/medium/17243.jpg",
            "url": "/Products/ViewOne.aspx?ProductId=17243"
          },
          "string_facets": [
            {
              "facet_name": "Binding",
              "facet_value": "Leather"
            },
            {
              "facet_name": "Bible size",
              "facet_value": "Pocket"
            },
            {
              "facet_name": "Bible size",
              "facet_value": "Thinline"
            },
            {
              "facet_name": "Bible version",
              "facet_value": "KJV"
            },
            {
              "facet_name": "Cover colour",
              "facet_value": "Pink"
            },
            {
              "facet_name": "Cover colour",
              "facet_value": "Green"
            }
          ]
        }
      },
      {
        "_index": "redacted",
        "_type": "product",
        "_id": "33030",
        "_score": 15.674053,
        "_source": {
          "type": "product",
          "document_id": 33030,
          "search_data": {
            "full_text": "apologetics study bible for students grass green leathertou  mcdowell sean; holman bible s leather binding 9781433617720 ",
            "full_text_boosted": "Apologetics Study Bible For Students Grass Green Leathertou Mcdowell Sean; Holman Bible S"
          },
          "search_result_data": {
            "name": "Apologetics Study Bible For Students, Grass Green Leathertou (Leather)",
            "preview_image": "/images/products/medium/33030.jpg",
            "url": "/Products/ViewOne.aspx?ProductId=33030"
          },
          "string_facets": [
            {
              "facet_name": "Binding",
              "facet_value": "Leather"
            },
            {
              "facet_name": "Bible designation",
              "facet_value": "Study Bible"
            },
            {
              "facet_name": "Bible designation",
              "facet_value": "Students"
            },
            {
              "facet_name": "Bible feature",
              "facet_value": "Indexed"
            },
            {
              "facet_name": "Cover colour",
              "facet_value": "Green"
            }
          ]
        }
      },
      {
        "_index": "redacted",
        "_type": "product",
        "_id": "33497",
        "_score": 15.674053,
        "_source": {
          "type": "product",
          "document_id": 33497,
          "search_data": {
            "full_text": "hcsb life essentials study bible brown / green  getz gene a.; holman bible st imitation leather 9781586400446 ",
            "full_text_boosted": "HCSB Life Essentials Study Bible Brown  Green Getz Gene A ; Holman Bible St"
          },
          "search_result_data": {
            "name": "HCSB Life Essentials Study Bible Brown / Green (Imitation Leather)",
            "preview_image": "/images/products/medium/33497.jpg",
            "url": "/Products/ViewOne.aspx?ProductId=33497"
          },
          "string_facets": [
            {
              "facet_name": "Binding",
              "facet_value": "Imitation Leather"
            },
            {
              "facet_name": "Bible designation",
              "facet_value": "Study Bible"
            },
            {
              "facet_name": "Bible version",
              "facet_value": "HCSB"
            },
            {
              "facet_name": "Binding",
              "facet_value": "Imitation leather"
            },
            {
              "facet_name": "Cover colour",
              "facet_value": "Brown"
            },
            {
              "facet_name": "Cover colour",
              "facet_value": "Green"
            }
          ]
        }
      }
}

1 个解决方案

解决方案1
 2 已采纳  2019-01-03 10:25:25

谜团已揭开！ 感谢您的输入，事实证明我使用的版本（6.1.1）有一个错误。 我不知道确切的错误是什么，但是我已经安装了ElasticSearch 6.5，为我的数据重新编制了索引，并且对查询或映射没有任何更改，所有这些都可以正常工作！

现在，我不知道是否应该向ES提交错误报告，还是只留下它，因为它是一个较旧的版本，而且他们已经继续前进。

暂无
暂无

声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

相关问题 嵌套类型上的Elasticsearch post_filter不对聚合进行过滤 Elasticsearch post_filter ElasticSearch：post_filter还是过滤？ ElasticSearch 后置过滤器 Java API 问题 如何在Elasticsearch中使用范围post_filter 带有数组值的Elasticsearch post_filter Elasticsearch 2.4 post_filter日期数学 Elasticsearch post_filter聚合查询 将post_filter与Spring Data Elasticsearch的NativeSearchQueryBuilder结合使用 无法在 elasticsearch-dsl 中复制 post_filter 查询
相关标签
 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM