Composite 聚合——Elasticsearch 聚合后分页新实现

Original 铭毅天下铭毅天下Elasticsearch 2022-10-14

收录于合集 #死磕Elasticsearch 207个

1、聚合后分页应用场景

在常规检索的基础上，用户期望返回基于特定字段的聚合结果，且用户期望分页查看检索和聚合结果。

如下图所示：以2020东京奥运会热点新闻亚洲飞人"苏炳添”为例，用户期望查看有关“苏炳添”的新闻，同时期望查看相同标题的相似文章列表。

标题：如“9秒98！苏炳添百米决赛第六！铭记这个历史瞬间!"，隶属：新闻的标题。
相似文章数：如 26，需要借助：实时聚合实现。
翻页：向后翻页或随机翻页。

显然，传统的from + size 分页检索不支持聚合后分页，已不能满足需求。

在【Elasticsearch聚合后分页深入详解】博文中，我探讨过聚合后分页查询的实现，核心方法是：需要借助程序自己实现。

那是 2018 年的博文，3.5 年后的 2021年，有没有新的实现方式呢？

2、聚合后分页新的实现

实际在 Elasticsearch 6.1 版本（2017年12月13日发布）就推出了：Composite 聚合方式，能实现聚合后分页查询。

2.0 认知前提——单桶聚合&多桶聚合

一图胜千言。以如下图示，代表聚合之前的原始数据，无需过多解释，大家一看就明白。

name：product_0*: 产品名称；
color：颜色；
pt：发布时间；
brand：品牌；
price：价格。

数据建模如下：

PUT my-products
{
  "mappings": {
    "properties": {
      "brand": {
        "type": "keyword"
      },
      "pt": {
        "type": "date"
      },
      "name": {
        "type": "keyword"
      },
      "color": {
        "type": "keyword"
      },
      "price":{
        "type":"integer"
      }
    }
  }
}

批量写入数据如下：

PUT my-products/_bulk
{"index":{"_id":1}}
{"brand":"nike","pt":"2021-01-01","name":"product_01","color":"red","price":600}
{"index":{"_id":2}}
{"brand":"grke","pt":"2021-02-01","name":"product_02","color":"red","price":200}
{"index":{"_id":3}}
{"brand":"lining","pt":"2021-03-01","name":"product_03","color":"green","price":300}
{"index":{"_id":4}}
{"brand":"lining","pt":"2021-02-01","name":"product_04","color":"green","price":450}
{"index":{"_id":5}}
{"brand":"grke","pt":"2021-04-01","name":"product_05","color":"blue","price":180}
{"index":{"_id":6}}
{"brand":"grke","pt":"2021-02-01","name":"product_06","color":"yellow","price":165}
{"index":{"_id":7}}
{"brand":"grke","pt":"2021-02-01","name":"product_07","color":"yellow":"price":190}
{"index":{"_id":8}}
{"brand":"lining","pt":"2021-04-01","name":"product_08","color":"blue","price":500}
{"index":{"_id":9}}
{"brand":"nike","pt":"2021-01-01","name":"product_09","color":"blue","price":1000}

2.0.1 单桶聚合

terms 单桶聚合结果如下：

以品牌类别聚合

实现如下：

POST my-products/_search
{
  "size": 0,
  "aggs": {
    "brand_terms": {
      "terms": {
        "field": "brand",
        "size": 10
      }
    }
  }
}

按照颜色、日期实现方式一致，不再赘述。

以颜色聚合

以日期聚合

2.0.2 多桶聚合

Elastic search 支持 multi-terms 多桶聚合。

multi-terms 是 terms 聚合的引申，terms 支持单个关键字的聚合，而multi-terms 顾名思义——多个关键字的聚合。

举例：multi-terms 按照品牌、颜色两个桶聚合如下：

多桶聚合实现如下：

GET my-products/_search
{
  "size":0,
  "aggs": {
    "brands_and_colors_aggs": {
      "multi_terms": {
        "terms": [
          {
            "field": "brand"
          },
          {
            "field": "color"
          }
        ]
      }
    }
  }
}

多桶聚合返回结果如下：

这时候，不免会有问题，如果想按照品牌和价格区间(histogram）或日期区间（date_histogram) 实现聚合统计分析，该如何实现呢？

显然，multi-terms 聚合只支持：多个 terms 聚合操作，是不能满足需求的。

而，Composite 组合聚合应运而生，巧妙的解决了如上组合聚合问题。

2.1 Composite 聚合介绍

2.1.1 Composite 聚合定义

Composite 是个六级词汇，含义：并合的，复合的，混成的，合成的，集成的。

Composite 聚合是一种多桶聚合，可从不同来源创建复合桶。

具体哪些不同源呢？主要支持的聚合方式如下：

Terms 特定关键字聚合
Histogram 区间聚合
Date histogram 日期区间聚合
GeoTile grid Geo地理位置聚合

与其他多桶聚合不同，使用 Composite 聚合有效地对多级聚合( multi-level )中的所有桶进行分页。Composite 聚合提供了一种流式传输特定聚合的所有桶的方法，类似于Scroll 检索（滚动检索，适用于全量查询数据的业务场景）的实现。

关于Scroll 检索推荐阅读：

干货 | 全方位深度解读 Elasticsearch 分页查询

Composite 聚合是根据为每个文档提取/创建的值的组合构建的，每个组合都被视为一个复合桶（2.1.3 会详细举例什么是复合桶）。

2.1.2 Composite 聚合的核心功能

Composite 聚合较其他聚合的核心不同点如下：

支持多类型组合桶聚合。打破传统多桶单类型聚合的壁垒，支持：Terms、Histogram、Data histogram、GeoTile grid Geo 聚合。
支持聚合后分页。类似：scroll 检索的，仅支持向后翻页，不支持随机翻页。

2.1.3 Composite 聚合语法

Composite 语法参考如下：

GET my-products/_search
{
  "size": 0,
  "aggs": {
    "my_buckets": {
      "composite": {
        "size": 5,
        "sources": [
          {
            "brand_terms": {
              "terms": {
                "field": "brand",
                "order": "asc"
              }
            }
          },
          {
            "prices_histogram": {
              "histogram": {
                "field": "price",
                "interval": 50,
                "order": "asc"
              }
            }
          }
        ],
        "after": {
          "brand_terms": "lining",
          "prices_histogram": 500
        }
      }
    }
  }
}

sources：指定组合分桶里各个分桶检索语句，可以是一个或者多个（中括弧里面包含多个大括弧子分桶聚合语句）。
size：每次返回的结果数。
after：翻页使用，每一次检索都会有一个：“after_key”键值对组合，供下次检索使用。
复合桶：{ "brand_terms": "lining", "prices_histogram": 500 } 实则为：品牌和价格区间两者组成的复合桶。
order：分桶内的排序方式。

3、Composite 聚合后分页实战演练

有了上面的分析，再来看Composite 聚合会非常轻松。

拿 2.0 小节的建模数据为示例。

假定需要实现：基于时间区间间隔一个月为单位，且基于品牌名称两个组合桶聚合，然后各个组合桶内实现聚合统计各个组合桶的平均价格。

拆解如下：

第一：组合桶。

分桶一：data_histogram 实现按照发布时间间隔周期（指定为1个月）的聚合。
分桶二：terms 品牌聚合。

第二：基于组合桶实现各个组合桶平均价格的统计。

通过组合指标聚合 avg aggregation 实现组合桶内求平均值的子聚合效果。

GET my-products/_search
{
  "size": 0,
  "aggs": {
    "my_buckets": {
      "composite": {
        "size":5,
        "sources": [
          {
            "date": {
              "date_histogram": {
                "field": "pt",
                "calendar_interval": "1m",
                "order": "desc",
                "time_zone": "Asia/Shanghai"
              }
            }
          },
          {
            "product": {
              "terms": {
                "field": "brand"
              }
            }
          }
        ]
      },
      "aggregations": {
        "the_avg": {
          "avg": {
            "field": "price"
          }
        }
      }
    }
  }
}

返回结果如下：

说好的聚合后分页呢？

就是在上面语句的后面，执行下一页翻页的时候，加上上一页返回的“after_key”值（对应如下代表标红：“after”部分）即可。

GET my-products/_search
{
  "size": 0,
  "aggs": {
    "my_buckets": {
      "composite": {
        "size": 5,
        "sources": [
          {
            "date": {
              "date_histogram": {
                "field": "pt",
                "calendar_interval": "1m",
                "order": "desc",
                "time_zone": "Asia/Shanghai"
              }
            }
          },
          {
            "product": {
              "terms": {
                "field": "brand"
              }
            }
          }
        ],
        "after": {
          "date": 1612137600000,
          "product": "lining"
        }
      },
      "aggregations": {
        "the_avg": {
          "avg": {
            "field": "price"
          }
        }
      }
    }
  }
}

在生产环境只需要将上述内容拼成java 或者 python 代码，实现向后翻页。

4、Composite 聚合注意事项

Composite 聚合仅能实现向后翻页，不支持随机翻页。
Composite 聚合目前与管道（pipeline）聚合（基于聚合结果的子聚合方式）不兼容，在大多数情况下也没有意义（会导致结果不准确）。

5、小结

本文重点讲述了聚合后分页的新实现方式——Composite 聚合，说新其实是较6.1 版本之前的自己实现的方式而言。

Composite 聚合的两大核心特点：组合桶（支持四种类型）聚合、聚合后分页。

您的实战环节有用到聚合后分页吗？如何实现的呢？欢迎留言交流细节。

参考

1. https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations-bucket-multi-terms-aggregation.html

2. https://github.com/elastic/elasticsearch/pull/26800

3. https://ramyav.medium.com/composite-aggregation-using-java-api-38882cabc886

bxrf的瓜

”FAN某”的离婚财产分割判决书（全文）

”FAN某”的离婚财产分割判决书（全文）

公益慈善｜“翼行天下一生守护”慈善项目捐赠仪式圆满举行！

何炅突然高调官宣喜讯，网友恭喜：30年了，终于等到这一天！

Composite 聚合——Elasticsearch 聚合后分页新实现

2、聚合后分页新的实现

2.0 认知前提——单桶聚合&多桶聚合

2.0.1 单桶聚合

2.0.2 多桶聚合

2.1 Composite 聚合介绍

2.1.1 Composite 聚合定义

2.1.2 Composite 聚合的核心功能

2.1.3 Composite 聚合语法

3、Composite 聚合后分页实战演练

4、Composite 聚合注意事项

5、小结

参考

推荐

您可能也对以下帖子感兴趣

bxrf的瓜

”FAN某”的离婚财产分割判决书（全文）

”FAN某”的离婚财产分割判决书（全文）

公益慈善｜“翼行天下 一生守护”慈善项目捐赠仪式圆满举行！

何炅突然高调官宣喜讯，网友恭喜：30年了，终于等到这一天！

生成图片，分享到微信朋友圈

Composite 聚合——Elasticsearch 聚合后分页新实现

2、聚合后分页新的实现

2.0 认知前提——单桶聚合&多桶聚合

2.0.1 单桶聚合

2.0.2 多桶聚合

2.1 Composite 聚合介绍

2.1.1 Composite 聚合定义

2.1.2 Composite 聚合的核心功能

2.1.3 Composite 聚合语法

3、Composite 聚合后分页实战演练

4、Composite 聚合注意事项

5、小结

参考

推荐

您可能也对以下帖子感兴趣

公益慈善｜“翼行天下一生守护”慈善项目捐赠仪式圆满举行！