Elasticsearch Index Templates(索引模板)
索引模板,故名思议,就是创建索引的模板,模板中包含公共的配置(settings)和映射(Mapping),并包含一个简单触发条件,及条件满足时使用该模板创建一个新的索引。
注意:模板只在创建索引时应用。更改模板不会对现有索引产生影响。当使用create index API时,作为create index调用的一部分定义的设置/映射将优先于模板中定义的任何匹配设置/映射。
一个索引模板示例如下:
1PUT _template/template_1
2{
3 "index_patterns": [“ubi*”], //@1
4 "settings": { //@2
5 "number_of_shards": 1
6 },
7 "mappings": { //@3
8 "_doc": {
9 "_source": {
10 "enabled": false
11 },
12 "properties": {
13 "host_name": {
14 "type": "keyword"
15 },
16 "created_at": {
17 "type": "date",
18 "format": ""
19 }
20 }
21 }
22 }
23}
代码@1:触发条件。
代码@2:索引配置定义。
代码@3:索引映射配置。
上述示例对应的JAVA示例如下:
1public static final void createIndexTemp() {
2 RestHighLevelClient client = EsClient.getClient();
3 try {
4 PutIndexTemplateRequest request = new PutIndexTemplateRequest("ubi_index_template")
5 List<String> indexPatterns = new ArrayList<String>();
6 indexPatterns.add("ubi*");
7 request.patterns(indexPatterns);
8
9 /** mapping */
10 XContentBuilder jsonBuilder = XContentFactory.jsonBuilder()
11 .startObject()
12 .startObject("_source")
13 .field("enabled", false)
14 .endObject()
15
16 .startObject("properties")
17 .startObject("host_name")
18 .field("type", "keyword")
19 .endObject()
20 .startObject("created_at")
21 .field("type", "date")
22 .field("format", "yyyy-MM-dd HH:mm:ss")
23 .endObject()
24
25 .endObject()
26 .endObject();
27
28
29 request.mapping("_doc", jsonBuilder);
30
31 Map<String, Object> settings = new HashMap<>();
32
33 settings.put("number_of_shards", 1);
34 request.settings(settings);
35
36 System.out.println(client.indices().putTemplate(request, RequestOptions.DEFAULT));
37
38 } catch (Exception e) {
39 // TODO: handle exception
40 } finally {
41 EsClient.close(client);
42 }
43 }
上述索引模板创建好之后,然后在向一个不存在的索引添加文档时,如果能找到合适的模板,则自动创建索引,否则抛出索引不存在,例如:
1public static void index_template() {
2 ElasticsearchTemplate template = new ElasticsearchTemplate();
3 try {
4 Map<String, String> data = new HashMap<>();
5 data.put("host_name", "localhost");
6 data.put("created_at", "2019-04-07 23:05:04");
7 //ubi_201904该索引一开始不存在,但索引ubi_201904符合ubi_index_template
8 //中定义的匹配表达式ubi*,所以会自动创建索引。
9 template.index("ubi_201904", "_doc", data);
10 } finally {
11 template.close();
12 }
13 }
其返回结果:
1IndexResponse[index=ubi_201904,type=_doc,id=lCJZ-GkBrOLJP-QWff3I,version=1,result=created,seqNo=0,primaryTerm=1,shards={"total":2,"successful":1,"failed":0}]
那如果能匹配到多个模板呢?
多个索引模板可能匹配一个索引,可以使用order属性为索引模板指定顺序。从顺序较小的开始寻找,order越大,越优先(前提是匹配模板表达式)。
举例如下:
1PUT /_template/template_1
2{
3 "index_patterns" : ["*"],
4 "order" : 0,
5 "settings" : {
6 "number_of_shards" : 1
7 },
8 "mappings" : {
9 "_doc" : {
10 "_source" : { "enabled" : false }
11 }
12 }
13}
14
15PUT /_template/template_2
16{
17 "index_patterns" : ["te*"],
18 "order" : 1,
19 "settings" : {
20 "number_of_shards" : 1
21 },
22 "mappings" : {
23 "_doc" : {
24 "_source" : { "enabled" : true }
25 }
26 }
27}
首先从order=0进行匹配,由于其表达式为*,则默认会全匹配,故首先尝试使用该模板,然后再遍历下一个模板,也就是order=1的模板,如果匹配,则使用第二个模板的配置,如果不匹配,则使用第一个模板的配置,依次类推。
其匹配的具体实现逻辑大概如下:
1、对所有的模板按照order属性进行升序排序。
2、遍历所有的模板,进行表达式匹配,匹配成功,则设置为当前匹配模板,然后判断下一个,直到把所有的模板都处理过。
3、选最后匹配的模板当成最后的模板。
那如果存在多个模板,其order相同,那其顺序能保证吗?
答案是不能保证,因为对所有模板进行排序的过程中,如果order相同,其顺序无法得到保证。
思考:索引模板的使用场景是什么呢?欢迎大家留言讨论。
更多文章请关注微信公众号:
作者新书《RocketMQ技术内幕》已成功上市。
《RocketMQ技术内幕》已出版上市,目前可在主流购物平台(京东、天猫等)购买,本书从源码角度深度分析了RocketMQ NameServer、消息发送、消息存储、消息消费、消息过滤、主从同步HA、事务消息;在实战篇重点介绍了RocketMQ运维管理界面与当前支持的39个运维命令;并在附录部分罗列了RocketMQ几乎所有的配置参数。本书得到了RocketMQ创始人、阿里巴巴Messaging开源技术负责人、Linux OpenMessaging 主席的高度认可并作序推荐。目前是国内第一本成体系剖析RocketMQ的书籍。