触类旁通Elasticsearch之吊打同行系列:操作篇
点击上方蓝色字体,选择“设为星标”
一、索引数据
1. 使用映射定义文档
curl '172.16.1.127:9200/get-together/_doc/_mapping?pretty'
索引新文档时ES可以自动创建映射,例如下面的命令会自动创建my_index索引,在其中索引一个ID为1的文档,该文档有name和date两个字段:
curl -XPUT '172.16.1.127:9200/my_index/_doc/1?pretty' -H 'Content-Type: application/json' -d '
{
"name": "Late Night with Elasticsearch",
"date": "2013-10-25T19:00"
}'
curl '172.16.1.127:9200/my_index/_doc/_mapping?pretty'
{
"my_index" : {
"mappings" : {
"_doc" : {
"properties" : {
"date" : {
"type" : "date"
},
"name" : {
"type" : "text",
"fields" : {
"keyword" : {
"type" : "keyword",
"ignore_above" : 256
}
}
}
}
}
}
}
}
curl -XPUT '172.16.1.127:9200/my_index?pretty'
curl -XPUT '172.16.1.127:9200/my_index/_mapping/_doc?pretty' -H 'Content-Type: application/json' -d '
{
"_doc": {
"properties": {
"date": {
"type": "date"
},
"name": {
"type": "text",
"fields": {
"keyword": {
"type": "keyword",
"ignore_above": 256
}
}
}
}
}
}'
curl -XPUT '172.16.1.127:9200/my_index/_mapping/_doc?pretty' -H 'Content-Type: application/json' -d '
{
"_doc": {
"properties": {
"host": {
"type": "text"
}
}
}
}'
{
"my_index" : {
"mappings" : {
"_doc" : {
"properties" : {
"date" : {
"type" : "date"
},
"host" : {
"type" : "text"
},
"name" : {
"type" : "text",
"fields" : {
"keyword" : {
"type" : "keyword",
"ignore_above" : 256
}
}
}
}
}
}
}
}
curl -XPUT '172.16.1.127:9200/my_index/_mapping/_doc?pretty' -H 'Content-Type: application/json' -d '
{
"_doc": {
"properties": {
"host": {
"type": "long"
}
}
}
}'
{
"error" : {
"root_cause" : [
{
"type" : "remote_transport_exception",
"reason" : "[node126][172.16.1.126:9300][indices:admin/mapping/put]"
}
],
"type" : "illegal_argument_exception",
"reason" : "mapper [host] of different type, current_type [text], merged_type [long]"
},
"status" : 400
}
2. 基本数据类型
curl -XPUT '172.16.1.127:9200/my_index/_doc/1?pretty' -H 'Content-Type: application/json' -d '
{
"name": "Late Night with Elasticsearch",
"date": "2013-10-25T19:00"
}'
curl '172.16.1.127:9200/my_index/_doc/_search?pretty' -H 'Content-Type: application/json' -d '
{
"query": {
"query_string": {
"query": "late"
}
}
}'
curl '172.16.1.127:9200/my_index/_doc/_search?pretty' -H 'Content-Type: application/json' -d '
{
"query": {
"term": {
"name.keyword": "late"
}
}
}'
curl '172.16.1.127:9200/my_index/_doc/_search?pretty' -H 'Content-Type: application/json' -d '
{
"query": {
"term": {
"name.keyword": "Late Night with Elasticsearch"
}
}
}'
使用预定义的日期格式。参见https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping-date-format.html#built-in-date-formats
设置自己定制的格式。
curl -XPUT '172.16.1.127:9200/my_index/_mapping/_doc?pretty' -H 'Content-Type: application/json' -d '
{
"properties": {
"next_event": {
"type": "date",
"format": "MMM DD YYYY"
}
}
}'
curl -XPUT '172.16.1.127:9200/my_index/_doc/1?pretty' -H 'Content-Type: application/json' -d '
{
"name": "Elasticsearch News",
"first_occurence": "2011-04-03",
"next_event": "Oct 25 2013"
}'
curl '172.16.1.127:9200/my_index/_doc/_mapping?pretty'
{
"my_index" : {
"mappings" : {
"_doc" : {
"properties" : {
"date" : {
"type" : "date"
},
"first_occurence" : {
"type" : "date"
},
"host" : {
"type" : "text"
},
"name" : {
"type" : "text",
"fields" : {
"keyword" : {
"type" : "keyword",
"ignore_above" : 256
}
}
},
"next_event" : {
"type" : "date",
"format" : "MMM DD YYYY"
}
}
}
}
}
}
boolean类型用于存储文档中的true/false,例如:
curl -XPUT '172.16.1.127:9200/my_index/_doc/1?pretty' -H 'Content-Type: application/json' -d '
{
"name": "Broadcasted Elasticsearch News",
"downloadable": true
}'
downloadable字段被自动地映射为boolean,在Lucene的索引中被存储为T和F。和date一样,ES解析源文档中提供的值,将true和false分别转化为T和F。(5)数组
所有基本类型都支持数组,无须修改映射,既可以使用单一值,也可以使用数组:
curl -XPUT '172.16.1.127:9200/blog/posts/1?pretty' -H 'Content-Type: application/json' -d '
{
"tags": ["first", "initial"]
}'
curl -XPUT '172.16.1.127:9200/blog/posts/2?pretty' -H 'Content-Type: application/json' -d '{"tags": "second"}'
curl 'localhost:9200/blog/_mapping/posts?pretty'
{
"blog" : {
"mappings" : {
"posts" : {
"properties" : {
"tags" : {
"type" : "text",
"fields" : {
"keyword" : {
"type" : "keyword",
"ignore_above" : 256
}
}
}
}
}
}
}
}
3. 多字段
curl -XPUT '172.16.1.127:9200/blog/_mapping/posts?pretty' -H 'Content-Type: application/json' -d '
{
"posts": {
"properties": {
"tags": {
"type": "text",
"index": true,
"fields": {
"verbatim": {
"type": "text",
"index": false
}
}
}
}
}
}'
curl -XPUT '172.16.1.127:9200/blog/_mapping/posts?pretty' -H 'Content-Type: application/json' -d '
{
"posts": {
"properties": {
"tags": {
"type": "text"
}
}
}
}'
curl 'localhost:9200/blog/_mapping/posts?pretty'
{
"blog" : {
"mappings" : {
"posts" : {
"properties" : {
"tags" : {
"type" : "text",
"fields" : {
"keyword" : {
"type" : "keyword",
"ignore_above" : 256
},
"verbatim" : {
"type" : "text",
"index" : false
}
}
}
}
}
}
}
}
4. 预定义字段
通常不用部署预定义的字段。
字段名揭示了相关字段的功能。
总是以下划线(_)开头。
curl '172.16.1.127:9200/get-together/_doc/1?pretty'
{
"_index" : "get-together",
"_type" : "_doc",
"_id" : "1",
"_version" : 3,
"found" : true,
"_source" : {
"relationship_type" : "group",
"name" : "Denver Clojure",
"organizer" : [
"Daniel",
"Lee"
],
"description" : "Group of Clojure enthusiasts from Denver who want to hack on code together and learn more about Clojure",
"created_on" : "2012-06-15",
"tags" : [
"clojure",
"denver",
"functional programming",
"jvm",
"java"
],
"members" : [
"Lee",
"Daniel",
"Mike"
],
"location_group" : "Denver, Colorado, USA"
}
}
curl -XGET '172.16.1.127:9200/get-together/_search?pretty' -H 'Content-Type: application/json' -d '
{
"query": {
"terms": {
"_id": [
"1"
]
}
},
"_source": [
"name",
"organizer"
]
}'
{
"took" : 6,
"timed_out" : false,
"_shards" : {
"total" : 2,
"successful" : 2,
"skipped" : 0,
"failed" : 0
},
"hits" : {
"total" : 1,
"max_score" : 1.0,
"hits" : [
{
"_index" : "get-together",
"_type" : "_doc",
"_id" : "1",
"_score" : 1.0,
"_source" : {
"organizer" : [
"Daniel",
"Lee"
],
"name" : "Denver Clojure"
}
}
]
}
}
select name, organizer from get-together where id=1;
_source字段存储所有信息,而_all是索引所有的信息。_all字段将所有字段的值连接成一个大字符串,使用空格作为分隔符,然后对其进行分析和索引,但不进行存储。这意味着可以把它作为搜索条件,但不能返回它。_all字段允许在不知道哪个字段包含值的情况下搜索文档中的值。
curl '172.16.1.127:9200/get-together/_search?q=elasticsearch&pretty'
curl -X GET '172.16.1.127:9200/get-together/_search?pretty' -H 'Content-Type: application/json' -d'
{
"query": {
"query_string": {
"query": "elasticsearch"
}
}
}'
ES用这三个字段识别单个文档。ID可以由用户手动提供:
curl -XPUT '172.16.1.127:9200/manual_id/_doc/1st?pretty' -H 'Content-Type: application/json' -d '
{
"name": "Elasticsearch Denver"
}'
{
"_index" : "manual_id",
"_type" : "_doc",
"_id" : "1st",
"_version" : 1,
"result" : "created",
"_shards" : {
"total" : 2,
"successful" : 1,
"failed" : 0
},
"_seq_no" : 0,
"_primary_term" : 1
}
curl -XPOST '172.16.1.127:9200/logs/_doc/?pretty' -H 'Content-Type: application/json' -d '
{
"message": "I have an automatic id"
}'
{
"_index" : "logs",
"_type" : "_doc",
"_id" : "iEbXOmgBWHJVyzwYQ9ho",
"_version" : 1,
"result" : "created",
"_shards" : {
"total" : 2,
"successful" : 1,
"failed" : 0
},
"_seq_no" : 0,
"_primary_term" : 1
}
curl '172.16.1.127:9200/_search?q=_index:get-together&pretty'
curl '172.16.1.127:9200/_search?q=_index:blog&pretty'
二、更新数据
ES中更新文档有两种方法,一是PUT一篇不同的文档到相同的地方(索引、类型和ID),功能上类似于SQL中的replace into;二是使用更新API。例如执行类似SQL中的如下功能:
update get-together set organizer='Roy' where id=2;
如图2所示,ES进行了如下操作(从上至下):
从_source字段检索现有文档。
进行指定的修改。
删除旧的文档,在其原有位置索引新的文档。
1. 使用更新API
(1)发送部分文档
curl -XPOST '172.16.1.127:9200/get-together/_doc/2/_update?pretty' -H 'Content-Type: application/json' -d '
{
"doc": {
"organizer": "Roy"
}
}'
这条命令设置了在doc下指定的字段,将其值设置为所提供的值。它并不考虑这些字段之前的值,也不考虑这些字段之前是否存在。如果之前整个文档是不存在的,那么更新操作会失败,并提示文档缺失。
(2)使用upsert
为了处理更新时文档并不存在的情况,可以使用upsert。这个单词是关系数据库中update和insert的混成词。如果被更新的文档不存在,可以在JSON的upsert部分中添加一个初始文档用于索引:
curl -XPOST '172.16.1.127:9200/get-together/_doc/2/_update?pretty' -H 'Content-Type: application/json' -d '
{
"doc": {
"organizer": "Roy"
},
"upsert": {
"name": "Elasticsearch Denver",
"organizer": "Roy"
}
}'
(3)通过脚本更新文档
一个更新脚本具有以下三项重要元素:
默认的脚本语言是painless。
由于更新要获得现有文档的_source内容,修改并重新索引新的文档,因此脚本会修改_source中的字段。使用ctx._source来引用_source,使用ctx._source[字段名]来引用某个指定的字段。
如果需要变量,推荐在params下作为参数单独定义,和脚本本身分开。这是因为脚本需要编译,一旦编译完成,就会被缓存。如果使用不同的参数,多次运行同样的脚本,脚本只需要编译一次。之后的运行都会从缓存中获取现有的脚本。相比每次不同的脚本,这样运行会更快,因为不同的脚本每次都需要编译。这个思想和Oracle的绑定变量与软编译概念异曲同工。
curl -XPUT '172.16.1.127:9200/online-shop/_doc/1?pretty' -H 'Content-Type: application/json' -d '
{
"caption": "Learning Elasticsearch",
"price": 15
}'
curl -XPOST '172.16.1.127:9200/online-shop/_doc/1/_update?pretty' -H 'Content-Type: application/json' -d '
{
"script": {
"source": "ctx._source.price += params.price_diff",
"params": {
"price_diff": 10
}
}
}'
curl -XGET '172.16.1.127:9200/online-shop/_doc/1?pretty'
{
"_index" : "online-shop",
"_type" : "_doc",
"_id" : "1",
"_version" : 2,
"found" : true,
"_source" : {
"caption" : "Learning Elasticsearch",
"price" : 25
}
}
price已经改为25。
2. 通过版本实现并发控制
ES本身没有事务概念,但由于ES的文档更新是先取出再更改,所以并发更新文档时同样存在数据库领域中所谓的“第二类丢失更新”问题。如图3所示,在其它更新获取原有文档并进行修改期间,有可能另一个更新重新索引了这篇文档。如果没有并发控制,第二次的重新索引将会覆盖第一次更新所做的修改。
ES使用文档的_version字段进行并发控制。它采用一种乐观锁定防止第二类丢失更新,思想类似于Oracle 11g的Row Version。理论上可以使用下面的代码重现图3所示的流程,但遗憾的是,6.4.3版本的ES使用painless作为脚本语言,其中不支持Thread.sleep方法,因此执行这段代码会失败。
/***
curl -XPOST 'localhost:9200/online-shop/shirts/1/_update' -d '{
"script": "Thread.sleep(10000); ctx._source.price = 2"
}' &
% curl -XPOST 'localhost:9200/online-shop/shirts/1/_update' -d '{
"script": "ctx._source.caption = \"Knowing Elasticsearch\""
}'
***/
curl -XGET "172.16.1.127:9200/online-shop/_doc/1?version=2&pretty"
curl -XPOST '172.16.1.127:9200/online-shop/_doc/1/_update?pretty' -H 'Content-Type: application/json' -d '
{
"script": "ctx._source.caption = \"Knowing Elasticsearch\""
}'
curl -XGET "172.16.1.127:9200/online-shop/_doc/1?version=2&pretty"
{
"error" : {
"root_cause" : [
{
"type" : "version_conflict_engine_exception",
"reason" : "[_doc][1]: version conflict, current version [3] is different than the one provided [2]",
"index_uuid" : "b6z8mwmRQ1ambP9g5rv9vQ",
"shard" : "3",
"index" : "online-shop"
}
],
"type" : "version_conflict_engine_exception",
"reason" : "[_doc][1]: version conflict, current version [3] is different than the one provided [2]",
"index_uuid" : "b6z8mwmRQ1ambP9g5rv9vQ",
"shard" : "3",
"index" : "online-shop"
},
"status" : 409
}
使用版本控制并发后的流程如图4所示。
curl -XPOST '172.16.1.127:9200/online-shop/_doc/1/_update?retry_on_conflict=3&pretty' -H 'Content-Type: application/json' -d '
{
"script": "ctx._source.price = 2"
}'
更新文档的另一个方法是不使用更新API,而是在同一个索引、类型和ID之处索引一个新的文档。这样的操作会覆盖现有文档,这种情况仍然可用版本字段来进行并发控制。为了实现这一点,要设置HTTP请求中的version参数。例如当前版本为4,重新索引的请求命令如下:
curl -XPUT "172.16.1.127:9200/online-shop/_doc/1?version=6&pretty" -H 'Content-Type: application/json' -d '
{
"caption": "I Know about Elasticsearch Versioning",
"price": 5
}'
如果更新时的版本实际上已经不是4,那么这个操作就会抛出版本冲突的异常并失败。
三、删除数据
1. 删除文档
删除单个或一组文档时,ES只是将它们标记为删除,所以它们不会在出现于搜索结果中,稍后ES通过异步的方式将它们彻底从索引中删除。
curl -XDELETE '172.16.1.127:9200/online-shop/_doc/1?pretty'
也可以使用版本来管理删除操作的并发,但删除的版本控制有个特殊情况。一旦删除了文档,它就不复存在了,于是一个更新操作很容易重新创建该文档,尽管这是不应该发生的(假设更新的版本要比删除的版本更低)。为了防止这样的问题发生,ES将在一段时间内保留这篇文档的版本,如此它就能拒绝版本比删除操作更低的更新操作了。这个时间段默认是60秒,可以通过index.gc_deletes来修改它。
可以查询某个索引中的文档并删除它们:
curl -X POST "172.16.1.127:9200/my_index/_delete_by_query?pretty" -H 'Content-Type: application/json' -d'
{
"query": {
"query_string": {
"query": "elasticsearch"
}
}
}'
2. 删除索引
# 删除一个索引
curl -XDELETE "172.16.1.127:9200/blog?&pretty"
# 删除多个索引
curl -XDELETE "172.16.1.127:9200/my_index,manual_id?&pretty"
删除索引是很快的,因为它基本上就是移除了和索引分片相关的文件。和删除单独的文档相比,删除文件系统中的文件更快。从执行时间上看,其实数据库也一样,通常drop table比delete快得多。删除索引的时候,文件只是被标记为已删除,在分段进行合并时,它们才会被删除。这里的合并是指将多个Lucene小分段组合为一个更大分段的过程。
3. 关闭索引
除了删除索引,还可以选择关闭它们。如果关闭一个索引,就无法通过ES读写其中的数据。当使用应用日志这样的流式数据时,此操作非常有用。可以关闭旧的索引释放ES资源,但又不删除它们以防后续使用。
# 关闭索引
curl -XPOST '172.16.1.127:9200/logs/_close?pretty'
# 打开索引
curl -XPOST '172.16.1.127:9200/logs/_open?pretty'
版权声明:
本文为大数据技术与架构整理,原作者独家授权。未经原作者允许转载追究侵权责任。编辑|冷眼丶微信公众号|import_bigdata文章不错?点个【在看】吧! 👇