查看原文
其他

查询亿级数据毫秒级返回!Elasticsearch 7.1 是如何做到的?

磊哥 搜云库技术团队 2019-11-01

搜索是现代软件必备的一项基础功能,而 Elasticsearch 就是一款功能强大的开源分布式近实时搜索与数据分析引擎.


ElasticSearch 可以做什么?

分布式的搜索引擎和数据分析引擎 

1、搜索:网站的站内搜索,IT系统的检索

2、搜索:可以实现代码级的搜索与高亮显示

3、数据分析:电商网站,统计销售排名前10的商家

全文检索:结构化检索,数据分析

1、全文检索:我想搜索商品名称包含某个关键字的商品

2、结构化检索:我想搜索商品分类为日化用品的商品都有哪些 

3、数据分析:我们分析每一个商品分类下有多少个商品

对海量数据进行近实时的处理

1、分布式:ES自动可以将海量数据分散到多台服务器上去存储和检索 

2、海联数据的处理:分布式以后,就可以采用大量的服务器去存储和检索数据,自然而然就可以实现海量数据的处理了 

3、近实时在秒级别对数据进行搜索和分析


Elasticsearch 还被广泛运用于大数据近实时分析,包括日志分析、指标监控、信息安全等多个领域。

 

它可以探索海量结构化、非结构化数据,按需创建可视化报表,对监控数据设置报警阈值,甚至通过使用机器学习,做到自动识别异常状况。

 

作为目前最流行的开源搜索引擎,ES 在全球的下载量已超过 3.5 亿次,腾讯、滴滴、今日头条、饿了么、360 安全、小米,vivo 等国内诸多知名公司都在使用 Elasticsearch。


Elasticsearch 如何上手?


Elasticsearch 非常容易上手,具有开箱即用的特性,你可以在极短的时间内设置好开发环境,然后快速上手使用,继而在成百上千台服务器上实现 PB 级的数据处理

其实,想要掌握 Elasticsearch,除了要理解其分布式架构的原理外,还要了解一些信息检索领域的知识和相关技巧

 

分享给你一张 Elasticsearch 核心知识图谱,只有对每一个知识点仔细梳理并深入理解,才能解决工作中的实际问题。


       

这张图谱出自阮一鸣,我之前听过他在 Elastic 中国开发者大会的分享,讲得非常不错。

 

最近聊天得知他推出了一门 视频课《Elasticsearch 核心技术与实战》,磊哥有幸提前看到了目录和一部分内容,很想推荐给你们。

 

在课程中,他用理论与实践相结合的方式、深入浅出地讲解了Elasticsearch,只要你坚持学习,就可以掌握 ES 的基本概念和服务搭建,了解其运行机制和常用技巧,并通过上手实战理解 ES 在实际项目中的应用。


关于阮一鸣


阮一鸣,eBay Pronto 平台技术负责人。Pronto 平台管理了 eBay 内部上百个 Elasticsearch 集群,数据规模超过了 4000 个节点。这些集群在 ebay 的生产环境中,支撑了包括订单搜索,商品推荐,日志管理,风险控制,IT 运维,安全监控等不同领域的服务。


他是如何讲解 Elasticsearch 的?


如果你对 Elasticsearch 有些了解,就会发现 ES 的产品迭代速度非常快,很多老的 API 都已经被废弃不再使用,搜索到的参数配置也大多发生了变化。

 

市面上的书籍和教程都是基于 5.x 甚至是 2.x 版本。而在课程中,哥们儿使用 Elasticsearch 最新的 7.1 版本进行教学。

 

所有 ES 最新版本的特性,在课程里都会有全面和直观地展现,比如:用机器学习进行异常检测;用 Canvas 展示数据;用索引的生命周期管理工具对索引进行优化等等。

 

结合目录,我总结了一下,这个课大概分为 5 个部分

 

1. 初识 Elasticsearch

Elasticsearch 核心概念、工作机制与应用场景;本地开发环境搭建;倒排索引的原理与 ES 中 Analysis 的具体细节;Mapping 设置和一些基本的 Search & Aggregation API。


2. 深入了解 Elasticsearch

理解 Elasticsearch 分布式架构的原理;相关性算分的原理;数据建模的最佳实践;深入搜索及聚合功能以提高搜索结果的相关度。


3. 管理 Elasticsearch 集群

集群的水平扩展、参数配置、性能优化、故障诊断。


4. 利用 ELK 做大数据分析

结合使用场景和数据,探索 Logstash、Kibana 的各项功能。


5. 应用实战工作坊

设计了电影搜索和 Stack Overflow 用户调查问卷数据分析两个实战项目,通过上手实践,你可以巩固所学的知识点,并运用到实际项目中。

课程特点

由浅入深:从基础到进阶用法,再到集群管理和大数据分析,学完即可应用到生产环境中;

内容最新:使用最新的 7.1 的版本进行教学;

实战演练:通过两个实战项目,手把手带用户动手进行实战服务搭建,巩固所学知识点;

面试中,经常有要求有搜索经验优先考虑,其实指的就是 Elasticsearch

在大数据时代,近实时的搜索和分析能力,会让你唯快不破,洞见未来。——这句 copy 了阮一鸣,要我说其实就是升职加薪走上人生巅峰呗,这话够实在吧。

 

写得有点长了啊,要我总结就一句:放心学,学得会,用得着。

 


△扫我的海报试读或订阅


从我这里订阅,有什么福利?

1、优惠价 99元原价 129元

2、加微信 返现 24元

3、到手价只需75立省 54元

重点: 75 元 就能得 Elasticsearch核心技术与实战(一套完整的视频讲解实战课程

加我微信返现,微信ID:souyunku_com

备注:极客时间用户名


说了半天,是时候上目录了

想要干货往下看



👇点击「阅读原文」免费试看:

    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存