看360如何打造百万亿级的日志搜索引擎

Poseidon 系统是一个日志搜索平台，可以在百万亿条、100PB 大小的日志数据中快速分析和检索。360 公司是一个安全公司，在追踪 APT（高级持续威胁）事件，经常需要在海量的历史日志数据中检索某些信息，例如某个恶意样本在某个时间段内的活动情况。在 Poseidon 系统出现之前，都是写 Map/Reduce 计算任务在 Hadoop 集群中做计算，一次任务所需的计算时间从数小时到数天不等，大大制约了 APT 事件的追踪效率。Poseidon 系统就是解决这个需求，能在数百万亿条规模的数据集中找出我们需要的数据，只需要花费几秒钟时间，大大提高工作效率；同时，数据不需要额外存储，节省了大量存储和计算资源。该系统可以应用于任何海量(从万亿到千万亿规模)的查询检索需求。

该系统现已开源：https://github.com/Qihoo360/poseidon 。

演讲视频

https://v.qq.com/txp/iframe/player.html?vid=r03543y70iz&width=500&height=375&auto=0

作者介绍

魏自立，11 年加入 360，高级工程师、资深顾问。参与建设了全世界首个也是目前全世界最大的云查杀安全系统，也是 360 搜索引擎的核心开发。在分布式网络服务器架构与计算、大规模系统性能调优等方面积累了大量实践经验，目前负责 360 核心安全业务线的云引擎服务团队。

在明年的 QCon 北京 2017 上，他还将担任《专题： 支撑海量业务的互联网架构》专题的出品人。

幻灯片

在公众号后台回复“搜索”，即可下载完整幻灯片。

---

延展阅读：

---

每一次相遇都是久别重逢。时隔一年，QCon 北京站将于 2017 年 4 月 16—18 日在北京国家会议中心华丽归来。20+ 热点专题出炉，涵盖区块链、VR、TensorFlow、深度学习等潮流技术，及研发安全、移动专项、智能运维、业务架构等一手实践。国内外技术专家共襄盛举，点击“阅读原文”，即刻报名，尽享 7 折特惠。

演讲：《深入理解 Apache Beam》

PayPal 架构师 & Apache Beam 贡献者 & PPMC 成员——Amit Sela

Apache Beam 是一款新的 Apache 项目，由 Google 捐献给开源社区，凝聚着 Google 研发大数据基础设施的多年经验。

Beam 来源于 Batch（批处理）和 strEAM （流处理）这两个词，意在提供一个统一的编程模型，同时支持批处理和流处理。本次演讲中，Amit 将介绍 Beam 处理大规模乱序流数据的基础，以及 Beam 提供的强大工具。

更多信息请点击“阅读原文”关注 QCon 北京 2017。