查看原文
其他

专注日志分析领域,成立两年的日志易渐成细分龙头|公司调研

2016-11-16 公司调研 爱分析ifenxi

本文共计3628个字,预计阅读时间为8分钟。




硅谷十年,从思科到谷歌,陈军一直在与日志打交道。回国五年,从腾讯到高德地图,陈军的工作同样离不开对日志分析。日志对IT工程师来说,是非常基本且核心的信息,对日志的分析有助于提升企业运维效率。


陈军发现,中国企业越来越重视精细化运维,但国内却没有一款可以媲美Splunk的日志分析产品。而Splunk的产品价格很高,在中国又缺少配套服务支持,这就给了本土产品发展机会。


2014年初,陈军离开高德,创建日志易。


可编程的日志分析产品,日处理20TB数据


很多非IT出身的人都会有这样的疑问,日志易这类日志分析产品到底为客户提供了哪些服务?


电脑等IT设备,在运行过程中会产生大量的日志数据,来记录这些IT设备的活动。一旦设备出现故障,抑或追踪一些业务过程,通过日志就可以找到问题的答案。但这些日志都是散落在不同设备上,仅靠手动查找起来非常费力。同时,因为日志信息量很大,机器过段时间就会清理一次日志。一旦出现故障,IT人员想查找一些历史数据根本无法查到。


日志易做的事情就是把散落在各地的日志收集起来,集中管理,将非结构化数据转换成结构化数据,就像百度、谷歌这样的搜索引擎,IT人员可以通过搜索关键字找到需要的日志。除此之外,日志易还提供了各种分析和可视化工具,帮助IT人员更好地分析日志,找到问题的关键。


从产品功能上来看,日志易与国内同类产品最大的区别体现在可编程上,目前可以实现几十种命令。产品使用者可以在搜索框内写SPL(Search Processing Language,搜索处理语言)脚本,类似SQL,可以根据不同的使用场景来编译适合的程序。


可编程的好处在于客户的一些个性化需求,可以通过编写简单程序来实现,而不用更改底层程序,提高使用灵活性,客户用起来更加方便,毕竟写SQL的难度要远远低于写JAVA。


从产品性能上来看,日志易目前在生产环境上可做到每秒一百万条日志,每天处理20TB数据。可检索分析千亿条日志,一分钟内反馈结果。这些日志都是通过流式处理,技术实现难度大于批式处理。举个例子,百度采用批式处理,无法检索到刚刚发生的新闻,而刚刚产生的日志都可以通过日志易的搜索引擎查询到。


以大客户为主,产品交付周期短,可复制性强


日志易一开始就将工作重心放在大客户上,竖立标杆客户有助于提升品牌价值和公司影响力,同时大客户业务复杂,有助于打磨产品,增强产品功能和性能。


尽管产品上线才两年,2015年下半年才拿下第一个大客户,但日志易发展速度很快。目前,客户已包括某大型综合金融机构、某大型股份制银行、基金公司、支付公司等金融客户,中国移动、国家电网等央企,乐视、小米、网宿科技等互联网企业,KA客户超过一百家。


在产品交付层面,日志易以本地部署的形式服务大中型客户,以SaaS形式服务小企业,产品付费模式与Splunk类似。因为产品化程度较高,除了日志易之外,还有用于运维、监控日志易的Rizhiyi_Manager,即使是本地部署周期也不长,客户准备好存储日志的服务器后即可一键部署。


日志分析是相对底层数据分析技术,行业属性不强,同时日志易提供SPL编程功能,有助于客户开发一些适合自己的程序。这使得日志易的产品可复制性强,容易规模化,人力依赖较低。


国内市场刚起步,市场延伸范围极广


国内市场目前还处于教育客户阶段,很多企业还处于信息化阶段,根本谈不上精细化运营。但是金融、运营商、能源等领域需求已经出现,日志在运维监控、业务分析等方面的作用渐渐被客户认知。


由于国外巨头Splunk对中国市场重视不足,配套服务人员几乎为零,这给本土企业成长的空间和时间。2015年12月,日志易完成6000万A轮融资,融资金额为细分领域最大。不论是技术还是资源上,日志易都领先同行,极有可能成为日志分析领域的龙头企业。


日志分析市场规模看似不大,但其业务延展空间极广。所有机器数据都可以被归结为日志,都可以用日志分析产品去处理。因此,日志易的产品可以很容易延伸到物联网领域,提供机器数据的实时处理。


目前,Splunk已为美国F35战斗机处理数据,韩国浦项炼钢炉的数据也通过Splunk进行分析。因此,从国外应用经验来看,未来日志易切入到物联网这个市场是完全有可能的。




近期,爱分析对日志易的创始人兼CEO陈军进行访谈,现将精彩内容分享。


Q:当初创建日志易这家公司是基于哪些方面的考虑?

A:在外人看来,日志是一个很小众的市场,有些投资人甚至分不清日志和日记的区别,但从IT工程师角度来讲,日志是个非常基本且核心的东西。

我98年从南加州大学硕士毕业,首先去了思科。我记得我刚工作几个星期,软件出了BUG,我当时一筹莫展,不知道怎么办,因为首先得知道是什么原因产生这个BUG。同事就指点我,让我去看日志,从日志中发现问题。当时也没有工具,就是在编辑器里打开日志看,因为是分布式系统,就打开多个窗口对照看日志,当时完全靠人眼去鉴别。

到2006年,我去了Google。我做网页爬虫的时候,Google当时一天要下载一百多亿个网页,基本上覆盖全世界的网页。在爬网页的时候就会遇到各种各样的错误。我们早上上班第一件事就是看爬这些网页有什么样的错误信息,有错误就得解决。

但这些错误信息都在日志里面,日志量很大。在思科时期一个日志就是几MB到几十MB,Google时期一个日志就是几十GB。这时候没办法通过编辑器打开,因为加载时间非常久,根本没办法用人工方式去看。

Google在2002年的时候发明了大数据技术框架MapReduce,后来Hadoop就是基于MapReduce技术开发的。所以我们当时就是用MapReduce去写程序,分析日志,但这里面也有问题。每出现一个新问题,就要利用MapReduce写程序、调试、运行,所以上午发现错误,看到结果都是下午了。

2009年我回国到腾讯工作,在数据中心运维部门,负责开发腾讯数据中心运维系统。当时腾讯已经有二十万台服务器,非常大的运维监控系统,也要处理日志,我们当时也是自己写程序处理。2010年发现Splunk这款产品,Splunk是个搜索引擎,拿来即用,不再需要开发写程序。

2013年,我去了高德。当时出了一个比较大的事故,要去追查那个事故的根源,也要看日志。追踪几天前的日志时发现交换机日志已经回滚了,没办法追查下去。所以,我们觉得日志需要集中管理起来,日志散布在各个服务器上,出了问题运维工程师登陆在生产服务器上,风险很大,一不小心误操作就会出现新的运维问题。我们当时也用了Splunk产品,非常好用,但就是太贵了。

我们出来做这个事情,主要是考虑市场空间很大,而且行业技术门槛很高,护城河足够深。护城河浅的话,一大堆公司进来就没有我们的机会了。


Q:这个领域的技术门槛是在哪些方面?

A:日志分析是实时大数据,Google、百度这种是批处理,新闻实时性够强,但也只能搜索到15分钟前的新闻,如果现在出条新闻,任何搜索引擎都搜不到。我们这种是日志出来后几秒钟就能搜到,Fast Big Data。

我们每天处理20TB日志,有人觉得可能不够大,有的已经到PB级,但他们那种是批处理,我们这种是实时处理,我们这种处理速度非常快。


Q:日志分析接触到的是客户很底层的数据,大客户对这类数据比较敏感,咱们最开始是如何切入大客户市场的?

A:第一个是需要时间,2014年10月我们的产品就出来了,当时有一些早期客户。我们在2015年1月份有签单,当然第一单是小企业。服务第一个大客户是在2015年下半年,这过程需要不断打磨产品,先给大企业试用。但有些大客户连试用都不愿意,他觉得你给他免费试用,他也付出了成本,要提供服务器、要提供人员。

首先客户要有这部分需求,其次要有实力能满足客户的需求。有些时候可能就只有一次机会,但就一定要抓住这次机会。早期如果能签下一个大客户,后面就会相对容易。


Q:日志分析这个市场您判断有多大?

A:这个市场非常大,现在是日志,未来是物联网。现在Splunk已经不讲日志了,已经过了将日志的时期,现在很多财富500的公司都是他的客户,他现在讲的都是机器数据。美国F35的战斗机,产生的机器数据是由Splunk处理的。韩国浦项钢铁的炼钢炉,数据也是由Splunk处理的。

我们也是这样,现在做日志,未来要做机器数据,机器数据和日志没有差别,只不过市场还处于培育阶段。


Q:咱们这种实时处理方式与Spark技术的流处理是否类似?

A:我们最早版本是用了Spark流式处理,我们还获得了官方认证,有一家做Spark的公司Databricks,日志易是被他认证的,我们认证的是开发商而非代理商。

但后来我们发现Spark性能不行,所以后来我们自己写了程序,比Spark性能提升很多。


Q:公司下一步战略有哪些考虑?

A:下一步还是继续做日志分析这件事,Splunk做了12年,我们才做了不到三年。我们开放API,逐步从产品变成平台,其他公司可以在我们的产品上开发应用。从公司价值上来看,做项目的公司价值最低,基本就是赚一个人工费的差价,其次是做产品,最高是做平台。


Q:像咱们这种产品可以对接哪些应用?

A:做BI的都可以跟我们对接,BI主要是分析数据,数据可视化基于结构化数据,日志是非结构化的,我们把非结构化转换成结构化,所有BI的都可以对接。还可以对接运维监控系统,运维监控系统包括很多内容,我们日志分析只是其中的一个模块。



爱分析是一家专注于创新企业研究和评价的互联网投研平台。爱分析以企业价值为研究内核,以独特的产品形态,对创新领域和标杆企业长期跟踪调研,服务于企业决策者、从业者及投资者用户群体。关注爱分析公众号ifenxicom,及时获取重要信息。


读完文章,您有没有什么想聊聊?

或者您也是企业服务领域的创业者,希望我们报道?

您可以发邮件至lizhe@ifenxi.com

或者加微信号aiyangyudejiji联系作者。



爱分析热文

互联网金融估值榜 | 互联网财富管理估值榜

互联网金融服务估值榜 | 消费金融估值榜

企业级服务估值榜 | 中国消费金融市场格局 

中国首份B2B电商估值| 移动医疗估值榜 

中国互联网金融企业估值榜

全球最新独角兽企业榜互金50人 

全球非上市云服务公司TOP 100榜

中国互联网金融投资机构榜

中国互联网金融虎鲸榜

中国网络安全企业排行榜

中国 互联网金融创富人物榜|B2B50人

支付企业TOP20 | 中国大数据企业估值榜


乐视云 | UCloudLeanCloud | 有云 | 青云 

金山云 | 红圈营销 | 纷享逍客 | 今目标 | 个推 

娜迦云知声 | Testin | 北森 | 理才网 |

斗米兼职  猎上网永洪科技 | 兼职猫

明略数据 | 星环科技 | 思必驰容联Wework

Twilio | PalantirNew Relic | DIP 

百分点| OneAPM|数据堂|Zendesk

美林数据青藤云科大讯飞斗米兼职

Tableau | 听云 | 码隆科技 | 美洽

销售易|图森互联 | 椒图科技星图数据

TalkingData|Fintech | 云智慧梆梆安全

Hortonworks明朝万达容联七陌

国双科技|360安全|小熊尼奥 

Nuance| 七牛


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存