Splunk严立忠:真正的大数据不淘汰任何数据

2018-09-04 22:53:00 来源:DOIT

大数据的话题不是当下最热的,但大数据的落地应用仍处于上升期,大数据的原理并不复杂,但具体到应用和实现方面其实有很大差别,在全球以及中国市场都有许多大数据服务商,这其中,Splunk在一些方面的表现可圈可点。

6f6a5f2e12c0202fe7a2396aceae3182

Splunk中国区总经理严立忠

8月21日,Splunk中国区总经理严立忠介绍了Splunk在中国区的一些新的进展,以及Splunk在产品,用户实践方面的新内容,在采访中,严立忠的一句“真正的大数据不淘汰任何数据”令笔者印象深刻。

Splunk是一家来自旧金山的大数据公司,在中国市场的发展正处于上升期。据了解,近半年来,Splunk的团队规模增长了50%,业务规模在快速增长当中,在外来企业纷纷水土不服的大环境下,Splunk的表现究其根本还是其独特的产品竞争优势。

Splunk成立于2003年,2009年实现盈利,2012年上市,是不折不扣的大数据行业的先行者。Splunk最核心的能力是做机器数据(Machine data)分析,最典型的机器数据就是日志数据,Splunk非常擅长做日志分析,围绕日志分析这件事儿,Splunk涉及的领域还涵盖AIOPS,(SIEM)安全,应用程序管理,人工智能等。

b30faff61e35309e08fb420e170e4461

值得注意的一点是,Splunk将所有的功能统一到了一个平台上,降低了部署的复杂度。

SIEM魔力象限中的Splunk位于领导者象限的领先位置

Splunk能收集来自各个渠道的机器数据,对数据做监控,做查询和分析,支持的数据来源非常多,能查询的数据量非常大,而且性能非常好,这是架构上的特点。据介绍,Splunk对大规模数据的搜索性能表现优势非常明显,这使得Splunk对数据做全量分析成为可能。

在大数据特性方面,Splunk采取的是读时建模,不预先构建模型,不用人为去除不相关数据,保留完整的原有数据,性能能支撑Splunk对全量数据进行分析,因为有时候认为判断剔除的数据可能是有用的数据。严立忠总结道:“真正的大数据不淘汰任何数据。”在他看来,这应该是Splunk最核心的价值所在了。

与一些采用开源方案的友商不同,Splunk是完全自研的,如今常见的ELK大约是在2012年以后才开始兴起的,ELK在开源界大数据分析领域有很大的影响力,很多服务商都是基于ELK做的,但ELK还是有很多问题,其中有很多是开源普遍面临的问题。这其中,最直观的问题就是性能,在面对大规模的数据时,Splunk的表现要比基于ELK的方案要好的多。

从严立忠的介绍中了解到,由于历史的原因,在没有开源的方案出现之前,很多具备较强研发实力的企业也都做了类似的日志分析系统,其中,某国内知名大型IT服务商的技术人员开发出来的系统还曾获得了很高的赞誉,但在长时间的使用和对比了解之后,最终还是选择了Splunk的方案。

在产品上,Splunk近年来不断收购来巩固和完善产品线,今年4月份收购了一家做安全公司Phantom,6月份宣布收购一架做DevOps的公司VictorOps,以核心竞争力不断完善在多个方面的应用。

Splunk的方案覆盖越来越多的行业用户。Splunk的很多用户集中在金融行业和高科技行业,以前主要是一些大的用户,而现在有越来越多的较小规模企业也在关注Splunk,比如一些股份制银行城商行等。随着工业物联网产业的发展,制造业也开始关注Splunk,开始在汽车制造,车联网等技术领域发挥价值。

Splunk的数据分析的应用正在逐步深入,从严立忠的介绍中了解到,国内某大银行正在基于Splunk等技术做一些非常大的组织架构上的改动,对银行的数据管理模式带来非常大的变化,技术开始推动组织用户的变革,在笔者看来,这只是刚刚开始,随着未来技术的深入发展,类似的改动会越来越多。

Splunk是少数能做平台的公司,严立忠表示。这是Splunk与许多大数据服务商的最大区别,因为国内有许多大数据服务商在面对客户的时候往往是项目制的做法,做很多定制化开发的内容。而Splunk的平台上有大量生态的厂商,在平台上能完成标准化的对接,为用户提供更多平台化的服务,而不是基于项目制的合作。

说到Splunk的生态时,Splunk有很多让人感到意外的合作伙伴,其中一个是IBM。据了解,Splunk有与IBM大型机的合作,Splunk通过可以获取来自大型机的日志数据,大型机是一种极为特殊的存在,大型机往往涉及非常关键的业务,自身也有明显的封闭性,如此合作只能说明Splunk获得了来自百年老店IBM的高度认可。

另外一个大的合作伙伴是AWS,一方面,Splunk的云服务是基于AWS的,一方面,AWS也在使用Splunk的服务,AWS其实自己也有很多监控分析之类的服务,AWS的开放性允许Splunk这样的第三方平台出现来为用户提供监控服务,帮用户看到使用中的一些问题,或者减少浪费提升资源利用的效率等,AWS的开放性是这次合作的重要基础。

在Splunk的合作伙伴列表中,还有思科、迈克菲、赛门铁克、F5、微软等,软硬件,云计算,安全等等各种类别的服务商都有,所有合作当中,Splunk要做的事情就是收集数据,然后交出分析报告。

虽然Splunk来到中国的市场相对较晚,但严立忠对中国市场的发展前景信心满满。

在中国,Splunk还设立了唯一一家海外研发中心,该研发中心不只是简单的本地化工作,也有很多核心的部分也是由这里走出来的。上文也提到了,Splunk在中国扩大了人员规模,另外,Splunk也在积极招募渠道商,招揽OEM合作伙伴。随着市场的规范,用户的成熟,Splunk在中国的发展会更上一层楼。