信息消费

起底奇安信分布式关联分析引擎Sabre

作者:来源:发布时间:2020-05-28 13:51我要评论

在网络安全中,溯源一个攻击事件的全貌,就像现实生活中的警察破案,以一般典型案例的侦查为例,其一般程序同样是首先初步收集与案件有关的各种线索,然后汇总后分析,最后确定侦查方向、划定侦查范围,直至破案。

探案的初期往往是千万线索或头绪中的抽丝剥茧。在大多数企业网络安全运营者的工作实际中,通过众多厂商的安全产品、设备发现威胁已成常态,然而带给他们众多困扰的不是不仅仅是发现威胁,他们更多情况就像企业里负责网络安全的“警察”,要从众多设备告警中,通过分析研判,追踪溯源,找到威胁来源,采取措施保障业务系统损失最小化,网络环境更安全和稳定。然而,众多设备和系统每天产生大量告警,再加上参差不齐的误报率,使得网络安全运营者陷入无从下手的困境。

并且,网络攻击是复杂的、多阶段、持续时间分散、跨多节点的动态过程,独立的日志源无法看到攻击的全貌,而只能看到完整攻击的一个片段,不进行关联,就无法把大量的片段组合起来完成全景拼图。在实际使用场景中,就是用户经常淹没在多个设备频繁告警中,无法通过智能手段将这些告警集中并进行关联处理。

这与真实的警察破案难度不相上下。

你需要一面“线索墙”:事件关联

事件关联是一类用于对数以百计的设备中产生的数以百万计的日志进行分析以发现难以捉摸的攻击模式的技术。我们在奇安信NGSOC产品中引入了分布式流式关联分析引擎Sabre,其目的利用关联分析技术来解决安全运营的难题。

这里的事件一般分为简单事件和复杂事件两种,简单事件一般指数据源产生的原始数据,复杂事件则指简单事件经分析后产生的高级事件。

举个例子:房间内部放置着若干个温度传感器,那么这些传感器会不停地产生一系列的事件,一般是类似“某时刻房间温度为xx度”,很明显这类事件是简单事件,这类简单事件经过事件关联分析后会产生更为复杂的事件,例如“房间温度已经持续30分钟上升,接近火警警戒线”,这种就是简单事件经过分析后生成复杂事件的典型例子。

当然,用于事件关联的技术多种多样,可以从两个典型维度(输出事件复杂程度和事件处理速度)区分以下四种技术的应用范围:

1.传统商务智能技术(简写为BI技术),以人类速度(秒级)输出复杂事件(业务分析人员借助视图等工具从数据中分析并做出商业决策等)。

2.复杂事件处理,CEP技术,用于实时或准实时分析简单事件以输出复杂事件的主要技术。

3.关系型数据库技术,以人类速度(秒级)处理简单事件,由于数据库本身仅提供对原始数据的存储和查询,其输出也是简单事件。

4.消息队列技术,主要用于消息路由,速度实时或准实时。

神探都需要水库级的脑洞:大数据场景下CEP关联分析要解决哪些问题?

综合考虑,Sabre选择了CEP,也就是复杂事件处理。那为什么是CEP呢?

打个比方,数据库技术就像是个“水库”,先将数据存储,再在数据库中进行查询和处理,但这种数据库技术只能处理亿级数据,且查询速度在分钟级。不夸张地说,做一次数据查询,可以抽根烟再回来看结果。而CEP技术是把千亿级数据,直接发送到查询中,随着数据的流动实时获取、分析,实时提交处理结果,查询速度达到秒级,大大提升安全分析和响应的速度和效率。

在CEP之上,Sabre还重点解决了三个问题:

首先是计算框架的选择。基于计算框架做开发可以确保我们聚焦关注点在业务问题上。目前流式计算框架的选择余地不是太多,经过几年的竞争,多个计算框架已经退出,目前仅剩下两个主要的计算框架能够在这个领域继续竞争,Spark或Flink,我们选择了Flink,主要原因是其在国内的发展势头非常好,互联网公司用得也比较多。

其次是对业务逻辑的拆分,使其可以分布式。关联引擎的业务是比较复杂的,因为关联本身就是反分布式的,这使得传统的早期关联引擎都是单体模式,适合在单机上运行,即使是后来迁移到分布式,也只是采用规则分离的方法来局部达到可扩展性。现代的分布式可扩展架构一般采用完全的计算分布式,将计算分解为DAG图,然后根据图的特性来让某些节点并行化,Sabre就采用这种方法来使得逻辑上可分解可分布式。

第三是计算任务的生命周期。Sabre依赖于流式计算框架,流式计算框架会帮助完成计算任务的全生命周期管理,包括计算任务的创建,监控和回收,这可以有效减少业务引擎的代码量,使开发更聚焦于业务代码。

破案的关键: “探”

接下来,进入了破案的关键环节:“探”,神探之所以神,除了有清奇的脑回路,还要有强大的破案工具——分布式关联分析引擎Sabre:

全量数据的接入——为了保证分析结果的准确性,尽可能多类型的数据是基本前提。支持接入各种类型和维度的数据,如多源异构日志、漏洞、资产信息、威胁情报以及自定义对象内容,并支持对输出结果进行回注分析。它提供5类计算单元:日志过滤、日志连接、聚类统计、阈值比较和序列分析,可通过组合计算单元来实现自定义威胁事件发现规则。提供丰富的语义,包含统计、基线、关联和序列等,以覆盖各类安全场景的威胁建模和发现。关联分析引擎的业务逻辑如下图所示:

建模更简单——在过去,从遇到问题、分析原理、寻找并确定解决方法到编程开发、测试上线是个长周期且耗时耗力的工程,而我们希望可以借助Sabre,通过类似VISIO界面的操作,进行规则配置,灵活易用。Sabre本身具备规则监测能力,可对配置的规则进行快速精准验证。Sabre中预置150+条规则,将专业的安全运营经验不断通过规则更新传递给用户。


集群更可靠——分析引擎的分布式扩展能力一直是关注的重点,在用户规模从小变大的过程中如何适应不断增长的数据分析诉求是设计的关键要素。Sabre基于流处理框架分析引擎,支持对流数据进行实时关联分析。

性能更强劲——Sabre具备横向分布式扩展能力,性能可从单台3W+EPS向扩展至数十台集群规模,每秒可以处理高达10万条安全事件,而且支持弹性业务扩展。因此,客户可以专注于安全建模精准发现潜在威胁,无需担心计算性能的瓶颈。


责任编辑:徐恒
相关链接

首届世界显示产业大会

作为工业和信息化部、中国国际贸易促进委员会、安徽省人民政府联合主办的第十三届中国(合肥)国际家用电器暨消费电子博览会的重要板块,首届世界显示产业大会于11月22日在合肥开幕。

2019世界VR产业大会

10月19日,由工业和信息化部和江西省人民政府联合主办的2019世界VR产业大会在南昌隆重开幕。开幕式上,中共中央政治局委员、国务院副总理刘鹤发表重要讲话。

第二届全球IC企业家大会暨第十七届中国国际半导体博览会

9月3日,由工业和信息化部、上海市人民政府指导,中国半导体行业协会、中国电子信息产业发展研究院主办的第二届全球IC企业家大会暨第十七届中国国际半导体博览会在上海开幕

2019世界VR产业大会新闻发布会

6月20日,工业和信息化部、江西省人民政府在北京联合召开新闻发布会,介绍2019世界VR产业大会有关情况及筹备工作进展。

第十一届中国中部投资贸易博览会电子信息产业发展论坛

5月19日,第十一届中国中部投资贸易博览会电子信息产业发展论坛在江西南昌召开。南昌市人民政府副市长杨文斌、江西省工信厅副厅长王亦斌出席并致辞。

2019世界超高清视频产业发展大会

5月9日,2019 世界超高清视频(4K/8K)产业发展大会在广州召开。大会由工业和信息化部、国家广播电视总局、中央广播电视总台、广东省人民政府共同主办。工业和信息化部部长苗圩出席大会并致辞。

第七届中国电子信息博览会

本次峰会主题是“创新驱动发展 智慧赋能未来”,将邀请政府行业主管部门、国内外著名专家学者和企业家发表主题演讲,深入探讨产业创新发展新模式、新动能、新路径,推动电子信息产业高质量发展。...

首届全球IC企业家大会

12月11日,由工业和信息化部、上海市人民政府指导,中国半导体行业协会、中国电子信息产业发展研究院主办,北京赛迪会展有限公司、中国电子报社、上海市集成电路行业协会承办的“首届全球IC企业家大会暨第十六届中国国际...

2018世界VR产业大会

10月19日,2018世界VR产业大会在南昌盛大开幕。开幕式上,全国政协副主席卢展工宣读国家主席习近平贺信,工业和信息化部部长苗圩,江西省委书记刘奇,江西省委常委、南昌市委书记殷美根分别致辞。

第二届中国虚拟现实创新创业大赛启动...

8月20日,在中国创新创业大赛组委会办公室指导下,由虚拟现实产业联盟、国科创新创业投资有限公司共同举办的第二届中国虚拟现实创新创业大赛启动新闻发布会在北京举行。

2018年上半年家电网购分析报告发布会

8月2日,工业和信息化部赛迪研究院、中国电子报社在北京发布了《2018年上半年家电网购分析报告》(以下简称《家电网购报告》)。报告显示,2018年上半年,我国B2C家电网购市场(含移动终端)规模达2641亿元...

2018制造业“双创”高峰论坛

6月22日,2018制造业“双创”高峰论坛在北京举办。本次论坛由中国电子信息产业发展研究院、中国制造企业双创发展联盟和中国软件行业协会工业互联网分会主办,中国电子报社、北京云道智造科技有限公司和中国船舶工...

2018世界VR产业大会新闻发布会

5月21日,记者从在北京人民大会堂召开的2018世界VR产业大会新闻发布会上获悉,由工业和信息化部、江西省人民政府共同主办,中国电子信息产业发展研究院、江西省工业和信息化委员会、南昌市人民政府、虚拟现实产业...

聚焦2020年全国两会

2020年全国两会即中华人民共和国第十三届全国人民代表大会第三次会议和中国人民政治协商会议第十三届全国委员会第三次会议。...

2020年第一季度中国家电市场报告

4月27日,中国电子信息产业发展研究院发布了《2020年第一季度中国家电市场报告》(以下简称《报告》)。《报告》显示,2020年第一季度,我国家电市场在抗击新冠肺炎疫情中奋力前行,零售额规模达1204...

“新基建 新动能 新增长”系列报道

中国电子报从2020年3月开始,特别策划推出“新基建新动力新增长”大型专题报道和系列推介活动,详细报道新基建在激发市场主体活力、增强发展动能、促进经济增长等方面的重要作用,权威推介在推动新基建进程中发...

2019年中国家电市场报告

2月28日,中国电子信息产业发展研究院发布了《2019年中国家电市场报告》(以下简称《报告》)。《报告》显示,2019年,我国家电市场零售额规模达到8910亿元,显示出较强的韧性,高端产品和农村市场大...

众志成城,战胜疫情

此时此刻,全国众志成城,抗击疫情。信息技术在这次抗击疫情战役中在很多方面都发挥着极其重要作用。今天,信息技术已经成为社会基础设施,互联网的发展深度融入到经济发展与人民生活的方方面面,为我们防控疫情创造...

《小电开箱》第二期,和小编一起喊话智能加湿器吧

《小电开箱》是中国电子报短视频团队最新推出的系列评测类栏目,以记者亲身体验,和广大观众一起感受新款消费电子产品的魅力(以及问题)...

1分钟看懂轨道交通“新基建”

经过近些年的发展,中国已迈入城市轨道交通大国的行列,北京、上海等大城市的城市轨道交通建设在世界上处于遥遥领先的地位。根据国际公共交通联合会(UITP)统计简报,...

1分钟看懂特高压“新基建”

如果说5000亿元太笼统,那么可以聚焦2月28日开工的陕北-湖北±800千伏特高压直流工程。作为国家电网公司今年新开工的首个特高压工程,其总投资金额185亿元,...

友情链接
关于我们 | 联系我们 | 广告服务
电子信息产业网LOGO