基于大数据的安防体系建设研究和实践.docx

《基于大数据的安防体系建设研究和实践.docx》由会员分享，可在线阅读，更多相关《基于大数据的安防体系建设研究和实践.docx（22页珍藏版）》请在第一文库网上搜索。

1、基于大数据的安防体系建设研究和实践摘要随着大数据、人工智能和云计算等信息技术的发展，安全防护形势也越来越严峻，IT架构和服务模式不断发生变化，传统的安防体系面临着诸多问题。在继承传统的安全防护体系的基础上，提出了将大数据相关技术融入到安防体系中，并从数据接入层面、数据融合分析层面、数据服务层面出发，通过大数据等技术手段构建了安全数据中台，完善了安全防护技术体系。实践证明，该体系在结构上能够有效弥补传统安全防护架构的不足。目录摘要1目录1前言21 .安防体系设计思路22 .安防体系架构41. 1.安全大数据平台架构42. 2.安防体系数据架构52. 2. 1.数据采集层63. 2.2.数据计算层

2、74. 2. 3.数据服务层75. 2. 4.数据应用层73.数据安全中台实践73.1. 安全数据治理平台73. 2.安全大数据湖93. 3.安全数据分析平台103. 4.安全数据服务共享平台123. 4. 1.资源目录与元数据管理123. 4. 2.数据使用123. 4. 3.数据服务管理123. 4. 4.服务控制133. 4. 5.调度管理133. 4. 6.运行监控133. 4. 7.统一运维维护136. 4. 8.数据统计分析与展示134 .实例：基于大数据建设智慧安防实践与思考141. 1.深入认识建设智慧安防的时代意义和科学内涵144. 2.积极借鉴大数据智能化的实践成果155.

3、 3.准确把握智慧安防建设的关键环节156. 4.持续推动智慧安防建设的创新发展165 .结语18刖百传统的安防体系实现了终端、网络设备、安防设备和应用系统的统一纳管，但随着云计算、大数据等新技术的发展，IT架构和服务模式不断发生变化，传统的安防体系如今面临着诸多问题：核心软硬件基础设施中存在多种安全漏洞，网络设备预制后门也层出不穷；安防设备呈现“孤岛化”，各自为战；各类安全告警事件，数据量大、误报率高；各类攻击日益工具化、自动化、组织化，等等。传统网络安全防护体系以被动响应为主，缺乏对抗能力和相互关联的分析能力，导致安全预判能力不足。此外，传统的安防体系的安全防护重点大多集中在修补漏洞和加固

4、安全基础设施，但这种纯粹的静态防御措施无法阻止黑客的蓄意攻击，更无法阻止漫无目的的随机性攻击。在此背景下，本文提出了一种基于大数据的安全防护体系建设思路。在具体实践的过程中，先通过数据采集、汇聚、清洗、转换、加工、存储、治理等流程，利用大数据的技术手段与方法，构建安全数据中台，包括安全数据中台和安全资源中台。然后，通过数据挖掘与融合关联分析，来实时感知网络安全运行状况和安全态势，预测可能要发生的攻击，监测和发现正在发生的攻击，一旦发现攻击就自动响应，协同分布在网络中的网络安全设备和软件对攻击进行处置，支撑应急响应指挥。1 .安防体系设计思路近年来，业界已经提出了多种大数据安防体系建设思路，但目

5、前，仍然处于不断地丰富和完善的阶段。研究发现，大部分安防体系设计思路主要围绕以下4点展开：(1)安全资源：安全策略的执行主体，对接信息通信技术(Information and CommunicationsTechnology, ICT)环境资源并提供策略执行的结果信息反馈。(2)安全资源管控系统：决策指令(安全策略)的执行传达者，通过对安全资源的能力调度及策略下发，实现“风险可控”。(3)安全信息感知系统：接收安全资源的数据，提供决策依据和决策执行的反馈信息，实现“风险可知”。（4）安全运营决策系统：基于安全信息，通过安全运行进行安全决策，实现组织安全目标“风险可管”。针对大数据安防体系设计思

6、路分析，何健等人提出了构建适用于大数据环境的、立体动态的多层次安全防护体系；刘晓军等人从剖析大数据通用技术架构入手，总结了数据处理的相关流程，分析和对比了数据中台并总结了其适用范围和优缺点，最后聚焦多级架构模式下数据安全融合技术问题，提出了相应的解决办法；张翠翠等人 提出了基于数据中台的数据安全分级防护方案，给出了数据中台“零信任”安全防护总体架构；赖新等人构建了基于云计算用户层、数据传输层和云计算服务层的数据安全防护体系。经过汇总整理，本文给出了安防体系的参考框架，如图1所示。安全目标完整性V）（可hh ）（保 ）（ 安全）（可信）（合规）（隐私保护）应m场的:传统IT安全）（云安全 ）:移

7、动安） （物嵌网安全技术支掠体系安全标淮埋枪及M度安个管理中心人数抠分析平台网络纵深安全防御体系安全成熟阶段 （嬷构安全俄动防梆）（主动防御）（或成情报）（进攻反制）安全堆慢 （终端安全）（边界安全）（网络安全）（应用安全）（数捉安全）情报知出库安全服务体系安全运营体系安全机构与人员实验体系图1安防体系参考框架安全管理体系由图1可以看出，基于大数据的安全防护体系建设理念包括以下几点：(1)智能感知系统：由安防设备、网络设备、物联网(Internet of Things, IoT)设备等构成，采集与网络安全相关的数据和信息，就像人类的眼睛、耳朵、鼻子，源源不断地把脱敏后的安全数据传输到“安全大脑

8、”，由“安全大脑”进行智能的分析和决策。(2)大数据湖：存储网络安全大数据的平台，相当于人的记忆中枢。(3)安全知识体系：包括各种威胁情报、安全资源库、安全分析模型等等，是用于检测、识别、分析、溯源各类网络安全威胁的知识库。(4)智能分析系统：采用人工智能、数据挖掘、可视化计算等一系列分析技术，实现对安全威胁的分析研判和处置。(5)智能学习系统：具备自我学习、自我演进的能力，实现对新的网络安全威胁、攻击方法等的识别功能。(6)人机智能交互辅助决策系统：利用安全专家经验，通过智能人机交互方式，实现对安全威胁检测、分析、溯源等的辅助决策。2 .安防体系架构2.1. 安全大数据平台架构在参考了上述关

9、于安防建设体系的设计思路与建设理念后，结合实践特性，本文有针对性地提出了安全大数据平台的体系架构，如图2所示。该体系架构从逻辑层次上划分为安全底座、安全中台、服务总线、安全应用4个层次。总体而言，安全大数据平台架构可概括为“一脑双核，四轮驱动”，具体由安全数据中台、安全资源中台、数据治理、安全事件、国家标准和技术协会(National Institute of Standards andTechnology, NIST)的网络安全框架(Cyber Security Framework, CSF)数据驱动6个部分组成。其中“一脑双核”是指以安全数据中台和安全资源中台为核心构建的智能感知控制体系：

10、数据中台提供安全数据采集、处理、分析、组织和集成的通道；资源中台则是以数据中台为基础，为各种安全应用提供数据基础服务能力。智能感知控制体系以资产为核心构建，不断流动的安全事件经过安全大脑分析判断之后反馈给安全管控平台，通过策略管控手段作用到资产上，形成了管理与控制的通道。“四轮驱动”是指以数据治理为手段，以安全事件为中心，以NIST的CSF为指导，以场景化驱动丰富的安全应用：数据治理是指构建安全事件主数据体系，如资产、病毒、漏洞、行为、威胁情报库、安全资源库等；以安全事件为中心，持续动态检测和响应，在所有感知层收集的数据进入事件中心后，在策略管控下，在安全主数据、威胁库和安全知识库指引下进行实

11、时或离线处理，响应系统会做出各种符合相应场景的响应；以NISTCSF框架为指导，构建资源中台，对外提供包括识别、保护、检测、响应、恢复在内的完整的安全能力和功能的输出；以数据驱动丰富的安全应用，通过各类安全应用融合联动，促使安全从原来的被动、割裂走向融合、场景化且能够统一管理。由此可以看出，安全数据管控能力的集中性，多种应用场景的适应性，以及支撑业务发展的可持续性是该架构的核心思路。数据通道安全中台安全底座安全达营中心安全态势将知）（安全风险（安全策略管理）实体安全应用子系统（安全态势）（应急响应）（分析验证）（策略管控）R全管控）（攻防演练）（）信息服务总线能力服务总线安全数据中介3分随嬲圜

12、随安全应用服务圜.麴窿数据分析相吃）圜数据总集制SD解）US安全资源中台（服务实例生命命期史理）（服务接口:能力服务 -/能力服务执行主体）安全资源控制霹砥舞）卜据底座:传轴支冠（计算支撑）（存储支撑）资源底座回（平启管理）但金控勾图2安全大数据平台架构2. 2.安防体系数据架构在本文建立了安全大数据平台后，安全防护问题实质上就演变成了数据问题，如何采集、计算、存储、融合分析数据，直至挖掘出安全威胁是整个安防体系需要考虑的核心问题。如图3所示，安全大数据平台的数据架构在设计上与安全大数据平台的体系架构类似，主要由数据采集层、数据计算层、数据服务层和数据应用层4部分构成。第15页共18页图3安全

13、大数据平台数据架构2. 2. 1.数据采集层数据采集层利用大数据技术收集网络安全信息。从业务类型来划分，接入的数据主要包括安防应用系统埋点日志类数据、流量类数据、安全资源类数据、安全知识情报类数据和安全告警类数据等。数据抽取工具和自定义程序实现对数据库、文本文件、流数据的接入。通过构建数据引接系统，支持多源异构数据接入，引入Kafka数据高速传输组件，能够实现流量削峰，建立高效数据传输通道，最大化数据吞吐率，实现数据高速采集传输，减少数据时延，满足对实时性要求更高的应用场景。2. 2. 2.数据计算层对于安全数据分析场景，数据处理需要实现流批一体化。从数据处理实时性来看，对一些时延性要求不高的

14、业务场景，一般采用批处理方式，而对于实时处理要求比较高的业务场景，较多采用流式处理引擎，其处理过程为：数据同步工具从业务系统库实时增量同步数据到Kafka；数据通过Kafka传输，经过消费同步到安全数据平台的数据湖中；另外数据经过实时计算引擎Flink处理后，直接推送到前端数据应用中，进行数据可视化展示。流式计算的具体处理流程如图4所示。图4流式计算处理过程本层引入离线和实时数仓。数据仓库设计采用分层的设计，这样设计的原因是对于海量安全数据，需要对数据进行组织规划，使其具有清晰的数据结构，方便数据有秩序地流转，并且在数据开发过程中，能够减少重复开发，统一数据口径。2. 2. 3.数据服务层经过

15、数据计算后，主要输出的数据服务能力包括数据资源目录服务、主数据服务、数据标准、数据共享服务、数据质量服务、数据血缘分析服务和元数据管理服务。每一类数据服务都由一组服务接口组成。2. 2. 4.数据应用层通过数据服务层打通各类安全数据与安全应用的通道，实现无缝衔接，以数据驱动安全业务发展。3.数据安全中台实践3.1. 安全数据治理平台早期安全应用系统的建设思路是围绕如何将业务it化，而数据只是这个过程中自然而然产生的结果，即IT化的“副产品”。随着数据处理技术(DataTechnology, DT)时代的到来，越来越多的企业认识到了数据资产的重要性以及数据驱动业务决策和产品智能两大方面的应用价值，其中数据治理是实现数据效能、数据驱动业务的关键步骤。数据接入引擎从多个业务源系统收集了很多数据，包括流量、病毒、漏洞等多种数据。分析发现，这些