数据库设计原则.docx

《数据库设计原则.docx》由会员分享，可在线阅读，更多相关《数据库设计原则.docx（5页珍藏版）》请在第一文库网上搜索。

1、数据库设计原则数据库设计将根据各应用系统数据的不同分类和特点及功能需求，并结合数据量，提出最适合自身业务系统的数据架构、应用架构和集成架构。数据库设计的原则是：1、以需求为导向，以数据为基础，即以满足数据的采集、审核、多角度查询处理为主，同时兼顾历史数据的清查整理。2、统一规划，分步实施。系统数据库体系建设内容有轻重缓急之分，各项建设任务互相管理、互相影响。如果不经详细规划而轻率进行，势必因各项资源配备不足而导致混乱甚至返工。因此，必须将各项建设任务理出头绪，找出其中的规律，按照科学合理的节奏分步骤进行，才能充分保证数据库建设的有效性。3、遵循标准，规范流程。统一规划下的分步实施必须有充分的标

2、准化基础作保障。否则各单项任务建设后的集成工作难以进行。对于流程、数据、应用技术的标准化工作，应该在系统建设前进行；各应用系统除了遵循硬件平台、网络平台的支撑标准外，还应严格遵守流程、数据、应用技术标准，以保证系统间结合的流畅。4、迭代法开发。采用迭代式的方法来开发和建设数据应用体系，即首先选择最核心的内容开发和部署一个满足最基本需求的功能原型。在原型的基础上根据反馈信息和业务的发展，不断总结经验，扩展数据源、不断丰富原型内容完善功能。(1)数据逻辑架构数据源IOe桑窗系统jo0t)-J0C(T*-XKCKDjo(*U-J06qjoc(r)_GUQ入(TitM)IGU1入(7fta:WhWT)

3、Hive321系发依据治安管理0寄短他平台。忠刑按平台0标净除网吧上网收金因内俵馆住宿出入境敷雷公安关注人员信息出行零就数再生活密蓼U会符蓼教育医疗福降也寿JKR蹙fitf6*(多个OradeJS)E1ast*cSech(全文检索)ODS原始声TiUn(Hbe)KuduMPPOB秋选等)IIGUI.入Mk9UR)I女am现网系SEI华为大国枳平台风控不线MYSQ1II事务H依樨I业务敷树I依据配线(IUfte)Srr*图3-3-1数据逻辑架构图主要流程说明：1、生产系统的数据接入数据中间缓存库。2、数据缓存库抽取数据到大数据平台的数据总线。3、数据入库到大数据平台的数据仓库。4、通过模型运算把

4、数据从数据仓库层同步数据事务型或者MPP(即大规模并行处理Massive1yPara11e1Processor)层的数据存储。5、风控系统从MPP层或者事务型数据库获取数据。子系统名称功能描述集成点备注各输入源为大数据平台提供输入数据源。对各输入源进行缓存，并规范各种数据源数据来源各个警种，请参考业务章节数据总线数据总线,接收从数据缓存库中发送上来的数据,并分享到大数据平台内部的数据处理程序，同时内部的计所有的数据接入或者大数据平台的数据交换都可以通过数据总线完成相应数据交换。子系统名称功能描述集成点备注算数据交换也通过此数据总线进行交换数据。支持高吞吐、高并发、多协议的数据交换。数据仓库（H

5、ive）大数据平台的离线数据仓库，可以存储海量的数据，同时通过离线式内存计算引擎对数据有序分层处理。主要分为ods（原始数据层），PDW（标准数据层），主题库（根据XXX五大主题），专题库（标签、模型）等。原始数据、标准数据、主题数据、专题数据会存储在华为的大数据云平台。事务型MPP数据存储对于应用的使用过程中，需要能快速查询出结果。此存储层就是为了提供存放计算后结果数据，并能依不同的数据类型,不同的数据冷热程度分库存储。在华为的大数据可以提供各种Hbase,Kudu,E1asticSearch等各种数据存储，为上层应用提供服务。风控子系统风控系统主要包括反恐维稳、防控指导、执法办案、指挥控制

6、、治安防控和态势分析、情报信息智能分析和多种公共应用。风控子系统基于华为的大数据平台之上。（2）数据库逻辑结构设计XXXXXXXX平台依据大数据技术架构进行设计，从上至下依次为业务应用、业务组件、应用引擎、公共服务、支撑平台、主题数据与专题数据等各种数据资源，相关标准规范、安全管理以及运维管理模块贯穿系统。至少应包含有以下几类数据库：1 .用户及权限数据库在实现指挥XXXXXXXX平台，分角色、部门、用户等内容建设用户及权限。2 .基础数据资源库基础数据资源库应通过抽取整合XXX内部数据形成，其中，手机数据从XXXXXXXX109联合侦查平台抽取，话单数据通过安全边界由xxxxxxxx技侦平台

7、抽取，阵控数据由XXXXXXXX阵地控制管理平台抽取，网吧数据由XXXXXXXX网吧安全管理系统抽取，旅馆数据XXXXXXXX旅馆业治安管理系统抽取，车辆数据由XXXXXXXX交通管理系统抽取，出行数据由XXXXXXXX情报管理系统抽取。数据均通过ET1方式从XXX内网传输到XXXXXXXX平台数据汇聚模块。根据源数据库的数据结构和存储方式确定数据同步方式，确保基础数据资源库数据与源头数据一致。3 .主题库建设依据XXX业务特性，按照人、案、物、地、组织重新组织，形成符合XXX业务特色的人员主题库，物品主题库、位置主题库、关系主题库、案件主题库等主题库资源。（1）人员主题库通过人员维度的抽象数

8、据模型，在基础资源库上对数据进行了进一步组织及分析，提取并重组形成人员主题库。人员主题库以身份证、护照等唯一标识人员身份的证件为主题类别，按照属性特点划分为基础信息、证件信息、社会经历、物品信息、组织信息等，分别用来表述现实人物的不同特性、特征。（2）案件主题库案件主题库以案件中涉及的案件编号、案件名称、案件类型、案情概要、涉案人员、涉案物品、涉案线索、时间等为关键要素，构建与案件相关的案件主题库。（3）物品主题库物品主题库主要包含车辆、手机（含SIM卡）、银行卡等物品档窠。具体涉及车牌号码、机动车序号、普通物品、其他物品、银行卡号等物品的对象档案库。（4）位置主题库位置主题库主要包含位置索引

9、、地理位置信息真实地档案。具体涉及服务场所编码、卡口、网吧、旅店、基站号BSID、家庭地址、单位地址、地点名称、城市名称等。(5)关系主题库提取并分析各种类型的数据关联关系基础，建立相应的关系主题库，系统建设的关系主题库包括户籍同户关系库、常口同户关系库、居住证同户关系库、手机通话通联关系库、手机短信通联关系库、同事关系库、亲友关系库、同住关系库、火车同行关系库、航班同行关系库、同网吧上网关系库、同旅店住宿关系库、同监关系库等。(3)数据库部署平台的数据存储在大数据中心机房设备上，由市局大数据中心提供共120T存储空间。(4)数据安全设计数据库的安全性将从以下几个方面进行考虑：1、数据存储安全每天增量备份数据，每周全量备份数据。建立同城异地备份机制。在条件允许时，建立远程异地容灾备份机制，提高抗风险能力。2、数据访问安全根据不同内容的数据，以及不同级别的用户设置不同的数据访问权限。特定的数据(例如个人住房信息等)只允许经过特别授权的用户进行访问，其他系统的数据根据角色不同设置授权，保证数据访问的安全性。3、数据传输安全在远程进行数据访问和流程报批的过程中。需要考虑数据远程传输的安全性,将通过数据压缩传输，加密传输等方法和措施，保证数据传输安全性。