地方电子口岸运维可视化应用研究.docx

《地方电子口岸运维可视化应用研究.docx》由会员分享，可在线阅读，更多相关《地方电子口岸运维可视化应用研究.docx（10页珍藏版）》请在第一文库网上搜索。

1、地方电子口岸运维可视化应用研究郑向平章溯 杨进彬 林宇彬业用体验数里展示实时数据图表组件页面设计发布管理全管理数据处理实时计算多维分析数据挖掘数据建模 数据分析数据抽取数据集成数据清洗数据转换数据预处理数霞储跨境电商数据服务器资源数据业务通道I/O状态用户引导数据接入人群需求使用场景困1地方电子口岸运维可视化应用设计架构摘 要：电子口岸是一个公众数据中心和数据交换平台，近年来随着国际贸易规模持续增长，新型贸易业态不断涌现，电子口岸数据交换量也在快速增长。在此基础上，地方电子口岸对运维服务的需求也进一步提高，在传统运维模式下，无法及时反映电子口岸运行状态。文章对地方电子口岸运维过程中面临的问题进

2、行了梳理，在分析问题的基础上提出地方电子口岸运维可视化应用架构和设计范例，对提升运维服务能力具有一定借鉴意义。Key：电子口岸；可视化；运维；应用：TP39 ： A： 2096-4706 (2021) 21-0133-03Abstract： E-port is a public data center and data exchange platform.In recent years, with the continuous growth of international tradescale, new trade formats are emerging, and the data exc

3、hange volumeof E-port is also growing rapidly. On this basis, the demand foroperation and maintenance services of local e-ports has also beenfurther improved. Under the traditional operation and maintenancemode, the operation status of E-ports cannot be reflected in time.This paper combs the problem

4、s faced in the process of local E-portoperation and maintenance, and puts forward the visualizationapplication architecture and design examples of local E-portoperation and maintenance on the basis of analyzing problems, whichhas a certain reference significance for improving the servicecapacity of

5、operation and maintenance.Keywords： E-port； visualization； operation and maintenance；application。引言霓子口岸是一个公众数据中心和数据交换平台，近年来随着经济全球化的发展，国际贸易规模持续增长，新型贸易业态不断涌现，电子口岸数据交换量也在快速增长。以某地为例，2020年报文数据交换量达到3亿6千万条，处理数据量达6.7 TB,整体业务量仍处于高速增长态势。在此基础上，地方电子口岸对运维服务的需求也进一步提高，在传统以“非可视化”的“以人为主”运维模式下，无法及时反映电子口岸运行状态，在资源调度、资源

6、利用、业务关联、排障清障、实时展示等方面存在薄弱环节，对各地电子口岸运维带来较大挑战。可视化是指将计算机数据信息转化为图形符号的表现形式，常被作为复杂数据的优化处理方法，重点服务于大数据下的数据分析呈现。对于承担了海量区域数据交换业务的地方电子口岸而言，可视化改造对于提升电子口岸运维服务能力意义重大。在地方电子口岸交换业务量日趋增长的形势下，面临越来越高的运维服务能力提升需要，亟须借助可视化改造提升电子口岸运维服务能力。1目前面临的问题地方电子口岸运维可视化应用在现阶段不够完善，尽管有一些应用研究和实际案例，但仍然在很大程度上存在局限性，局限性的产生源自各地实际情况的不同，比如有些地方数据交换

7、的业务量急剧增长，资源配置与业务增长不成比例，也源自各地电子口岸对于可视化功能的需求存在不一致的情况，总体而言地方电子口岸可视化设计研究相对较少且有较大优化和延伸空间。当前存在可优化的方面主要有以下几点。1.1 数据可视化服务能力不足系统可视化服务能力开发不够，导致数据交换处理性能有余，数据可视化服务能力不足，能够处理大规模数据交换业务，但无法实时呈现电子口岸整体运行状态，在及时获取数据交换通道、服务器资源、存储空间、数据库表空间状态等数据时存在短板，响应时间滞后无法及时发现数据通道拥堵、资源空间满或报文传输异常等现象。1.2 管理功能分散不集中系统运维管理功能分散在各硬件设备管理端，运维分析

8、、业务监控、配置管理、审计管理等功能分散于不同系统，各系统孤立存在无法形成管理闭环，无法提供标准化、统一化数据服务，整体管理过程烦琐而效率低下，间接提高了运维成本。1.3 缺乏用户需求导向现有运维体系下的可视化功能主要以各信息系统与功能门类为主要需求，未关注实际业务场景下平台用户的可视化需求，因此需要用户按照系统与功能逻辑进行学习，再分别进入各信息系统实现可视化展示，此一来不仅降低资源配置效率，还增加了用户学习成本。2可视化应用需求和设计架构2.1 可视化应用需求（1）提升可视化服务能力。从各环节收集业务运行状态、硬件设备情况、软件运行情况等原始数据，经过清洗、筛选、提炼、挖掘后进行统计分析汇

9、总，按照使用场景和功能区分进行分类呈现转化，以直观的方式扩大数据可视范围，以场景页面实现不同主题呈现，以数据挖掘提升可视化数据深度，进而提升整体可视化服务能力。（2）面向用户需求。关注实际业务场景下平台用户的可视化需求，将原本面向技术运维人员呈现的运维数据，转化为非专业运维人员可以理解的可视化业务图表及有关数据，按照用户需求、用户权限定制个性化使用场景，分为管理人员、运维人员、业务人员界面，为管理人员提供决策支撑，为运维人员提供机房服务器、存储、数据库等设备状态，为业务人员提供电子口岸跨境电商等业务实时状态，以实现不同可视化功能的分类呈现。2.2 可视化设计架构可视化平台可采用多层B/S结构的

10、方式进行设计，架构方面参考目前流行的kappa架构或者lambda架构模式，在数据接入层、用户引导层、数据处理层实现应用内部业务逻辑的构建，在数据展示层、应用体验层实现用户界面的呈现，此架构模式能够在控制成本的基础上实现一体化管理，把应用的业务逻辑与用户界面分开，为后期进一步完善应用开发建立基础框架。具体到各层级，通过接入企业申报的报文数据、服务器资源数据、交换平台业务通道数据等多个数据来源，在中间层进行数据清洗、数据转换、数据抽取、数据集成等预处理工作，同时结合用户需求和实际使用场景构建数据分析模型，进而在数据处理层进行数据多维分析、数据挖掘、实时计算，经过筛选分析的标准格式数据落地存储，并

11、通过数据展示层进行实时数据推送、图表组件选定、页面排列设计、信息发布管理，最终在应用体验层实现不同应用端的用户桌面呈现，地方电子口岸运维可视化应用设计架构如图1所示。3可视化应用设计1.1 数据接入层数据接入层是实现整体应用功能设计目的且引导设计方向的重要基础功能层，其主要功能是数据接入和用户引导，数据接入方面提供内部和外部数据接口，供源数据接入系统，用户引导方面获取用户需求和使用场景，引导最终的应用设计与用户需求相互对接。该层对接的数据源包括企业申报的报文数据、服务器资源数据、交换平台业务通道数据等多个数据来源，既有外部数据也有内部数据，外部数据可能来自不同节点不同系统不同数据库，其输出的数

12、据又可能面向不同用户身份和不同使用场景，因此对于数据兼容性有一定的要求。为此，在该层应用开发前期首先应详细梳理数据来源，构建系统元数据，对整体数据画像进行大概描述，勾勒数据从产生到消费的完整链路；其次，设计通用分类数据表单，建立初步的系统数据预处理逻辑，进而为下一层处理标准化、统一化的格式数据做好准备；最后，对内部、外部数据分别进行接口标准化开发,设计统一的数据通道。1.2 数据处理层数据处理层是进行数据分析的主要功能层，需要完成数据从来源端经过抽取、转换、加载至目的端的整体功能。该层可分为数据预处理层和数据分析层，通过构建实时与离线ETL功能，实施数据清洗、数据格式转换、数据补全、数据质量管

13、理等功能。数据处理层支持消息系统、文件系统等多种数据源，对于跨境电商此类标准格式报文，能够分析报文结构数据，提取指定字段，实现字段归类和批量组合检索等方式的统计分析功能，对于服务器、存储等消息系统为主的设备，能够实时提取设备状态信息，实现实时消息推送;支持多种算子，过滤、分割、转换、输出、查询数据源补全等算子能力；支持动态变更逻辑，可通过动态jar方式提交系统，做到不停服发布变更。1.3 数据展示层3. 3. 1大屏综合展示支持通过大屏显示技术和可视化的解决方案，支持多种类型的数据接口，从数据仓库中抽取出各种各样的数据，依据事先设定的应用逻辑，梳理出资源数据对应的使用逻辑关系，利用数据加工技术

14、和渲染技术进行可视化处理，依托可视化引擎，实现涉及相关指标数据的大屏幕的自动呈现。4. 3.2交互式呢b展示用户直接通过查询设计界面，在可视化界面中以交互方式构建查询，直接查询数据平台的数据。即席查询应满足业务人员自助式的、快速定制的查询需求。3. 3.3多维度的联机分析功能用于展示重要业务指标的统计数字和分析比较，使内外部的用户访问关键数据，可以从任意角度探察和分析任何形式组合的数据，快速识别使用其他分析方式无法发现的影响环境的因素，从而提高工作效率。3.4其他展示功能提供各种快速和高级查询功能，支持通过向导式查询，提供向导界面，通过选择查询字段、查询条件，快速完成数据查询过程;支持用户对即

15、席查询的结果进行灵活的排序、过滤、分组、小计、合计等高级功能，并选择要展现的方式，如表格、柱图、趋势图等；通过在界面上选择查询条件，可以快速地进行数据过滤，查看所需的数据。3. 5应用体验层结合可视化平台电子口岸运维监测的核心目标，将主题功能按照跨境电商（业务类）、电子口岸运行（管理类）、运维监控（技术类）进行布局板块划分，分别设定各自的核心信息反馈条件，使用简洁的功能布局和主题展示色调进行区分，使用对比度较高的色调进行区分，比如使用绿色、黄色、红色等，分别对应主题色、强调色和警示色。同时，在不用用户端进行不同针对性设计，针对手机、平板端进行适当美术优化，以提升不同用户端使用体验。3.6应用效果在短期效益方面，地方电子口岸通过运维可视化应用，可使运维工作的实时性和有效性大大提升，运维工作能根据不同业务特点而有所侧重。系统在高速处理业务的同时也能更加直观的展示系统运行情况、展示具有地方特色的数据信息，能在资源调度分配、业务监管、故障排查等方面提供快速的、直观的、具有指导意义