IT运维专家题库与考试系统建设技术方案.docx

《IT运维专家题库与考试系统建设技术方案.docx》由会员分享，可在线阅读，更多相关《IT运维专家题库与考试系统建设技术方案.docx（55页珍藏版）》请在第一文库网上搜索。

1、IT运维专家题库与考试系统建设技术方案目录1项目技术方案31.1 服务总体理解31.1.1 项目背景介绍31.1.2 项目服务目标31.1.3 项目服务原则31.2 项目建设需求31.2.1 总体建设内容31.2.2 功能建设需求51.2.2.1 试题自动获取51.2.2.2 试题解析51.2.2.3 智能试题归档及分类61.2.3 项目服务需求61.3 技术实现方案61.3.1 互联网试题获取方案61.3.1.1 页面解析61.3.1.2 页面剔重下载131.3.1.3 文件下载181.3.1.4 信息归档221.3.2 试题文档转换方案231.3.3 试题解析方案251.3.3.1 试题语

2、义解析261.3.4 智能试题分类方案331.3.5 试题归档方案342项目服务方案382.1 项目服务期限382.2 项目服务计划382.3 服务支撑体系392.3.1 服务实施支撑392.3.1.1 故障修复服务392.3.1.2 系统巡检服务432.3.1.3 版本管理和软件补丁服务442.3.1.4 辅助故障定位服务452.3.1.5 技术资料服务452.3.1.6 技术支持服务452.3.2 服务流程支撑462.3.2.1 服务方式462.3.2.2 问题优先级462.3.2.3 服务响应472.3.2.4 每月的总结482.3.2.5 服务流程492.3.3 服务团队支撑492.3

3、.3.1 人员备份机制492.4 质量控制能力502.5 项目服务考核512.6 信息安全保密581项目技术方案1.1 服务总体理解1.1.1 项目背景介绍根据集团公司运维专家平台智能化提升项目的建设需求，为提高运维专家平台的自动化、智能化的水平和能力，需建设运维专家试题库能力，实现试题采集、试题答案解析、试题智能分类功能。1.1.2 项目服务目标本次项目将针对运维专家平台试题库功能进行增强开发，切实提高系统自动化、智能化水平，具体包括：1、针对题库依赖人工整理收集和分类，流程繁琐且耗时耗力的现状，试题库系统的建设预期可以极大提升试题获取的效率，同时自动进行分类整理。2、针对试题答案匹配率低的

4、问题，通过模型算法实现自动化答案匹配。3、试题库系统上线后，可以显著提升试题量并有助于题库分类标准化。4、可为其他类似功能的系统开发建设作技术支撑。1.1.3 项目服务原则本次项目的解决方案需需符合科学性，研究方案合理有效，具备创新性。1.2 项目建设需求1.2.1 总体建设内容本系统功能的目标是结合互联网采集，自动答案匹配，智能文本识别能力，打造完整运维专家题库。本功能主要研究内容包括：1通过开发自动化采集工具和人工结合的方式批量获取多个网络平台海量试题数据。2）通过开发解析模块，将试题与答案进行一匹配，同步提供试题可靠性评估数据，为后续选题提供依据。3）通过开发智能试题分类算法，将从各来源

5、获取的试题按照主机、数据库、存储、网络等运维专业进行分类存储。运维专家试题库需包括以下试题类别：专业大类专业小类基础设施类主机及操作系统管理网络接入及管理存储及备份机房动力及环境平台组件类虚拟化技术容器化技术数据库类中间件类分布式架构类业务服务类业务质量管理业务连续性管理私有云运营管理流程管理类DeVoPS类监控技术类测试验收类发布变更类运维工具及研发类智能分析类数据处理类数据仓库类训练学习平台类A1算法类1.2.2功能建设需求1.2.2.1 试题自动获取试题采集功能采用互联网自动采集方法，自动批量获取试题，并获取试题文件，内容包括：1 .针对试题列表页面，下载页面，答案页面，进行自动数据采集

6、。2 .支持定期数据采集，例如每月、每季度数据采集更新。3 .部分高质量题目稀缺性高，质量高网站进行人工采集。12.2.2试题解析针对采集的试题进行解析，各试题与答案进行一匹配同步提供试题可靠性评估数据，为后续选题提供依据，包括以下内容：1 .离线文档编码格式预处理，包括文字编码转化及文档格式转换，支持PDF、word,txt多种格式转换。2 .试题与答案匹配：支持多种文件排版的解析，并将试题与答案进行准确匹配。3 .试题与答案匹配率评估：针对试题答案匹配结果进行数据评估，找出无法匹配答案，或答案匹配错误的情况。1.2.2.3智能试题归档及分类通过开发智能试题分类算法，将从各来源获取的试题按照

7、主机、数据库、存储、网络等运维专业进行分类存储。1 .提取试题中的特征词，建立试题的知识点与分类字典，用于试题知识点归类及试题分类。2 .采用分词算法，对试题进行分词并构建试题的词频矩阵3 .采用合适的算法，实现试题与分类字典相似度统计4 .确认试题分类。1.2.3项目服务需求,配备专业的技术团队支撑服务，必要时需提供现场服务支撑；,提供7*24小时服务支撑；,积极做好试题库的质量校验，保障试题可用性和质量要求。1.3技术实现方案1.3.1互联网试题获取方案针对公开的互联网信息，提供完整高效的信息获取方案，方案包括页面解析、页面剔重下载、文件下载、归档等。Beautifu1Soup介绍Beau

8、tifu1SOUP提供一些简单的、PythOn式的用来处理导航、搜索、修改分析树等功能。特点 简单：它是一个工具箱，通过解析文档为用户提供需要抓取的数据 Beautifu1Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。Beautifu1Soup的安装 安装pip（如果需要）：sudoeasy_insta11pip 安装Beautifu1Soup:sudopipinsta11beautifu1soup4示例本示例是抓取某公司的投资列表页面，页面如下图:1600ry.】68开标168开M个人消费货集合个人经营货集合个人消费货集合个人消费货集合171214-117I2

9、1463.42万/6172万MO*/1270万2.68三八4而万5619,529.5%1210.5%3610.0%188.5%6妁定利率海化IU1自IWR（月I妁建利率I年化jIe目网取月）睡利率海化IIfi目明归）妁定利电年化IIfi目照限出）个人消费贷集合车辆周转贷集合个人消费贷集合个人消费贷集合171214*16171214-16171214-1617121-Ma*I-次还本忖|期|匹*|9*yj0%OQo万/888万0%QOO万/412.81万0%OQO万/Q02万Si08万/51.02万7.5%37.5%27.5%26.5%1约定到年化IIA日IMt月I的定利则年化I约定种叫年化II

10、f1目RW病）的定利则年化）Q9W（Hi个人消费贷集合个人消费货集合个人经营货集合个人消费贷集合171214*15I7I2A*ISI2141SI712*IIH1本金IIw)IM完成,金MOJOe万2125万,创RQa万都U.95B7.5%27.5%310.5%2410.5%36妁定利峋年化I18目磔!（月I妁定利眄年化IIB目穗（月）妁建利典年化IIfi目解B（R1妁定利期年化JIa日期即月）确定获取数据范围本示例是获取项目列表，打开Chrome的调试栏，找到对应的位置，如下图：:beforedivC1aSSrow-$0:!before父容器VdiVc1ass=invest-item-tit1

11、e-.-.-.-VdiVc1ass=,span3-:after:after导包importsysimportjsonimportur11ib2asHttpUti1simportur11ibasUr1Uti1sfrombs4importBeautifu1Soup获取页面信息(分页)defgethtm1(page):获取指定页码的网页数据ur1=,https:/box.xcategory:,rate:,jrange,:,ipage:page)data=Ur1Uti1s.ur1encode(va1ues)#使用Debug1oghttphand1er=HttpUti1s.HTTPHand1er(deb

12、ug1eve1=1)httpshand1er=HttpUti1s.HTTPSHand1er(debug1eve1=1)opener=HttpUti1s.bui1d_opener(httphand1erhttpshand1er)HttpUti1s.insta11_opener(opener)request=HttpUti1s.Request(ur1+,?,+data)request.get_method=1ambda:,GET,try:response=HttpUti1s.ur1open(requestjtimeout=10)exceptHttpUti1s.UR1Errorjerr:ifhasattr(err,code):printerr.codeifhasattr(er