征地档案数字识别研究与应用.docx

《征地档案数字识别研究与应用.docx》由会员分享，可在线阅读，更多相关《征地档案数字识别研究与应用.docx（13页珍藏版）》请在第一文库网上搜索。

1、龙之冠征地档案数字识别研究与应用摘要针对永州市经济技术开发区征地档案数据整理建库工作中界址点坐标电子数据缺失现象，当前主要通过人工识别档案资料并且将坐标数据抄录进入数据库的方式，但是存在工作效率低下、审核成本高等问题。为提高征地档案数据整理建库工作效率，本文基于TeSSeraCt训练机制，在此基础上开发程序实现征地红线图中界址点坐标的识别。实践结果表明该方法能够有效辅助征地档案数据整理建库工作，业务生产效率显著提升。Key征地档案；界址点坐标；数字识别；Tesseract-OCR：G270.7Abstract：Inviewoftheabsenceofe1ectronicdatain1andex

2、propriationarchivesdataco11ationanddatabaseconstructioninYongzhoueconomicandtechno1ogica1deve1opmentzone,itismain1ythroughmanua1identificationofarchiva1dataandtranscriptionofcoordinatedataintothedatabase,therearesomeprob1emssuchas1owefficiencyandhighauditcost.Inordertosimp1ifytheworkf1owof1andexprop

3、riationarchivesdataanddatabaseconstruction,Thispaperdeve1opsadatarecognitionprogramforidentifingthecoordinatesofboundarypointsin1andexpropriationred1inemapbasedonTesseract-OCRengine.Theexperimenta1resu1tsshowthatthemethodcaneffective1yassisttheco11ectionandconstructionof1andexpropriationarchivesdata

4、andimprovetheproductionefficiencyofthebusiness.Keywords：1andexpropriationarchives；boundarypointcoordinates；digita1recognition；tesseract-OCR界址点是征地范围界线的节点，它是标定征地范围界线以及权属关系的重要标志口。在征地档案数据整理建库工作中发现诸多征地红线图缺失配套的电子坐标数据，按照传统人工方法，手动将界址点坐标抄录进入EXCeI文件或文本文档，然后通过AutoCAD或者南方CASS读取坐标数据生成dwg文件，再导入ArCGIS中添加属性数据，最终以Sh

5、P文件格式存入服务器进行存档。但是实际工作量较大，其中需要进行抄录的界址点坐标数据数以万计，手动抄录数据人力成本巨大，随着项目量增加会徒增诸多问题包括数据遗漏、耗时费力、工作效率低下等2-5。为解决上述问题，本文基于GOOgIe开源OCR引擎TeSSeract,针对征地红线图纸实际情况，对于图纸褶皱、等高线压盖、无关注记干扰等关键的识别问题进行研究。基于TeSSeraet自带的训练学习机制得到征地数据样本字符库，加入自带的识别参考字符库，以此提高数据识别率。1数字识别研究纸质档案数字识别研究依托永州市经济技术开发区征地档案数据整理建库项目开展。由于参与项目的第三方测绘单位较多且相互协调困难，数

6、据整合过程中发现超过70%的档案只有界址点纸质数据而没有电子数据，存在大量电子坐标数据缺失现象。参照过往工作经验，需要通过人工识别抄录数据入库，过程费时耗力且效率低下、审核困难。Tesseract由HP公司发，目前成为Goog1e开源社区项目,是一个开源OCR引擎（Optica1CharacterRecognition,光学字符识别），可以基于引擎开发用于识别多种格式的图像文件并将其转换成文本6T0。目前OCR技术相对成熟，但是其与征地图纸相关测绘业务的结合很少，因为测绘业务对于数据精度要求极高、历史存档文件扫描效果差等现象。因此需要针对征地档案内界址点数据特征进行专门研究，通过对TeSSer

7、aet训练字符库来扩大识别范围，提高程序识别精度，弥补因不同纸质环境导致的识别效率不高等缺点。1.1研究思路本文技术流程分为四个模块：数据预处理、TeSSeraCt字符库训练、程序识别及质量控制。数据预处理包括对图纸数据部分进行数字化（扫描或拍照），图像裁剪、增强等操作;TeSSeraet字符库训练包括制作训练样本、生成BOX文件和tri文件、数据（字符）校正、定义字符库及traineddata文件；程序识别通过调用TeSSeraCt-OCR完成坐标识别；质量控制包括识别结果格式转换、数据去噪、建立质检规则库并且人工核对、精度分析等。图1为本文技术流程框架。1.2代码实现由于整个技术流程中有涉

8、及图像处理、TeSSeraCt训练、数字识别、格式转换等多个过程，代码量较大，因此在此附上关键环节代码：利用Python调用TeSSeraCt-0CR引擎（经过字符库训练改进），对图纸数据进行识别：2实验结果分析2.1 数据预处理利用高拍仪对图纸数据进行扫描拍照。如图2所示，该图为扫描件原始图片，通过图像处理工具对图片进行裁剪、二值化、亮度提升及图像锐化等操作，如图3所示，该图为数据处理后图片，通过对比可看出原始图片中的干扰因素基本去除。由于数据识别过程中同一项目的扫描件图片过多，容易导致没有唯一标识来区分识别得到的坐标数据，因此需要对将通过数据预处理之后的图片建立档案序号，如“2012-00

9、03号2012年永州市第八批次建设用地报批项目”中的征地红线坐标表图片标记为“2坐2-表03-001.jpg”至“2012-表03-017.jpg”，共计17张，识别结果输出序号为w2012-0003-001.txtw至2012-0003-017.txt。2.2 界址点数据识别Tesseract本身拥有丰富的字符库，但是对于特定测绘图纸环境下的的字符识别率难以保证，鉴于GOOgIe开放给用户自定义字符库的训练方法，以此来提高OCR引擎的识别效率。因此训练得到适用于征地档案纸质环境下的数字字符库尤为重要，这也是本文的工作重点11。2.3 2.1Tesseract训练字符库(1)训练初始化在对字符

10、库进行训练之前需要搭建字符库训练环境，本文采用Java8.0+JTessBoxEditor+FastStoneCapture的训练框架，实验硬件环境为Inte1-Corei7-6770m+NVIDIAGeforceGTX960+16GRAM,以JaVaSEDK8.0版本作为基础运行环境，jTessBoxEditor作为训练工具,FaStStoneCaPtUre作为字符样本采集工具。(2)训练样本采集字符库训练的首要环节是采集字符样本。通过FaStStoneCaPtUre按照50义80的矩阵窗口进行样本采集，以8种字体为基准采集了254组数据样本，建立各类字体下的训练数据集。样本合并图片如图4所

11、示：(3)生成BOX文件通过jTessBoxEditor将上述字符样本数据生成BOX文件。合成指令为：tesseract,exenum.font,exp.tifnum.font,expbatch,nochopmakeboxv12o生成的BoX文件为num.font,exp.box,BoX文件为Tesseract识别出的文字和坐标。(4)数据校正通过jTessBoxEditor的Bc)XEditor工具，导入生成的tif文件，工具自动标记数据并且写入在BoxCoordinates中。由于tif文件中存在噪点，导致下图中11个字符，被标记出14个字符，并且11个字符里面错误识别4个，通过手动更改进

12、行数据校正。数据字符校正操作如图5所示：(5)字体特征定义在训练样本所在目录下创建font_properties文件，定义样本的字体特征为“黑体00000”表示训练样本数据为黑体印刷，但不具备斜体、粗体及固定等特征13。针对特殊识别环境，图纸数据进行加粗的情况，则需要根据实际情况来定义字体特征，不然会影响识别率。(6)合成语言文件根据下述指令生成批处理文件并通过批处理操作合成语言文件num.traineddatao指令如图6所示：将合成的语言文件num.traineddata导入TeSSeraCt自带的字符库traindata文件夹中。在后续调用TeSSeraC1OCR工具的时候，引擎将会自动

13、将语言文件作为字符识别参考库。2.2.2调用Tesseract-OCR字符库训练完成之后，在AnaCOnda中利用Python调用TeSSeraCt-OCR,在调用之前需要引入PyteSSeraet库和PI1库用于辅助识别14T5。调用过程也可以在Cmd命令行中直接进行。2 .2.3数据识别这里以永州市经济技术开发区征地档案资料中的“2011-0003-凤凰园标准厂房（一期）项目”至“2015-0006-南甸路（零陵南路-猎豹路）项目”共计18本纸质档案资料中57个界址点坐标表（共计2283个坐标点数据）为识别对象，圈7为部分数据情况：因为拍摄环境及纸张完好程度不同，因此图纸数据的预处理也得参

14、照实际情况，本文预先人工将所有的图纸数据分为几类：易识别类、适中类、难识别类以及数据缺失类，后续分析不同OCR在识别复杂环境下的坐标数据的表现。通过数据预处理之后，以上图片处理结果如图8：将上述处理后图片导入识别程序中，依托训练好的字符库调用程序开展识别过程，针对易识别类图纸进行单次识别结果如图9：通过实验结果统计可以看出，对于易识别类图纸数据，本文识别方法数字识别率以及单次识别可用率均在92%以上。但是对于图纸褶皱严重导致数据缺失的图纸，在识别率上则表现一般，识别过程仍然存在不少问题：小数点识别效果不佳、存在乱码情况、部分数字因为字符结构相似存在混淆识别情况、数据有效数字超过正常范围等。后续

15、对识别结果进行规则库约束以及人工核对，从而完成质量控制。3 规则库与质量控制采用正则表达式技术，即用事先定义好的一些特定字符、及这些特定字符的组合组成一个“规则字符串“，并用其对目标字符串进行内容过滤。在数据整理过程中发现，界址点坐标数据具有相对固定的格式。（1）数据范围规范该项目中坐标数据基于WGS-84坐标系测量得出，因此坐标数据里面前几位为固定值“292”、“375”、“55/56”,因此输出数据在经过规则库匹配数据范围的时候，前几位数字与之匹配不上，则视为无效数据。永州市经开区实测数据范围里X坐标为10位有效数字，小数点后3位有效数字;Y坐标为9位有效数字，小数点后3位有效数字。（2）

16、格式转换将识别出来的数据进行批量格式转换，从txt文件写入exce1文件中，通过简单数据整合后可直接使用于后续的图形建库流程。（3）人工核对鉴于业主单位对征地坐标数据精准性的要求，因此在数据识别结果输出之后，需要通过人工质检成果来控制数据精确性，确保建库数据零错误。质检过程中发现数据有误，则通过人工修改记录并且做好标记，以方便为后续改进识别工具提供信息。4 识别效率对比分析本文将18本纸质档案资料中57个界址点坐标表（共计2283个坐标点数据）进行识别，采集194个坐标数据的识别结果将本文工具与百度OCR工具识别的效率进行横向对比。表1为本文基于TeSSeraCt-OCR改进的数字识别方法（以下简称“本文方法”）与百度商用OCR工具关于征地图纸数据的识别精度对比情况。因为图片环境的不同，所