工业大数据分析文件输入与输出教学讲义.docx

《工业大数据分析文件输入与输出教学讲义.docx》由会员分享，可在线阅读，更多相关《工业大数据分析文件输入与输出教学讲义.docx（14页珍藏版）》请在第一文库网上搜索。

1、任务2.1文件输入与输出任务概述构建工业大数据分析处理模型的第一步就是从输入中选取相应的节点作为挖掘分析的数据源。该部分节点包括：文件输入、关系数据库输入、HIVE输入等。文件的输入输出是指将数据整理到CSV、EXCe1等文件格式里，通过平台将本地文件导入到平台中，通过一系列的数据处理，形成处理后的数据并在平台中落库存档。本任务中的案例使用的数据集是某水厂投药控制系统实时采集的数据信息，数据均为瞬时测量值，包括历史原水水质数据、原水流量数据、沉淀池浊度和混凝剂投加量（PAC耗）数据等，共6166个样本。数据文件：工业用水处理投药量数据.csv。数据集格式及属性字段说明：字段名称数据样例数据类型

2、字段描述时间2013/8/201:00字符型瞬时测水时间原水PH7.15数值型(DOUB1E)未处理水PH值原水浊度720.53数值型(DoUB1E)未处理水的浊度出水浊度0.78数值型(DoUB1E)沉淀池出水浊度取水量19560数值型（INT）原水的流速PAC耗0.27数值型(DOUB1E)混凝剂投加量，即PAC的消耗数据预览:,8*p201378/206007.15ax1.1S601382OB2OT(V7.122S811.1501012011/22&00M1OTtssao11101201W22G8八912929N15570120492611227M3M.1SOJt553011114M32

3、288八9W-570.7BM9011M4Mie23264827WdM5712OU2JM8ZTW10.7B5521MW234006M273SOTt5170107J620U1WM8CT4Og5W10142201W236O0648Z7-3JOTtSOM1214620U00M8m3，OW1126MW23ftOO64827A31237US.7620U2100M1055M35201W231t1C064117W皿5S00W24通过本任务的学习：(I)会通过大数据平台构建关系型数据源,如MySQ1数据源；(2)能够将本地数据文件导入大数据平台，能够通过大数据平台系统设置数据类型；(3)能够将上传到大数据的数据

4、或选择系统内的数据源和相应表，通过追加或者覆盖的方式输出到另一张表中。任务实现任务2.1.1创建MySQ1数据源创建MySQ1数据源的接口UR1格式如下：jdbc:mysq1:/:2characterEncoding-UTF-8useSS1-fa1SefeserverTimezone=UTC接口中参数定义：(1) host：数据库所在服务器的IP地址或主机名(2) port：端口号(3) sid：数据库名(4)其它参数：CharacterEncoding是当UseUnicode为true时的字符集编码useSS1为是否使用安全协议，server?imezone为时区步骤1：使用Navicat登

5、录大数据平台MySQ1服务器，创建数据库CCit.teaching,如图2-1-1所示。NavkatPremiumi收戴夹isfi9连接新建音询VKMo.74.141-云网岂久函数霞否询Qftid8et1Set12闫informationschemaiot-ana1ysissiot-ocyiotacxy-a1当iotda三mysq1目PeffOrmafWhemaSySIest111MySQ1Mv0表IIO.10.74.141-云网,Cdtteach1ng柒言隔口Z1图21-1创建数据库ccit_teaching步骤2：登录大数据平台应用实训室，使用“算法建模工具”下的“数据管理”功能，选择“关

6、系数据”，创建数据源，如图2-1-2所示。CA不安全Icas.cxycom:8090/back/hom.Sd叵具cxy_teacher001WTUfXnnttaAffififfiKiNS“IIMIMDaUAfMhMBffcRUbH(VeJdbChWMIO.10.741”:IooOOeM图2-1-2创建MySQ1数据源步骤3：打开编辑数据源窗口，输入数据源名称“MySQ1数据源-CCit.teaching，设置UR1地址、MySQ1服务器访问端口、访问数据库，设置用户名和密码等参数，单击“测试连接。若数据库能正常访问，则显示“数据源测试成功”，单击“完成”，完成MySQ1数据源的创建。操作如图2

7、-1-3所示。编辑数据源描述UR1:/算法建模较学数据源，mysq1数据库为CC1teaChing.I应用于模型数据源jdbmysq1:/木0.10.74.1413306ccitJeaChirICharaCterEnCOding=UTG用户名root最大连接数1000（渊）空闲回收时间测试连接图2-1-3编辑Mysq1数据源步骤4：对创建的MySQ1数据源授权，选择“数据权限”功能，对“组织机构”、“角色”或“组”进行授权，本案例中选择“组织机构常信院演示二班”,数据源选择“MySQ1数据源-CCiJteaChing”，将数据源筛选到“已选择区”，单击“保存”完成数据源授权。操作如图2-1-4

8、所示。图2-1-4数据源授权文件输入节点支持从txt、exce1csv文件获取数据作为数据挖掘分析的数据源。文件输入我的挖痛11138国可七分析侬挖掘分析单元2-知识点zzr我的挖电I11图2-1-5文件输入节点文件输入操作步骤如下：步骤1：用户登录算法建模工具产品，打开“数据分析”，打开或新建“挖掘分析”模型后，如图2-1-6所示。百工亚大款提处理分Hi应用实训皇CC1TIfM1wstriaIBigDataProcessAna1ysisandApp4kato1dbIII第斑槿x意去首页g数据投人工5Siftx合用户宜理触列表图2-1-6挖掘分析模型新建挖掘分析模型，打开建模界面，如图2-1-

9、7所示。最左侧是功能菜单;靠近功能菜单的是算法节点目录，提供建模用的各种算子；右侧大块区域是建模区，通过从算法节点目录中把算子拖拽到建模区，并连接算子实现算法模型构建。步骤2：在界面左侧菜单”数据管理一输入”菜单下，将“文件输入”节点拖至右侧设计区，如图2-1-8所示图2-1-8文件输入步骤3：双击打开文件输入界面，上传文件，如图2-1-9所示:文件上传全部I数据内容数据结构分区记录条数10(XXX)点击查看功能说明确定取消图2-1-9文件输入界面点击“文件上传”按钮，选择待上传的文件“工业用水处理投药量数据.csv”点击打开,如图2TT0所示。图2-1-10文件上传系统将弹出读取配置窗口，如

10、图所示，完成文件读取配置。图2TT1文件上传-读取配置点击读取窗口中的“确定”按钮，文件读取配置成功。步骤4:查看“数据内容”和“数据结构”可在文件输入节点中查看读取的数据内容及数据结构。点击“数据内容”,可以查看数据表的内容，如图2-1-12所示。文件上传删成全部删检Q(数据内容I数据结构SV工用水处理投药量数据时间原水PH原水浊度2013/8/206:007.1362346A2013/8/207:007.12628.812013/8/225:006.91294.812013/8/226:006.91293.292013/8/2319:006.8184.95omQ32QonnnV分区记录条数

11、IOOOOO点击查看功能碰图2TT2文件输入-文件上传-数据内容点击“数据结构”，可以查看数据表的结构信息，并支持对字段名和字段类型的编辑功能,如图2TT3所示。文件输入口选牌ag文作上传册妗全S弼魅数据内容数据结构EW用水名称字段名类型时间时间原加H原水PH数(鲤(DOU81E)原本螟原於螟数磔(DOUB1E)出水海S出流蟆aS(S22(DOUB1E)取水量取水量数触(INT)PAC精PAC精数(例(DOU81E)分区记录会数100000点击查看功能说的棉定取精图2-1-13文件输入-文件上传-数据结构任务2.1.3数据输出本案例在2.1.2中的文件输入节点继续进行数据输出的模型搭建。步骤1

12、：在建模界面左侧”数据管理一输出”菜单下，将“关系数据库输出”节点拖至右侧设计区，如图2TT4所示。构建模型如图2-1-15所示。图2-1-14关系数据库输出拖拽文件Q关系5砒旗直图2-1-15关系数据库输出建模步骤2：连接文件输入节点的D输出至关系数据库输出节点的D输入，连接关系数据库输出的D输出至建模区D,即可完成模型的搭建。注：节点之间的连接过程为，点击上一个节点的D并按住鼠标左键不放，一直划到下一个节点的D,释放鼠标左键，即可自动完成连接，如图2TT6所示。图2-1-16关系数据库输出建模步骤3：双击“关系数据库输出”节点打开数据输出配置页面，选择可输出的数据源,本案例选择“MySQ1

13、数据源”,如图2TT7所示。关系数据库输出待输出信息待输出地址及相关他皂IMysQuKg-ccitJachingV字质名原类型描述珀出类叟出长度喷出精度口输出度索数客表I时间字符空字符型256Q SUKPH蜘S型（DC数值型（DoUB382Q 原水iStS（fi（X数值翌（DOUB382Q 出水浊S数值坐（DC数值型（DOUB382Q 取水数值型（IM数值SS（INT）Q PACft蚊值至（DC数值空（DOUB382Q存铭假式SS7输出表名称工业供水处理点击查看功能说明图2-1-17数据输出选择数据库界面左侧待输出信息栏中，用户可对输出目标表内容进行设置：可对字段名进行重命名、修改描述，选择需要输出的属性，并逐一或者批量配置待输出数据的输出类型、输出长度和输出精度，如图2TT8所示。关系数据库输出S字段名原奥里