最新国家开放大学电大《大数据技术导论》实验报告实验3 网页数据获取.docx

《最新国家开放大学电大《大数据技术导论》实验报告实验3 网页数据获取.docx》由会员分享，可在线阅读，更多相关《最新国家开放大学电大《大数据技术导论》实验报告实验3 网页数据获取.docx（3页珍藏版）》请在第一文库网上搜索。

1、最新国家开放大学电大大数据技术导论实验报告实验3网页数据获取数据获取是数据生命周期中的第一个环节，数据抽取过程是搜索全部数据源，按照某种标准选择合乎要求的数据，并将其进行适当的格式转换之后，传送到目的地中存储。为了克服被抽取的数据源分布广泛、异构、非结构化等问题，数据抽取技术和抽取工具应运而生。学习数据科学与大数据技术不仅需要掌握其理论,更重要的是能够运用工具和方法来完成数据的获取。1 .实验目的通过网页数据获取的实验，学生可以理解网络爬虫的工作过程，掌握网页数据获取的方法，并能够灵活运用，进而解决网页数据获取的实际问题。2 .实验要求理解爬虫软件的原理与方法，独立完成网页数据获取的实验，主要

2、内容如下。(1)前嗅FOreSPider爬虫软件安装。(2)选择频道。(3)网页数据采集过程。3 .实验内容(1)制订实验计划。(2)完成爬虫软件安装。(3)选择网页。(4)完成爬虫软件数据采集过程。4 .实验总结通过本实验，使学生了解爬虫软件的特点、总体结构和分类，理解爬虫软件程序的执行过程，掌握应用爬虫软件获取网页数据的方法。5 .思考拓展(1)结合爬虫软件的结构说明其主要功能。(2)通过举例，说明CSv格式文件的特点。(3)应用前嗅FOrCSPidCr爬虫软件能够采集非结构化数据吗？为什么？(4)我们能够在网络上爬取什么数据？答：网页数据获取方法如下使用FIUme获取数据F1Ume安装部

3、署因为FIUme的Agent是运行在JvM上的JaVa进程，所以F1Ume的安装运行需要JaVa17及以上版本的支持,以及对Agent目录的读/写权限。本次安装的环境为CentoS7,FIUme版本为FIUme18,JDK版本为JaVa18安装步骤如下。1 .下载并解压FIUmeFhIme下载界面如下所示，选择：进制版本APaCheFh1mebinary(tar.gz)中的安装包，将其卜载并解出到，homehadoop/SOnWare目求。Down1oadAIMehCF1UEenC1ZriaedunderIhcAPf1KeIiccmc.vrrkm2J)TheHnkinteMuronCo1unI

4、nIhOUkIdisp1ayaIixofavaitebeminwithadcfuhtc1oca(*chc-f1ume*1JX*ahc-f1umc-1idpacbeune-1Ab-(Iaro)bintarc*ourvcpchcf1umeJSjO-chc-f1umcapacbcumc/0OPttMSUn18Q(Uvus.apache.org/repos/asf/f1ume.gitRevision:99f591994468633fc6f8701c5fc53ee214b6d4fCompi1edbydenesonFriSep1514:58:3。CEST2817FronsourcewithChecksuafbb44cc8fb63a49be0a59c27316833d(hadoop9master-JSF1UmC简单应用安装好FIUme后，使用F1Ume的步骤分为两步：(1)写一个配置文件，在配置文件当中描述SOUrce、ChanneI与Sink的具体实现：(2)运行一个Agen1实例，在运行Agen1实例的过程中会读取配置文件的内容，这样FIUme就会采集数据。