数据工程实战：实时数据流处理.docx

《数据工程实战：实时数据流处理.docx》由会员分享，可在线阅读，更多相关《数据工程实战：实时数据流处理.docx（64页珍藏版）》请在第一文库网上搜索。

1、大数据工程实战：实时数据流处理四、实验环境搭建在自己电脑上使用Vmware创建虚拟机。VMware与Ubuntu的安装可参考该网址:https:/Nhuanlan.zhihu.eom/p/141033713?utmsource=qq&utmmedium=social&utmoi=1125497485791215616VMware建议下载PJ版，如果下载的官方版，各版本的密钥如下：VMwareworkstationPro16激，舌许可证ZF3R0-FHED2-M80TY-8QYGC-NPKYFYF390-0HF8P-M81RQ-2DXQE-M2UT6ZF71R-DMX85-08DQY-8YMNC

2、-PPHV8VMwareworkstationPro15激活许可证UY758-0RXEQ-M81WP-8ZM7Z-Y3HDAVF750-4MX5Q-488DQ-9WZE9-ZY2D6UU54R-FVD91-488PP-7NNGC-ZFAX6YC74H-FGF92-081VZ-R5QNG-P6RY4YC34H-6WWDK-085MQ-JYPNX-NZRA2VMwareworkstationPro14激，舌许可证FF31K-AHZD1-H8ETZ-8WWEZ-WUUVACV7T2-6WY5Q-48EWP-ZXY7X-QGUWDVMwareworkstationPro12激活许可证5A02H-AU2

3、43-TZJ49-GTC7K-3C61NVF5XA-FNDDJ-085GZ-4NXZ9-N20E6UC5MR-8NE16-H81WY-R7QGV-QG2D8ZG1WH-ATY96-H80QP-X7PEX-Y30V4AA3E0-0VDE1-0893Z-KGZ59-QGAVFVMwareworkstationPro10激活许可证1Z0G9-67285-FZG78-ZL3Q2-234JG4C4EK-89KDL-5ZFP9-1LA5P-2A0J0HY086-4T01N-CZ3U0-CV0QM-13DNU软件java1.8hadoop3.1.3hbase2.2.2spark2.4.0flume1.7.0

4、kafka2.11maven3.6.3tomcat8.5.71mysql8.0.26IDEA（试用版）在安装软件之前要完成ssh免密登录。4.1 安装java环境4.1.1 安装并解压$wget-c#下载资源$sudotar-zxvf./jdk-8ul62-linux-x64.tar.gz-C/usr/1ib/jvm4.1.2 配置环境变量$vim-/.bashrc上面命令使用vim编辑器打开了hadoop这个用户的环境变量配置文件，请在这个文件的开头位置，添加如下几行内容：exportJAVA_HOME=/usr/1ib/jvm/jdkl.8.0_162exportJRE_HOME=$JAV

5、A_HOME/jreexportCLASSPATH=.：$JAVA_HOME/1ib：$JRE_HOME/1ibexportPATH=$JAVA_HOME/bin:$PATH保存.bashrc文件并退出vim编辑器。然后，继续执行如下命令让.bashrc文件的配置立即生效：$source-/.bashrc4.2 安装HadoopHadoop包括三种安装模式：I单机模式：只在一台机器上运行，存储是采用本地文件系统，没有采用分布式文件系统HDFS；伪分布式模式：存储采用分布式文件系统HDFS，但是HDFS的名称节点和数据节点都在同一台机器上；分布式模式：存储采用分布式文件系统HDFS,而且HDFS

6、的名称节点和数据节点位于不同机器上。使用以下代码安装Hadoop,本实战采用伪分布模式，具体步骤请查看学习云平台。$cd-/Downloads#进入下载目录$wget-c源$sudotar-zxf-/Downloads/hadoop-3.1.3.tar.gz-C/usr/local#解压至ij/usr/local中$cd/usr/local/$sudomv./hadoop-3.1.3/./hadoop#将文件夹名改为hadoop$sudochown-Rstu:./hadoop#修改文件权限4.3 安装HBase使用以下代码安装HBase,本实战采用伪分布模式,具体步骤请查看学习云平台。4.3.

7、1 下载安装文件$cdDownloads#进入下载目录$wget-chttp:/res.aihyzh.J|J3/04/hbase-2.2.2-bin.tar.gz#下载资源$sudotar-zxf/Downloads/hbase-2.2.2-bin.tar.gz-C/usr/local$sudomv/usr/local/hbase-2.2.2/usr/local/hbase4.3.2 配置环境变量使用vim编辑器打开/.bashrc文件，添加如下路径：exportPATH=$PATH:/usr/1ocal/hadoop/sbin:/usr/local/hadoop/bin:/usr/1ocal

8、/hbase/bin添加后，执行如下命令使设置生效：$source-/.bashrc4.4 安装spark4.4.1 下载安装文件$cd-/Downloads#进入卜.载目录$wget-chadoop.tgz#下载资源$sudotar-zxf-/Downloads/spark-2.4.0-bin-without-hadoop.tgz-C/usr/local/$cd/usr/local$sudomv./spark-2.4.0-bin-without-hadoop/./spark$sudochown-Rpabu:pabu./spark4.4.2 配置相关文件安装文件解压缩以后,还需要修改Spark

9、的配置文件sparkeiw.sh。首先,可以复制一份由Spark安装文件自带的配置文件模板，命令如下：$cd/usr/local/spark$cp./conf/spark-env.sh.tempiate./conf/spark-env.sh然后，使用vim编辑器打开sparkeiw.sh文件进行编辑，在该文件的第一行添加以下配置信息：$vim./conf/spark-env.shexportSPARK_DIST_CLASSPATH=$(/usr/1ocal/hadoop/bin/hadoopclasspath)有了上面的配置信息以后，Spark就可以把数据存储到Hadoop分布式文件系统hdf

10、s中,也可以从HDFS中读取数据。如果没有配置上面的信息，Spark就只能读写本地数据，无法读写HDFS中的数据。通过运行Spark自带的实例，可以验证Spark是否安装成功，命令如下：$cd/usr/1ocal/spark$bin/run-exampleSparkPi执行时会输出很多屏幕信息，不容易找到最终的输出结果，为了从大量的输出信息中快速找到我们想要的执行结果，可以通过grep命令进行过滤：$bin/run-exampleSparkPi2&1|grepPiisroughly”4.5 安装Flume4.5.1 下载安装文件$cd-/Downloads#进入下载目录$wget-cbin.t

11、ar.gz#下载资源$sudotar-zxvf/home/stu/Downloads/apache-f1ume-1.7.0-bin.tar.gz-C/usr/local$cd/usr/local$sudomv./apache-flume-1.7.0-bin./flume$sudochown-Rpabu:pabu./flume452配置环境变量使用vim编辑器打开/.bashrc文件,命令如下：$sudovim-/.bashrc然后，在该文件开头加入如下代码：exportFLUME_HOME=/usr/local/flumeexportFLUME_CONF_DIR=$FLUME_HOME/con

12、fexportPATH=$PATH：$FLUME_HOME/bin接下来执行如下命令使得环境变量立即生效：$source-/.bashrc然后，修改配置文件flumeenv.sh,命令如下:$cd/usr/local/flume/conf$mvflume-env.sh.tempiateflume-env.sh$vimflume-env.sh在flume-env.sh文件开头加入如下语句：exportJAVA_HOME=/usr/lib/jvm/jdkl.8.0_1624.6 安装Kafka$cd-/Downloads#进入下载目录$wget-c载资源$sudotar-zxvf-/Downloa

13、ds/kafka_2.11-0.11.0.3.tgz-C/usr/local#解压到/usr/local中$cd/usr/local/$sudomvkafka_2.11-0.11.0.3./kafka$sudochown-Rpabu:pabukafka#修改文件权限4.7 安装Maven$wgethttps:/mirrors.tuna.tsinghua.educn/apache/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.tar.gz$sudotar-zxvfapache-maven-3.6.3-bin.tar.gz-C/usr/lo

14、cal$cd/usr/local/$sudomvapache-maven-3.6.3./maven$sudochown-Rpabu:pabumaven4.8 安装Tomcat$sudowgethttps:/dlcdn.apache.org/tomcat/tomcat-8/v8.571/bin/apache-tomcat-8.5.71.tar.gz$sudotar-zxvfapache-tomcat-8.5.71.tar.gz-C/usr/local$cd/usr/local$sudomvapache-tomcat-8.5.71tomcat$sudochown-Rpabu:pabu./tomcat4.9 安装Mysql使用语句dpkg1|grepmysql是否安装：dpkgl|grepmysqlitlibclient21:amd648.0.26-0ubuntu0.20.04.2amd64MySQLdatabaseclientlibraryit-c