Hadoop生态系统及开发 实训手册 实训9 Hive的安装与部署.docx

《Hadoop生态系统及开发 实训手册 实训9 Hive的安装与部署.docx》由会员分享，可在线阅读，更多相关《Hadoop生态系统及开发 实训手册 实训9 Hive的安装与部署.docx（10页珍藏版）》请在第一文库网上搜索。

1、实训5.1 Hive的安装与部署1 .实训目的通过本实训，理解Hive安装操作及配置，完成Hive以及MySQL的安装, 理解Hive三种部署方式中的其中两种，了解操作流程上有哪些区别。2 .实训内容该实训内容主要介绍Hive的原理，包含HiVe的内嵌模式以及本地MySQL 方式的部署，接着还手把手带着操作了 Hive的内嵌模式。安装了 MySQL环境， 最后配置将Hive元数据保存到本地MySQL中。3 .实训要求以小组为单元进行实训，每小组5人，小组自主协商选一位组长，由组长安 排和分配实训任务，安装MySQL时要求能联网，但本实训平台是可以联网的。 4.准备知识（1） MySQL 简介M

2、ySQL是一个开源的关系型数据库管理系统，目前属于Oracle旗下产品。 MySQL是最流行的关系型数据库管理系统之一，在WEB应用方面，MySQL是 最好的 RDBMS（Relational Database Management System,关系数据库管理系统） 应用软件。5.实训步骤（1）部署方式一：内嵌模式安装包准备将 apache-hive-3.1.3-bin.tar.gz 压缩包上传至 master 节点的/root/PaCkage 目录 下。查询Hive的安装包是否上传成功，查询结果如图5-4所示。root领aster -# cd rootpackagerootnaster p

3、ackage# rootnaster package# 11 total 150352-rw-r-r-. 1rootroot 32694667Nov3-rw-r-r-. 1rootroot 989010Oct31Z -rw-r-r-. 1rootroot 695457782Oct27-rw-r-r-. 1rootroot 31433339Oct31-n-r-r-. 1 root root 189756259rootnaster package# Oct2711:04 IaPaChehive3.1.3bin.tar.gzI9:44 apache-zookeeper-3.5.l-bin.ar.g1

4、7:04 hadoop-3.3.4.tar.gz10:16 hbase-2.5.-bin.tar.gz17:05 jdk-8u161-Iinux-x64.tar.gz图5-4查询安装包HiVe的安装及配置解压 apache-hive-3.1.3-bin.tar.gz,这里解压在optsoftware 目录下：tar -zxvf apache-hive-3.1.3-bin.tar.gz -C optsoftware设置HiVe的配置文件(hive-env.sh),添力口上HADOoP_H0ME,添加结果如图5-5所正Cd optsoftwareapache-hive-3.1.3-binconfC

5、P hive-env.sh.template hive-env.shvim hive-env.sh添加Hadoop安装路径：H A D00P_H0ME=/opt/software/hadoop-3.3.4# Set HADOOPHOME to point to a specific hadoop install directory# HAD00P_H0ME=$bin/./.hadoopHAD00P_H0ME=/opt/softwa re/hadoop-3.3.4# Hive Configuration Directory can be controlled by:# export HIVE_C

6、ONF_DIR=图5-5添力U HADOOP_HOME环境替换jar包并解决jar包冲突替换yam/lib下的jline的jar包为Hive安装目录下的（操作的时候注意选择 性替换）cd ./Iibmv guava-19.0.jar guava-19.Ojar.bakcp optsoftwarehadoop-3.3.4sharehadoopcommonlibguava-27.0Jre.jaroptsoftwareapache-hive-3.1.3-binlibguava-27.0.jar解/日志jar包冲突，此处修改Iib目录下的Iog4jslf4j-impl-2.17.1.jar的名称 即可

7、：mv log4j-slf4j-impl-2.17.1 .jar log4j-sli4j-impl-2.17.1.jar.bak配置环境菱墓:vim etcprofile一添加以下内散.export HIVE_HOME=/opt/software/apache-hive-3.1.3-binexport PATH=$PATH:$HIVE_HOME/bin使配置生电source ZetcZprofile扃初始化元数据库内嵌模式时Hive使用的是自带的Derby数据库，此时可以使用bin目录下的 schematool初始化元数据。cd ./bin./schematool -dbType derby

8、-initSchemaueMetastore MetastoreConnection connectionDriver : User:org. apache. derby.jdbc.EmbeddedDriver APP（rootnaster lib#cd ./binoOt领aster bin#root额aster bin#rootnaster bin# 11 total 44-rwxr-xr-x. 1 root root881Oct24219beelinedrwxr-xr-x. 3 rootroot496Nov311:05ext-rwxr-xr-x. 1 rootroot10158Mar292

9、22hive-rwxr-xr-x. 1 rootroot285Feb28222hive-config.sh-rwxr-xr-x. 1 rootroot885Oct24219hiveserver2-rwxr-xr-x. 1 rootroot880Oct24219hplsql-rwxr-xr-x. 1 rootroot364Oct24219init-hive-dfs.sh-rwxr-xr-x. 1 rootroot832Oct24219metatool-rwxr-xr-x. 1 rootroot884Oct24219schematoolroot额aster bin# rootnaster bin#

10、 oOt聊aster bin#./schematool TJbType derby -initSchemaMetastore connection URL:jdbc: derby:;databaseName=metastoredb;create=trStarting metastore schema initialization to 3.1.Initialization script hive-schema-3.1.0.derby.sql初始化成功后，会提示以下内容:Initialization script completedSchemaTool completed同时，查看bin目录下，

11、会新星成了一个metastore-db文件夹和一个derby.log 文件。执行hive命令进入HiVe操作页面，如图5-6所示。说明：因为HiVe依赖HDFS,所以露要先启动HDFS。hiverootnaster bin# hiveHive Session ID = 59c55859-b463-465e-9a68-da6e75c33b25Logging initialized using configuration in jar:file:optsoftwareapache-hive-3.1.3-bin/lib/hive-common-3.1.3.jar!hive-log4j2.proper

12、ties Async: true Hive-on-MR is deprecated in Hive 2 and may not be available in the future versio ns. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases.Hive Session ID = 932353a-391-4ff6-b599-7c458ddaal64hive I图5-6 Hive操作页面试Hive壁能正常执行操作，查询一下Hive理边的舂啰果如囹5-7。show

13、 tables;hive show tables;OK Time taken: .694 seconds hive I图5-7查看Hive表结果笛询一下HiVe的内置函数。结果如图5-8所示show functions;xpathintxpath_longXpathnumberxpathshortxpath_stringyearITime taken: ,26 seconds. Fetched: 290 row(s) hive I图5-8查看HiVe的函数结果(2)部署方式二：本地MySQL模式在本地MySQL模式中，HiVe的元数据将会存储在MySQL中，所以首先需 要先安装好MySQL。本

14、次实训安装的MySQL版本为：MySQL8.0.30版本。上传安装MySQL所需的Rpm包并安装。所需要的Rpm包一共有以下六个：mysql-community-common-8.0.30-1 .el7.x86_64.rpmmysql-community-client-plugins-8.0.30-1 .el7.x86_64.rpmmysql-community-libs-8.0.30-1 .el7.x86_64.rpmmysql-community-client-8.0.30-1 .el7.x86_64,rpmmysql-community-icu-data-files-8.0.30-1 .el7.x86_64.rpmmysql-community-server-8.0.30-1 .el7.x86_64.rpm 将其上传到master节点。然后依次执行安装命令即可（注意有顺序要求）。按照以下操作执耳二rpm -ivh mysql-community-common-8.0.30-1 .el7.x86_64.rpmrpm -ivh mysql-community-client-plugins-8.0.30-1 .el7.x86_64.rpm安装IibS之前，需要已经存在的卸