Hadoop生态系统及开发 实训手册 实训1 基础实训环境准备.docx

《Hadoop生态系统及开发 实训手册 实训1 基础实训环境准备.docx》由会员分享，可在线阅读，更多相关《Hadoop生态系统及开发 实训手册 实训1 基础实训环境准备.docx（10页珍藏版）》请在第一文库网上搜索。

1、实训2.1基础实训环境准备L实训目的通过本实训对大数据实训环境配置做一个前期准备操作，了解各个节点之间 的基础通信原理。2 .实训内容该实训主要针对集群配置做前期的域名映射、SSH免密登陆工作，对SSH 安全通信协议以及通信方式有所了解，对大数据服务组件之间安全通信有所了解。 3.实训要求以小组为单元进行实训，每小组5人，小组自协商选一位组长，由组长安排 和分配实训任务，具体参加实训内容中的实训过程。4 .准备知识本实训任务可以配套大数据实训平台，由平台分发三台裸机服务器。如果没 有使用大数据实训平台,则首先需要先你的电脑上安装好VMWare或者VirtUalBOX 等相类似的软件，然后装一台

2、CentOS7虚拟机，然后克隆三台出来，并配置好ip 地址，可自行查阅相关资料，或者查看本书后面的附录页。同学们需要提前学习一些简单的LinUX基础知识、网络基础知识、云计算基 础知识，如果是学会配置虚拟机之间的网络等等，如基础比较薄弱，可以在老师 的指导下进行学习。由于涉及面比较广，建议同学之间加多交流,打下良好基础， 为后面的学习做准备。5 .实训步骤(1)搭建集群服务器老师按照平台操作手册，分发给学生初始裸机环境。一共是三台服务器，一 台是主节点，两台是从节点。角色、ip地址、用户名、密码等信息初始化情况如 图2-3所示。角色ip地址cpu内存用户名密码master192.168.128

3、.1312核1.5groothadoopslavel192.168.128.1322核roothadoopslave2192.168.128.1332核roothadoop图2-3所提供的服务器基本情况(2) MObaXterm 的使用如果想要操作服务器，一般都会使用第三方工具进行连接操作，第三方工具 如MObaXterm、XSheIL SeCUreCRT等等,工具的使用大同小异，此处使用目前 比较主流的MObaXterm,由于MobaXterm具有绿色版本，所以不需要安装，直 接双击即可打开使用页面，如图所示2-4所示。MobaXterm终储会话题 XS I iS 宏Help题 ：* 雨 宴

4、斐SessionServersToolsGamesSessions VtowSPm金HOnWMuItExK Tunneling Packages Settings EOHelpXsevereEXnItsMobaXterm查找现有会话或服务器名称.WcIcobc to MobaXteraPress to start a new session您的系统上找不到CygUtnS插件.UNREGISTERED VERSION - Ptease support MobaXtenn by SUbStxng to the PrOfeSSOnaI edtnn here: https:/motM图2-4 Moba

5、Xterm软件首页（3）新建会话点击页面中部的“New session即可打开新建回话页面，此时默认选择 是“SSH”类型，不需要选择，直接输入远程主机的ip地址（此时输入master 的ip地址），然后勾选“指定用户名”，输入用户名（此时为root用户），其 余保持默认不变，如图2-5所示。回nI SSH I Telneta 明Rsh Xdmcp会话设国 因 00图 N 曾 田RDP VNC FTP SFTP Serial File Shell 浏览 Mosh Aws S3 WSLB Basic SSH settings远程主机4192.168.128.131 I0指定用户名IrOOdl：

6、堵口 |22 图H Advanced SSH settings 终端设置土网络设置书签设置OokSecure Shell (SSH)会话O取消图2-5设置会话接声，点击窗口下方的“0K”按钮。此时会提示输入root用户密码，如图 2-6所示。W 192.168.12M31 (root)展谶 会活蝴 X聚第各工具游戏设M 宏Help典* 雨 宴Session Setvers Tools Games Sessions ew矍SplitMuItCiofrC TufYieIing Packd9es SettingX serverEXft快速连接令 1 HonwUser sessionsES 192.1

7、68.12e,131 (root)root0192.168.128.13s password: 2 192 168 128 131 (root)俞入r。佣UNREGISTERED VERSION Pteasc support MobaXtcrm by substng to the professonal RdtlOn here: 图2-6提示输入密码输入密码后，会提示是否保存密码，点击“Yes”，如图2-7所示。MobaXtermXDo you Yant to saveO Yespassvord for rootl92.168.128.132?如果您希望存储密码具有最高安全性，您可以通过转到来

8、定义“主密码”设常一 其他标签 一 FobaXterm密码设署I1SMH图2-7保存密码此后即可连接上master服务器，如图2-8所示。W 192.168.12M31 (root)终制会话如3XS JjlaJ戏设置宏典* 雨 宴Session Setvers Tools Games Sessions ewHelp爨SPmMuItCiofrC TUnnding Packd9es SettingsX serverEXft快速连接.公 1 HOE 3 192 168 128 131 (root)e T e O . Blrotl? MobaXtenn 11.1 ?(SSH client, Xserv

9、er and networking tools) SSH session to root0192.168.128.131 .bas J090ut.boshJrofUeH.bashrc$.csrc .tcshrc*rOnO8(toKcfg? SSH compression? SSH-browser? Xll-forwarding? DISPLAYx (disabled or not supported by server) 192.168.221.131:0.0 For more info, Ctrl+click on help or visit our WebSitelastlogin: Th

10、u Oct 2 15:59:44 222 (rootlncc)lhosf *# I运程发控口地随终裳文件实UNREGISTERED VERSION HeaSe support MobaXtenn by substng to the PrOfeSSOnai CdtIOn here: https:/mobdxterm.mobatek.nrt图2-8连接上服务器页面点击左上角菜单栏的“终端”，选择“打开新标签”，跟上面一样的操作连 接上slave 1和slave2节点，如下图2-17所示。192.168.128.133 (root)修健会话视图XIK务器IH游戏设宏Help即 ：*注 4Tunrwn

11、9 PaddQes SetWn9sHdpXserver EMt惊速连接.。2 192 166 128 131 (roo：KS 6 192 168 128 132 (root8 192 168 128 133 (roc SSH session to rootl92.168.128.133$KAA_HOME .0faOjre-us9e .s .bshJHxy .MafUogs .bshjf For more info, ctrl+click on hfilfi or visit or WebSitelogin: Tue Oct 25 5:57:13 222 from 192.168.128.1ro

12、ot(pslave2 # SssonServersToolsGamesSessions远程监控跟随终就文件夹UNREGISTERED VERSION Please support MobaXterm by substog to the PrOfeSSOnal edibo here: 图2-17各节点均需连接上连接好后，可以右击会话，将会话名称分别改为master、slavel SIaVe2, 以方便辨识。(4)修改master主机名(如果主机名已经修改好，可忽略此操作) 命令格式：hostnamectl set-hostname 主机名hostnamectl set-hostname mast

13、erbash结果如图所示:Last login: Thu OCt 27 11:41:38 222rootlocalhost # hostnamectl set-hostname masterroot0localhost bashrootnaster -# 图2-17修改主机名slavelSlaVe2的主机名也分别修改好。(5)添加域名映射先安装好加强版Vi编辑器，使编辑页面更加美观 在三台节点上执行：yum install -y vim提示以下页面则表示妾装成功，如图2所示：perl-th reads-shared.x86_64 :1.43-6,el7 vim-common.x86_64 2:7,4.629-8.el7_9 vim-filesystem.x86_64 2:7.4,629-8.e17_9Complete!rootnaster # 使用vim命令编辑etchosts文件在三台节点上执行：Vim ZetcZhosts然后添加三台主机ip地址和主机名映射关系，内容为三19