《Hadoop大数据技术与应用》课程标准.docx

《《Hadoop大数据技术与应用》课程标准.docx》由会员分享，可在线阅读，更多相关《《Hadoop大数据技术与应用》课程标准.docx（10页珍藏版）》请在第一文库网上搜索。

1、Had。P大数据技术与应用课程标准课程名称：HaCIooP大数据技术与应用 总学时数/学分数：64/4课程类型：职业技能课课程所属：适用专业：大数据技术专业发布日期：年 月一、课程基本情况1、课程归属：信息工程学院2、课程类型：职业技能课3、课程类别：必修课4、适应专业：大数据技术5、学时标准：64学时6、学分标准：4学分7、前修课程：大数据技术概论、编程基础、LinUX操作系统、数据库设计 与实现8、后续课程：大数据处理与分析二、制定依据本课程标准依据天津滨海汽车工程职业学院信息工程学院大数据技术专业 人才培养方案、结合就业市场对应岗位职能要求和需求标准等制定。三、课程定位及作用大数据平台运

2、维本课程是大数据技术专业核心课程，大数据技术入门课 程。通过学习课程使得学生掌握大数据分析的主要思想和基本步兼，并通过编程 练习和典型应用实例加深了解；同时对Hadoop平台应用与开发的一般理论有所 了解，如分布式数据收集、分布式数据存储、分布式数据计算、分布式数据展示。开设本学科的目的是让学生掌握如何使用大数据分析技术解决特定业务领 域的问题。完成本课程学习后能够熟练的应用大数据技术解决企业中的实际生产 问题。四、课程设计理念及思路（一）课程理念本课程遵循高等职业教育规律，以大数据技术与应用实际工作岗位需求为导 向选取课程内容，课程目标是培养学生具备“大数据分析”应用项目所需系统环 境的搭建

3、与测试综合职业能力；坚持开放性设计原则，吸收企业专家参与，建立 基于HadooP的生态环境，以“工作任务”为载体的“项目化”课程结构；课程 教学实施教、学、做一体，坚持理论为实践服务的教学原则，通过模拟企业“大 数据分析”环境进行组织，锻炼学生的实践操作能力。（二）程设计整体思路通过岗位技能的项目化以及系统搭建与应用任务的序列化，对内容体系结构 进行了适当调整与重构，以适应教学课程安排。以项目案例及其任务实现为驱动， 凭借翔实的操作步骤和准确的说明，帮助学生迅速掌握Hadoop生态系统环境构 建与应用，并且充分考虑学习操作时可能发生的问题，并提供了详细的解决方案， 突出岗位技能训练。五、课程目

4、标通过岗位技能的项目化以及系统搭建与应用任务的序列化，对内容体系结构 进行了适当调整与重构，以适应教学课程安排。以项目案例及其任务实现为驱动， 凭借翔实的操作步骤和准确的说明，帮助学生迅速掌握Hadoop生态系统环境构 建与应用，并且充分考虑学习操作时可能发生的问题，并提供了详细的解决方案， 突出岗位技能训练。（-）知识目标通过本课程的学习，使学生能够：1、理解什么是HadoOp、HadOOP的发展历史、HadOOP的特点、分布式文件系 统 HDFS分布式计算框架 MapReduce集群资源管理器 YARN、Hadoop 生态系统、HadOOP应用场景2、掌握HadOOP的安全模式、MaPRe

5、dUCe工作原理及核心组成、了解MaPRedUCe 实现词频统计的执行流程3、掌握什么是HiVe、HiVe与传统数据的对比、HiVe系统架构、HiVe数据 模型、HiVe执行流程、HiVe数据操作语言的基本语法4、掌握什么是HBaSe、HBaSe系统架构、HBaSe数据模型、HBaSe读写流程 （二）能力目标通过本课程的学习，使学生能够：1、掌握创建LinUX虚拟机的方法、如何设置固定IP地址、如果远程连接 虚拟机、如何配置本地YUM源及安装常用软件、如何启动和关闭HadooP集群2、掌握HDFS的基本操作、如何创建MaPRedUCe工程、如何使用FileSystemAPI操作3、掌握HiVe

6、如何创建表、修改表，如何完成Top20基站统计4、掌握HBaSe如何创建表、修改表、删除表，如何向表中插入数据，如何分析通话记录数5、掌握大数据日志分析综合项目案例（三）素质目标通过本门课程的学习，使学生在大数据技术技能上不但具有深厚的理论功底, 而且具有熟练的项目实战操作技能，达到相关大数据技术岗位人员的知识储备和 能力要求，最终能够适应社会对大数据技术人才的需要。1、通过对数据分析的了解，增强探索意识2、树立大数据思维和时代意识，自觉遵守职业道德和法律法规3、提高选择合适方法解决不同问题的能力4、养成分析问题、事前做好准备的良好习惯5、提高分析问题、针对不同问题选择合适方法的能力6、强化数

7、据安全意识，提高信息技术应用能力7、理解国家大数据战略，构建大数据思维和时代意识8、锻炼具体问题具体分析的思维方法，培养一丝不苟的工作态度，增强积 极主动寻求解决方法的意识六、课程教学内容与学时分配（一）学时安排大数据平台运维课程分为七章，章节课程之间联系紧密，通过每章项目案例 驱动为导向，结合每章课程知识细节，融会贯通。全课程采用阶梯式教学，由浅 入深、循序渐进。夯实基础，实出重点，解析难点，并注重新知识的拓展。下面是关于本课程知识的简述:序号教学内容教学要点学时1大数据基础 概述应知应会：（1）掌握大数据的概念和价值（2）掌握大数据的来源（3） 了解大数据的应用场景（4） 了解大数据时代的

8、机遇和挑战（5）掌握HadoOP及其生态系统简介（6） 了解大数据行业的人才需求状况42Hadoop分布 式文件系统应知应会：12HDFS(1) 了解HDFS基本概念(2) 了解HDFS的系统架构与适用场景(3)掌握HDFS的操作方式(4)掌握HDFS的关键特性(5)掌握HDFS的安装部署与配置方法(6)掌握HDFS的读写APl操作方法3分布式计算 框架 MapReduce 和分布式资 源管理器 YARN应知应会：了解MapRoduce和YARN的概念(2)掌握MaPRedUCe和YARN的工作过程与架构(3)掌握YARN的资源管理和任务调度(4)掌握部署YARN集群的方法(5)掌握编写单词计

9、数WOrdCoUnt程序84HBase分布式NoSQL数据库应知应会：(1) 了解HBaSe的概念(2) 了解HBaSe的架构(3)掌握HBaSe的关键流程(4)掌握HBaSe的安装与配置(5)掌握HBaSe的SheIl操作方法(6)掌握HBasc的APl操作方法85HiVe分布式数据仓库应知应会：(1) 了解HiVe的概念(2) 了解HiVe的架构原理(3)掌握HiVe的基本操作(4) 了解HiVCQL的应用(5)掌握HiVe的安装与部署(6)掌握HiVe数据定义操作的具体实现方法(7)掌握HiVe数据操纵操作的具体实现方法(8)掌握HiVe查询操作的具体实现方法(9)掌握HiVe数据操纵操

10、作的具体实现方法86Hadoop其他 大数据生态 组件应知应会：(1) 了解海量日志聚合FIUnle相关概念(2) 了解分布式消息订阅系统Ka珠a相关概念(3)掌握FIUnIC的安装与部署(4)掌握如何使用Flume采集数据到HDFS(5)掌握Kafka集群部署(6)掌握Kafka的使用方式87大数据日志分析综合项目案例应知应会：（1）了解项目目的、意义、背景、架构、需求等基本项目信息（2）掌握项目实施过程（3）能够会书写项目报告16（二）课程内容1.大数据基础概述重点：大数据的概念难点：Hadoop及其生态系统【内容要求】1）掌握大数据的概念和价值2）掌握大数据的来源3） 了解大数据的应用场

11、景4） 了解大数据时代的机遇和挑战5）掌握HadooP及其生态系统简介6） 了解大数据行业的人才需求状况2. HadOoP分布式文件系统HDFS重点：HDFS的基本概念、HDFS的安装部署与配置方法难点：HDFS关键特性【内容要求】1） 了解HDFS基本概念2） 了解HDFS的系统架构与适用场景3）掌握HDFS的操作方式4）掌握HDFS的关键特性5）掌握HDFS的安装部署与配置方法6）掌握HDFS的读写API操作方法3.分布式计算框架MapReduce和分布式资源管理器YARN重点：MaPRedUCe和YARN的工作过程与架构、部署YARN集群的方法难点：编写单词计数WOrdCOUnt程序【内

12、容要求】1） 了解 MapReduce 和 YARN 概念2）掌握MaPRedUCe和YARN的工作过程与架构3）掌握YARN的资源管理和任务调度4）掌握部署YARN集群的方法5）掌握编写单词计数WordCoUrrt程序4. HBaSe分布式NOSQL数据库重点：HBaSe的关键流程、HBaSe的安装与配置难点：HBaSe的APl操作方法【内容要求】1） 了解HBaSe的概念2） 了解HBaSe的架构3）掌握HBaSe的关键流程4）掌握HBaSe的安装与配置5）掌握HBaSe的SheIl操作方法6）掌握HBaSe的APl操作方法5. HiVe分布式数据仓库重点：HiVe的基本操作、HiVe的安

13、装与部署难点：HiVe数据定义操作、数据操纵操作、查询操作、数据操纵操作的具 体实现方法【内容要求】1） 了解Hive的概念2） 了解HiVe的架构原理3）掌握HiVe的基本操作4） 了解HiVeQL的应用5）掌握HiVe的安装与部署6）掌握HiVe数据定义操作的具体实现方法7）掌握HiVe数据操纵操作的具体实现方法8）掌握HiVe查询操作的具体实现方法9）掌握HiVe数据操纵操作的具体实现方法6. Hadoop其他大数据生杰组件重点：FIUilIe的安装与部署、Kafka集群部署难点：使用Flume采集数据到HDFS【内容要求】1） 了解海量日志聚合FlUme相关概念2） 了解分布式消息订阅

14、系统Kafka相关概念3）掌握FlUme的安装与部署4）掌握如何使用Flume采集数据到HDFS5）掌握Kafka集群部署6）掌握Kafka的使用方式7） 大数据日志分析综合项目案例重点：项目实施过程难点：项目实施过程、书写项目报告【内容要求】1）了解项目目的、意义、背景、架构、需求等基本项目信息2）掌握项目实施过程3）能够会书写项目报告七、课程考核与评价结合案例教学的特点，对学生的考核采用平时情况结合期末总评情况综合评 价。学生在每次项目完成后，每组学生在项目组内自评，教师给每组一个总评, 将学生自评成绩和教师总评成绩按比例结合为一次项目的成绩。多次项目成绩组 成了学生此课程的平时实践操作部

15、分的成绩。另外学生在每部分学习后完成的其 它任务（如课后作业），此又作为学生平时成绩的一部分。在期末课程结束后， 按实际情况可布置每个学生独立完成一个较综合的项目实践，以此作为期末考核 成绩；考虑到部分学生非独立完成的作弊行为，亦可组织学生统一卷面考试，以 此成绩作为期末考核成绩。最后将每个学生的平时实践成绩、其它成绩（课后作 业、课堂表现等）、学习表现、期末考核成绩根据实际情况按一定比例综合得出 学生此门课程的最终评价。对学生学习过程的评价，包括参与讨论的积极态度、自信心、实际操作技能、 合作交流意识，以及独立思考的能力、创新思维能力等方面，如：1、是否积极主动地参与讨论和分析2、是否敢于表述自己的想法，对自己的观点有充分的自信3、是否积极认真地参与模拟实践和应用实践4、是否敢于尝试从不同角度思考问题，有独到的见解