大数据技术 形考作业.docx

《大数据技术 形考作业.docx》由会员分享，可在线阅读，更多相关《大数据技术 形考作业.docx（5页珍藏版）》请在第一文库网上搜索。

1、1、信息技术为大数据时代提供的技术支撑主要体现在哪些方面？存储设备容量不断增加，CPU处理能力大幅提升，网络带宽不断增加2、人类社会的数据产生方式大致经历了哪些阶段？运营式系统阶段，用户原创内容阶段，感知式系统阶段3、大数据的4V分别指代的是什么?规模性，高速性，多样性，价值性4、大数据技术是什么？大数据技术是指大数据的应用技术，涵盖各类大数据平台、大数据指数体系等大数据应用技术。5、从数据分析全流程的角度，大数据技术主要包括那几个内容。数据的采集与处理，数据的存储和管理，数据处理与分析，数据安全和隐私保护6、大数据计算模式有哪些？批处理计算，流计算，图计算，查询分析计算7、云计算的概念云计算

2、是分布式计算的一种,指的是通过网络云将巨大的数据计算处理程序分解成无数个小程序,然后通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。8、云计算的关键技术云计算平台管理技术，分布式计算的编程模式，分布式海量数据存储，海量数据管理技术，虚拟化技术9、物联网的概念物联网是指通过各种信息传感器，射频识别技术，全球定位系统，红外感应器，激光扫描器等各种装置与技术，实时采集任何需要监控、连接、互动的物体或过程。10、从技术架构上来看，物联网可分为四层，分别是(感知层，网络层，平台层，应用层)？11、物联网的关键技术有哪些？RF1D技术;传感器技术;无线网络技术;人工智能技术;云计算技

3、术12、大数据与云计算、物联网的关系云计算为大数据提供了技术基础，大数据为云计算提供用武之地物联网是大数据的重要来源，大数据技术为物联网数据分析提供支持云计算为物联网提供了海量数据存储能力，物联网为云技术提供了广阔的应用空间13、HadOOP是基于(java)语言开发的。14、HadOOP的核心是（HDFS）15、HadOOP的特性有哪些？1高可靠性：采取冗余数据存储方式。即使一个副本发生故障，其他副本也可以保证正常对外提供服务。2 .高效性：采取分布式存储和分布式处理两大核心技术。能够高效的处理PB级数据。3 .高可扩展性：4 .高容错性：自动保存数据的多个副本，自动将失败的任务重新分配。5

4、 .成本低6 .运行在1inux操作系统上7 .支持多种编程语言16、Hadoop生态系统分别是（HDFS,HAD00PYARN1AmbaritHbase1Hive1Pig1SparkjSqoop）17、HDFS要实现的目标是（兼容廉价的硬件设备，流数据读写，简单的文件模式）18、HDFS的局限性是（不适合低延迟数据访问，无法高效存储大量小文件，不支持多用户写入及任意修改文件）19、HDFS的数据存取策略（冗余数据保存,数据存取策略,数据错误与恢复）20、简述HDFS的数据读写过程。c1ient发起文件上传请求，通过RPC与NameNode建立通讯，NameNode检查目标文件是否已存在，父目

5、录是否存在，返回是否可以上传；c1ient请求第一个b1ock该传输到哪些DataNode服务器上；NameNode根据配置文件中指定的备份数量及副本放置策略进行文件分配，返回可用的DataNode的地址，如：A,B,C；c1ient请求3台DataNode中的一台A上传数据（本质上是一个RPC调用,建立pipe1ine）,A收到请求会继续调用B,然后B调用C,将整个pipe1ine建立完成，后逐级返回c1ient；c1ient开始往A上传第一个b1ock（先从磁盘读取数据放到一个本地内存缓存），以packet为单位（默认64K）,A收到一个packet就会传给B,B传给C；A每传一个pack

6、et会放入一个应答队列等待应答。数据被分割成一个个packet数据包在pipe1ine上依次传输，在pipe1ine反方向上，逐个发送ack（ack应答机制），最终由PiPe1ine中第一个DataNode节点A将pipe1ineack发送给c1ient;当一个b1ock传输完成之后，c1ient再次请求NameNode上传第二个b1ock到服务器。21、HBaSe是针对谷歌BigTabIe的开源实现，是一个（高可靠、高性能、高向列、可伸缩）的分布式数据库。22、HBaSe的系统架构包括（ZOOkeePer服务器、MaSter主服务器、Region服务器）23、关系型数据库无法满足Web2.0

7、的需求表现在（1.无法满足海量数据的管理需求，2.无法满足数据高并发的需求3.无法满足高可扩展性和高可用性的需求）24、关系数据库的关键特征在Web2。时代成为11鸡肋”的原因（Web2.0网站系统通常不要求严格的数据库事务,Web2.0并不要求严格的读写实时性,Web2.0通常不包含大量复杂的SQ1查询（去结构化，避免多表查询，存储空间换取更好的查询性能）25、Ne）SQ1的四大类型分别是（键值数据库，列族数据库，文档数据库，图形数据库）26、NoSQ1的三大基石（CAP、BASE和最终一致性）27、云数据库的特性（实例创建快速、支持只读实例、读写分离、故障自动切换、数据备份、Bin1og备

8、份、SQ1审计、访问白名单、监控与消息通知等）28、UMP系统架构依赖的开源组件包括（Mnesia11VS,RabbitMQ,ZooKeeper）29、PythOn是一种（B）计算机程序设计语言。A.编译型B.解释型C.翻译型D.可视化30、PythOn不支持的数据类型有（B）。A.intB.char.C.dietD.1ist31、Print（type（164）的结果为（B）oA.intB.f1oatC.strD.boo132、下列哪个语句在Python中是非法的？（A）A.X=（y=z+1）B.x=y=z=1C.X,y=y1XD.X+=y33、“ab+c*2结果是（C）。A.abc2B.ab

9、cabcC.abccD.Ababcc34、下列数据是列表类型的是（A）。A.1,2B.12C.1:2D.（1,2）35、a=2,3,1a.sort（）以上程序的运行结果为（C）。A.1,2,3B.3,2,1C无输出结果D.None36、以下不能创建一个字典的语句是（C）。37、a=（1,2,1,2）a2.append（3）print（a）以上程序的运行结果是（B）。A.（1,2,1,2丁31）B.（1,2,1t21,3）38、以下内容关于函数描述正确的是？A.函数用于创建对象C函数是一段代码用于执行特定的任务40、open函数中哪种文件读取模式只用于写入。（C.1,2,1,2,3D.报错（C）

10、B.函数可以让重新执行的更快D.以上说法都是正确的C）A.rB.r+C.wD.a41、以下文件操作方法中，打开后能读取CSV格式文件的选项是(C)。A.foo=open(,123.csv,tt,w)B.too=OPen(123,csv,x)C.too=open(,123.csv,r)D.foo=open(,123.csv,1a)42、下面哪项特性不是面向对象程序设计的主要特征(B)。A.封装B.函数C.多态D.继承43、Python中查看对象的属性或方法，返回对象的属性和方法列表的函数为(B)。A.he1p()B.dir()C.info()D.check()44、下列哪种调用模块的方式可以之后

11、使用array(123)O(C)C.fromnumpyimportarrayD,以上三种均不能45、有关异常说法正确的是(A)。A.程序中抛出异常终止程序B.程序中抛出异常不一定终止程序C.拼写错误会导致程序终止D,缩进错误会导致程序终止46、简述PythOn语言的优缺点。优点：简单易学，免费，高层语言，可移植性，面向对象，丰富的库缺点：运行速度较慢，国内市场较小，中文资料匮乏，框架选择太多47、简述列表和元组之间的区别和共同点。相同点：索引相同，拼接相同，计数相同，都属于有序序列。都可以使用de1删除。都可以使用来使本身重复。都可以强制转换。切片方法都一致。都可以使用for循环来进行元素遍历

12、、索引遍历以及枚举遍历。使用index。方法获取指定元素的索引。使用运算符in测试是否包含某个元素不同点：类型不同。元组类型为：tup1e列表类型为:1ist,修改方式不同元组不能修改列表可以根据索引来修改元素值，删除方式不同列表使用pop()等函数删除元素函数名描述pop()删除指定索引对应的元素,并返回删除的元素。如果不指定索引，默认删除最后一个元素，remove。移除第一次遇到的指定元素，de1移除元素或列表，清除地址，C1ear()移除歹IJ表，保留地址，只清空内容，ist=清空列表元组不能删除元素，只能用de1删除整个元组。查找方式不同元组只能用IndeX()函数来查看。列表只能用I

13、ndeX()函数来查看“48、简述函数与方法的差异？函数属于整个文件，方法属于某一个类，方法如果离开类就不行函数可以直接调用，方法必须用对象或者类来调用,注意：虽然函数属于整个文件，但是如果把函数写在类的声明中会不识别不能把函数当做方法来调用，也不能把方法当做函数来调用49、问题:编写一个可以计算给定数的阶乘的程序。结果应该以逗号分隔的顺序打印在一行上。假设向程序提供以下输入：8则输出为:40320(用PythOn语言)=int(input()count=1foriinrage(1,+1):count=count*iprint(count)50、编程实现九九乘法表。(用PythOn语言)forrowinrange(1,10):forco1inrange(1,row+1):print(,%d*%d=%d%(co1,row,co1*row),end=,1)printC)