对大数据的认知概览.docx

《对大数据的认知概览.docx》由会员分享，可在线阅读，更多相关《对大数据的认知概览.docx（6页珍藏版）》请在第一文库网上搜索。

1、大数据之我见数据，在人类社会产生之时就已经存在，它是信息的表现形式和载体，不仅仅是数字，还可以是文字、图像、语音、视频等。随着互联网技术的深入发展，人类所创造的数据量呈现爆炸式增长，利用科技对这些原本没有意义的数据进行存储、处理和分析而得到的信息将对我们的生活方式产生巨大的影响。而大数据正是一种大小远远超过传统数据库系统所能收集、存储并分析的能力的数据集，分布式存储和分布式处理例如云计算等技术使得分散的大数据得以被集中的处理分析，毫无疑问，在互联网高速发展的时代下，大数据应运而生的数据应用已经渗透到了我们生活的方方面面，以其规模巨大、种类繁多、增长速度快、变化频繁和极具数据价值这五大特征，开创

2、了新时代的数据智慧。多维度数据碰撞产生的火花，让我们更加深刻的了解自己并贴近未来世界。大数据时代来临，我们的生活发生了巨大改变，数据应用带来了变革性的便利之处。在教育上，利用大数据实时记录学生的学习进度，让学生和教师都能及时、全面的掌握学习情况，从而发现不足和优势，有针对性的提出解决方案，加强练习；在日常生活中，各类智能家居设备已经进到家中，如智能门锁、智能冰箱、智能空调、智能传感器等等，让我们不在家时也可以第一时间掌握异常情况，或是提前让设备运行，为自己的生活带来便捷。还比如专门针对老人的智能监测系统，基于收集的老人海量行为数据和生理数据，发现其作息规律，形成一套完整的数据系统，从而预测异常

3、值，在有异常情况发生时能及时做出行动。在医疗上，我们让机器人如同资质深厚的老医生一样不断地学习积累病例中的数据，从读懂诊断报告，读懂某个病人的病例，到利用数字3D导航辅助医生的手术，帮助实现精准手术。在金融上，在农业上大数据在社会各个方面所带来的技术都极大的提高了人们的生活质量和生活水平，人们对于海量的数据的挖掘和运用，深刻的改变了传统的工作和思维模式，成为推动社会发展的创新引擎。正因如此，作为当代大学生的我们应该把握时代潮流，更新迭代，不断学习。首先，学会采集数据。数据采集是指从真实世界中获得原始数据的过程，是大数据分析的入口，是获取有效数据的重要途径。数据采集的办法有很多，用于采集物理世界

4、信息的传感器、用于采集数字设备运行状态的日志文件以及用于采集互联网信息的网络爬虫，其中网络爬虫是需要我们重点学习的。网页的生成主要是通过编写HTML文件，是一种半结构化数据，我们可以学习python语言来进行爬虫，也可以利用八爪鱼等爬虫软件来搜集我们想要的信息。其次，得到原始数据后，为了使数据更好地为我们所用，需要对大数据进行预处理。预处理是使残缺的数据完整，将冗余的数据删除，有效提高数据质量的一个必备步骤。数据预处理可以分为数据变换和数据清洗两个部分。数据变换是将数据转换成适当的形式以便更好地理解和处理，如简单函数变化、数据标准化、数据归一化、数据平滑等；数据清洗则是根据数据质量的五个维度的

5、要求，采取缺失值填充、平滑噪声等手段来提升数据质量，将原本杂乱无章的数据整理成有一定规律和可读性的数据。搜集并预处理数据后，就开始对数据进行分析。数据可视化是数据分析的有效手段。利用计算机图形学和图像处理技术,将数据转换成图形或图像在屏幕上显示出来，清晰明了的展示数据的总体趋势以及变化形式，显著提高了分析信息的效率，帮助我们更形象的去理解和分析信息。不仅如此，数据可视化还可以帮助观测和追踪数据，在前面提到的老年人智能监测系统就利用了数据可视化，通过传感器让老年人的生理变化实时展现在大屏幕上，一目了然。数据可视化可以分为高维数据可视化、网络和层次数据可视化、时空数据可视化以及文本数据可视化等多种

6、类型，当前关注较多的就是时空数据可视化。时空数据可视化按照时间和空间序列记录物体的移动轨迹,得到轨迹数据，从而进行视觉上的分析，发现规律，预测未来。大数据时代带来了商业、思维等社会各方面的变革。大数据之于工商业，日本先进工业的坐姿研究与汽车防盗系统、谷歌的数字图书馆、多效地理定位与UPS的最佳行车路径、用手机数据预测疾病传播和城市繁荣、英国对冲基金公司用微博数据预测股市投资时机、睡眠活动数据库与睡眠模式预测、GPS感应器判断环境因素对哮喘病的影响等等，这些商业例子都表明当今大数据正驱动着传统工业创新发展,从设计到生产，从运维到管理，工商业更加信息化、智能化，基于大数据，企业可以深刻把握和了解大

7、众喜好以及市场变化，使产品越来越符合消费者的需求。此外，对于卫星发动机等工程设计，通过构建大数据平台，不断积累实验数据，形成较为完整的模拟实验平台，在模拟平台上用无数次的数据迭代，换来物理世界的一次精准成功，不仅节约了多次实验的材料和人力成本，更加快了其研发速度，帮助中国的工业技术走在世界前列。但在我们每个人的数据都汇集到互联网上提供便利时，一些新的问题也随之产生。随着科技的不断发展，高智商、高手段的违法行为在虚拟网络上越来越多，贩卖个人信息、个人信息被二次利用、网络精准诈骗、摄像头监控偷窥等等，我们的个人隐私越来越得不到保障，政府如何在虚拟网络上监管、打压、惩治违法行为、各行各业如何守住底线

8、保护用户信息、公民如何提升自我信息数据保护意识，这些都是在如今大数据时代下需要解决的问题。大数据，核心就是预测，通过大数据的运用，挖掘不可见世界的价值，预测不可见的机遇或风险，解决未来的问题。在不久的将来，世界许多现在单纯依靠人类判断力的领域都会被计算机系统所改变甚至取代，那么人类打破边界、改革创新的能力就尤为可贵。数据，是我们这个时代极为宝贵的财富，基于数据的科学技术由辅助者逐步演变为引领者，驱动整个社会不断更新发展，不论是农业、商业，还是制造业、服务业，都将迎来前所未有的变革。而处在这个时代的我们，是否就失去了作用？其实，更大的数据在于人类本身，我们所具备的意识、创造和想象是大数据无法取代的，利用大数据这个工具，我们可以知道行为在未来如何谢幕，便可以采取补救措施，避免问题发生并改善结局。我们能在期末考试之前早早发现有退步趋势的学生;我们能检测到微小的癌变，赶在疾病完全爆发前根治；我们能预测到某种危险，然后尽力干预，避免出现可能的悲剧结局。我们可以判断出迎接未来的最佳方式，摇身变作未来的主人，在这个过程中我们无须去证明或理解，因为大数据已经帮我们做好了。我们要做的，是思考如何充分利用好这些数据，从而造福人类，让数据带领社会继续向前发展。6