大数据环境下关于信号处理的技术探讨.docx

《大数据环境下关于信号处理的技术探讨.docx》由会员分享，可在线阅读，更多相关《大数据环境下关于信号处理的技术探讨.docx（3页珍藏版）》请在第一文库网上搜索。

1、大数据环境下关于信号处理的技术探讨。引言自上世纪八十年代以来，有关信号处理的理论、方法一直处于不断发展、不断丰富和不断完善的进程中。随着现代科学技术的进步，信号处理的理论、系统技术也处于不断发展的阶段，推动着信号进入了一个多样化、规模化的采集时代。信号在采集方式、表现形式、分辨率、信号维度等多个方面都发生了显著的变化，如信号的采集方式由单一的传感器转变为采集网络化，信号的表现形式由单一化转变为多样化，信号的分辨率由低分辨率信号转变为高分辨率信号等。当前，全国各地传感探头的数量达千万以上，传感探头在交通、医疗、金融、电力等多个领域都有着广泛的应用。过去,信号处理研究人员主要围绕如何有效的采取措施

2、来解决“信号采集瓶颈”这个问题，该问题的产生主要原因是传感器系统只能采集较少的信号量，给后面的信息提取带来了较大的困难。因此，信号处理研究人员需要从两个方面做出努力，一是尽可能的采集更为丰富的信号数据，二是尽可能的使用较少的数据来做最多的事。在大数据环境下，信号处理面临的困境已经不是信号采集量过少，而是如何采取适当的措施来实现大量的信号数据的高速有效处理。在大数据环境下，信号数据变得更加的丰富，但信号处理需面临着下面几个问题：一是如何通过感知压缩来有效的降低信号数据量;二是如何通过多传感器有效的实现信息资源的融合来处理更为更杂的多源信息;三是如何通过智能传感器技术有效的实现有用信号数据的提取；

3、四是如何通过高速信号处理技术来实现信号处理速度的进一步的提升。1多传感器信息融合1.1 多传感器信息融合模型多传感器组网系统最初主要的应用于军事领域中，随着该技术的应用价值受到越来越多行业领域的重视，如今在智能机器人、智能交通系统、医学成像与诊断等多个领域都有着广泛的应用。不同应用平台上的不同类型的传感器都能够有效的采集海量的信号数据，有着较为丰富的内容，彼此之间还能形成有效的互补。以单一传感节点为例，其采集的大多数的信号数据的精确度都低于95%。因此，要想在海量、多种类型的数据信息中提取有价值、精确度高的信息，进而能够更加准确的判定对象的属性和特征，一个必要的途径就是需要实现来源于不同类型的

4、信号源的数据信息的融合。目前，信息融合主要包含JD1数据融合模型、Boyd控制环、瀑布模型、DaSarathy模型及混合模型五种方法。其中JD1模型较为详细的划分了中层功能，瀑布模型非常准确的区分了底层功能，而BOyd模型则对高层处理做出了最为详细的阐述。此外，以融合任务或功能为依据，就可以成功的构建Dasarathy模型。最后介绍一下混合模型，该模型将Dasarathy模型的反馈迭代特性和Boyd环的循环特性有效的结合在一起，并很好的使用了瀑布模型中的定义，每个定义又与JD1和Dasarathy模型的每个级别有效的联系在一起。1.2 信息融合技术的发展多传感器网络组成了一个用于庞大数据信息的

5、大数据系统,每一种传感器所提供的数据信息都具备复杂、多样的特性。要想能更加方便、快捷的协调使用传感器所提供的海量、多样的信息，就必须采用信息融合的方法，在时空上优化处理那些互补、冗余的信息，进而能更加精确的判定观察对象的本质属性，最终从根本上提升系统的效能。对于信息融合方法的选取，要以其所应用的场所为依据。现阶段，与信息融合相关的复杂问题还不能用一些数学工具描述和处理，因而需加快发展和丰富与信息融合有关的理论，构建一整套通用的一般问题的解决方法。要想使得多传感器信息融合变得更加的实用，必须很好的解决以下几个问题：一是要成功的处理好来源于不同信号源的数据的时空配准问题；二是要成功的解决不同密度和

6、粒度级别的数据融合问题;三是需要成功的解决时间不同步、测量维度不匹配等异类数据融合问题。这些问题的存在对传统的信息融合方法提出了更高的要求，必须要改进传统的融合算法，并加以创新，形成新的算法，这样才能进一步的提升融合的准确性和精度。2智能传感网技术2.1 智能传感器基础智能传感器的建立依赖于下面的两个基础：一是随着硬件技术的发展，可以花费更少的成本并能够在传感器节点上配备更多的计算资源，进而实现信号处理。二是传统的传感器形成的原始数据量往往远远的大于那些感兴趣的信号信息量,这些让人感兴趣的信号信息量一般处于高维原始传感器数据空间的一个极低的子集中。智能传感器更加亲睐于直接的获取该信息，再进行传

7、输、存储和处理。2.2 智能传感器节点技术智能相机是可视传感网中一个非常经典的智能传感器，智慧相机将视频采集、压缩、处理等功能成功的集成在一个嵌入式平台上,进而形成了一种拥有视频处理和通信两种功能的视频相机系统。通过智慧相机，能够更为方便的将原先的在中心工作站上的计算机视觉算法迁移到相机端，从而实现分布式计算。分布式计算在降低网络通信负荷、提升网络应用的可靠性、增强网络的可扩展性等方面有着较为显著的优势。2.3 智能传感网的计算随着传感器节点规模的急剧增大，带来了一系列的大数据问题，需要采取一些措施来解决智能传感网的计算技术。以可视传感网为例，比较详细的阐明了与智能传感网计算相关的一些重要的技

8、术。在可视传感网中，各摄像机间的空间位置关系、视场间的空间覆盖或邻接关系可以通过视觉拓扑结构来表征。拓扑结构的计算可以通过摄像机视场的源和汇以及源和汇间的路径进行拓扑建模。拓扑结构可以用图表示，节点代表的就是源和汇，而边代表的就是源和汇间的连接路径。此外，要想成功的解决智能传感器的大数据问题，一个关键就是分布式智能算法。该算法不仅能够有效的加强网络的可扩展性，还有助于提升可视传感网的效率和鲁棒性。在该算法中，摄像机节点可以很好的运用自己的数据，及与其相关的重叠视场或邻近关系视场的其他摄像机传来的数据，可以很好的完成的特征抽取和匹配、目标和摄像机姿态估计、三维重构等计算机视觉任务。3高速数字信号

9、处理3.1 高速数字信号处理面临的挑战如今，传感器性能日益增强，应用环境越来越复杂，对信号处理系统的性能提出了更高的要求，不仅需要具备更强的信号处理能力及I/O带宽，还需要具有易升级扩展、功耗低等特性。现阶段，高速数字信号处理迎来了以下三个方面的挑战：一是数据量的提升增大了高速数据传输、处理压力；二是民用领域高性能信号处理的需求日益增长；三是新型的串行总线传输的发展和应用更为广泛，而过去的并行传输的发展遇到了阻碍。3.2 高速信号处理核心技术发展动向上述挑战的存在，对高速信号处理核心技术的发展提出了新的要求，其必将朝着多核信号处理器、高速多处理器互联技术及高性能开放式标准总线架这三个方向发展。

10、一是基于RaPidI。的高性能嵌入式互连技术。由于高性能嵌入式系统的发展迅速，使得芯片间及板间互连对带宽、可靠性等方面提出了更加严格的要求。R叩idIO简化了流控机制,在一定程度上限制了软件复杂度,进而可以更加容易的运用硬件实现纠错重传机制乃至整个协议栈。能够支持多种传输模式，具有很强的灵活性，且更加容易升级拓展。还有就是进一步的缩小了传输时延，使得数据包的传输效率大大的提高了。二是基于多核DSP和多处理器的并行处理技术。虽然多核DSP技术的发展大大的提高了以FPGA和DSP为核心的信号处理能力，但仍然存在一些问题亟需解决：如怎样有效的摆脱串行处理方式的约束，如何解决编程语言对并行性的限制等。

11、三是基于串行交换结构的高性能处理平台。该技术不仅有效的增强了军用和航空嵌入式计算机系统的性能，还在一定程度上降低了系统成本。要想一种网络交换技术满足国防和航空嵌入式应用领域中所有的需求是不现实的，为了满足不同行业的不同需求，分层解决方案应运而生。我国多核DSP和多处理器的嵌入式并行信号处理技术的发展处于一个较为缓慢的进程中，为了更快的摆脱这样的困境，必须在高速信号处理系统、芯片的自主技术等发展上给予更多的支持.4结束语在大数据环境下，信号处理瓶颈从过去的信号采集环节转变为后续的信号处理、通信和存储环节。各种传感器提供的信号数据往往具有量大、多样、复杂等特点，因而有效的实现信息融合是相当必要的。智能传感网技术在有效的降低后续的通信容量和信号处理要求方面有着显著的优势，因而能在大数据环境中更容易的实现有用信号数据的提取。现如今，宽带技术、高分辨技术、通信技术的发展飞速，信号中含有越来越多的数据量，因而对高速信号处理技术提出了更加严格的要求，加快高速信号处理技术的研发和创新工作是非常必要的。