航运大数据分析与应用场景.docx

《航运大数据分析与应用场景.docx》由会员分享，可在线阅读，更多相关《航运大数据分析与应用场景.docx（13页珍藏版）》请在第一文库网上搜索。

1、航运大数据分析与应用场景大数据在航运界变的越来越时髦。在这个领域，可以用大数据来提高物流、排放、能耗和维护。使用大数据的约束主要来自船上传感器的成本和质量，数据采集系统，卫星通讯，数据关系以及有效收集和使用大数据。新的协议标准可能会简化包括电子导航领域在内的收集和管理数据的过程。本文综述了其中存在的问题和可能的解决方案。1 .引言航运正在进行第四次技术革命，有时叫做航运4.0或者网络航运。第一次革命是1800年左右从帆板到蒸汽。然后是1910年左右从蒸汽到柴油机。第三次是1970年左右自动化和计算机系统的引入。当前的技术革命是关于航运操作的各个方面的数据的，它可以和陆地上的工业4.0相比较，H

2、ermanneta1.(2015)o航运4.0就是像信息物理系统(CPS),物联网(IOT),服务网在内的新技术的应用。这些技术给提供数据和船岸服务的带有嵌入式计算机的船上装备提供了更多的智能。这里的“大数据”其实并不是很明显。大数据往往被定义为大量，高速或者多样性的数据，这些数据无法用传统的数据处理手段有效的用于分析，决策和控制，DeMauro(2015)。从计算机的处理能力角度看，很难说今天的航运是“大数据”的。因为船舶上获取的大量数据虽然很难用简单的工具处理，但是对于今天的计算机来说并不是问题。然而，从航运信息的复杂度和数量上来看确实需要新的方法和工具来使得用户能够准确的理解信息，从这个

3、角度来看，这也是一种大数据问题。第四次航运革命给高级实时控制和离线分析提供了大量新的可能的同时，也带来了很多其它数据以外的问题。这篇文章阐述了我们在大数据相关工作中遇到的一些问题，并且给出了如何解决它们的建议。2 .数据可用性的提高在几个方面可以产生关于船舶和船舶系统的数据，当然这里主要就是导航和自动化系统。这几个方面都和航运4.0密切相关，但是这几个方面都以各自不同的方式产生使用难易程度不同的数据。这一部分综述了现在的一些主要的数据来源。2.1 船桥数据网络，强制或特殊用途的仪器船桥装备往往是通过IEC61162协议族(IEC,2007-1015)数字接口连接起来的。这使得从导航传感器和装备

4、获取测量数据相对简单一些。IMo和船旗国稳定而缓慢增长的运输需求增加了船桥网络上的数据。另外一些特种船舶需要和它们操作相关的特殊仪器。这包括波雷达，漏油检测器以及高精度惯性导航传感器等。这些仪器可能无法通过标准接口进行访问。航行数据记录仪(VDR)有时候用来收集上述数据，但是使用的时候要注意VDR收集数据的数量和频率的约束。2.2 传统自动化大部分船舶上的自动化系统收集大量的数据，但是这些数据的质量参差不齐。即使一艘老式的散货船，它都有上百个数据输入输出点。在一艘现代的更加复杂的船舶上，数据点会是成千上万的。这类数据有两个主要的问题：第一个是数据访问问题，因为数据往往是在一个和具体厂商相关的封

5、闭系统中。第二是数据的质量问题，因为数据是用在闭环控制或者警报约束监控中，所以传感器的数据可能并不是很准确。对于老式的自动化系统，传感器可能已经失效或者失联。传感器很少提供数据的质量属性，所以用户需要自己确认测量数据是否合理或者判断数据是卡主了或者波动的太剧烈。有时，现代综合船桥系统将导航和自动化系统集成在一个平台内。这样可以更加方便的实现信息物理系统。这些系统也能够收集大量的数据，当然也会引入上述问题。2.3 新信息物理系统现代船舶使用更加高级的装备，这些装备内装有传感器和控制系统。这包括发动机和发电机，带有扭矩控制的绞盘，高级动力定位系统，新的导航传感器系统等等。系统通过计算机和传感器进行

6、状态监测，闭环控制或者监控报警状态。这类由计算机控制的集成物理系统是工业4.0（信息物理系统）最主要的特征。使用这些系统中的数据存在的问题和自动化系统中一样：无法访问以及在系统外访问这些数据不一定合适。对于CPS,数据的质量可能不是问题，因为这些数据都用在主动控制或者装备监控，而且传感器的误差可以很快的检测出来。2.4 船舶性能监控最近几年，尤其是当油价很高的时候，我们看到了船舶上用于性能监控和优化的装备大量增长。轴扭矩测量仪，燃油流量计，增强的环境传感器以及时间测量等等。这些仪器提供了可以提高船舶性能的准确数据。这些数据的可访问性和质量依赖于谁安装的这些仪器。有些时候，仪器和服务可能由第三方

7、提供，那么这时候要访问这些数据就不容易了。2.5 船舶报告船舶要发送很多操作和管理报告给岸上。这包括各种各样的强制港口和港口状态报告，海上正午报告以及技术维护报告等。其中很多数据不仅作为数据分析的来源很有用，对于船员的操作决策也很有用。这些报告往往是手工输入的，所以很容易出现输入误差。有些报告可能对船舶经济性有影响，所以人们可能会调整它来避免惩罚或者增加开销。同样的在使用数据之前要对数据的质量进行控制和验证。另一方面，这些报告也表示了船员对于船舶运行状态和操纵的观点，也许这些可以用来验证和控制自动获取的数据或者用来作为其它技术测量的补充。2.6 船舶外部监控一AIS和VTS另一个增长的船舶数据

8、源是外部监控。大部分港口国家在它们的海岸线部署了自动识别系统（A1S）基站网络。基站会监控在甚高频（VHF）无线电覆盖范围内的船舶交通状况。近地轨道卫星AIS接收机被用来扩展海岸基站的监控范围。A1S接收机可以提供非常有价值的船舶运动信息。在航行的时候，船舶会非常频繁的发送A1S数据，一般至少10秒一次。传输的数据包括位置，速度，航线，航向以及速度。低频消息将会传输船舶静态数据，气流和其它航行相关的信息。除了海岸国家的官方数据，还有一些无论是通过海岸基站还是卫星的私人AIS数据提供者。所以访问AIS数据往往不是问题，但是数据的质量和价格可能会各种各样。大部分情况下，我们得到的数据都是过滤之后的

9、数据，所以我们还要考虑到过滤后数据的含义。“过滤”往往是在大密度报告区域对数据大量的舍去，在没有报告的时候对数据进行插值。除了AIS,海岸国家也提供船舶交通服务（VTS）,它通过某些区域的雷达和CCTV系统监控船舶交通。有时，我们也会使用综合孔径雷达或者其他形式的卫星传感器来提高对周围环境的认知。以上数据对于普通人来说都是无法获取的。2.7 气象数据预测和历史气象数据可以通过付费或者免费两种渠道获取。当然，它们的差别是提供的气象信息的详细程度。免费的信息相对低分辨率，但是也能给出很好的关于环境对船舶影响的高层次信息。当船舶靠近海岸或者其他像岛屿或狭窄洋流附近等天气现象容易受到小规模地理特性影响

10、的区域，这些免费的信息就没什么用了。2.8 港口呼叫数据港口和船舶代理人需要收集船舶在靠近和停靠港口时的有价值信息。这些有用的数据可以给出港口延时以及装卸货时间的非常准确的信息。这些数据往往对于船舶或者船东来说以报表或者港口日志的形式存在。这些数据往往非常精准，因为它们往往是用来计算港口费用，效率以及其它重要的商业数据。3 .在船舶上有效收集船舶数据的障碍上一部分综述了通常使用的船上或船下数据源以及在访问和使用数据时遇到的问题。表1总结了数据的问题和它们的数据源。后面的子章节给出了数据获取的具体细节问题。表1：一般的数据获取问题来源问题1.网桥2.自动化3.CPS3.性能4.报告5.监控7.气

11、象8.港和上下文相关的数据质量XXX安全和保障的考虑XXX复杂现象很难测量XXX非自动化的数据输入导致错误XXX商业上的考虑可能导致报告上故意的错误XX劣质的仪器，数据上没有质量属性X专利问题以及昂贵的数据接口XXX推断出的数据的所有权X标准缺乏XXXAIS基站和卫星接收中的人为因素X网络攻击XXX3.1 和上下文相关的数据质量对于所有从一个系统中获取数据但应用到另一个系统的情况下都或多或少会遇到获取特定传感器数据上下文的问题。一个例子是相似类型的不同传感器，它们之间的关系是怎样的以及它们分布的位置：比如船舶往往有许多位置传感器，每个传感器都有它的参考位置而且每个传感器的质量属性在船桥系统之外

12、很难获取。直接使用导航系统中的位置数据会导致准确性问题和一致性问题。一个相似问题出现在闭环控制中的传感器或者作为警报的限定传感器。包括线性，补偿，准确性以及稳定性等在基本传感器特性往往会根据手边的任务进行调整，所以一个特定传感器的装配往往是成本，鲁棒性以及满足需求之间的平衡。对于控制和报警的应用，传感器可以通过控制和监控软件进行调整，绝对的测量质量可能并不是非常重要。除非对于外部系统来说这些调整是知道的，否则使用这些数据可能就会导致问题。不幸的是上下文问题解决起来并不容易，需要对每个测量增加复杂的属性列表，因为它们可能会在和原始上下文不同的情况下使用。从实际应用的角度看，以一个标准的形式来实现

13、可能显得有点过于复杂了，Rodse力(2016)。3.2 安全和保隙和网桥或者其它提供安全相关功能的数据网络进行连接可能是冒险的。任何接入网络或系统的物理连接都有可能是用于错误传播或恶意攻击的病毒设备。因此，这样的连接往往被船旗国或者特权阶级禁止。对于船桥网络，用于连接外部网络的安全以太网和防火墙技术己经有了进展IEC(2015),Rodsethand1ee(2015)。对于自动化网络，也有可能通过使用防火墙和网关实现安全连接。不幸的是，这方面的标准还没有开发出来，所以这方面的解决方案可能会变得很昂贵(看3.9)。3.3 测量复杂外部现象外部现象，比如环境对船舶性能的影响是很难准确的测量的，当

14、用关于这些的数据做计算的时候就要小心了。水的速度，风速，波浪和其它相似的数据在船舶周围变化非常的快。往往很难或者不可能从一个测量点(而往往大部分船舶是这么做的)来得到这些数据对船舶整体的影响。另外，传感器是挂载在船体里面还是外面也会对误差产生影响。这些传感器容易损坏，被外部的东西遮挡或者一般的折旧都会使得传感器变得不可靠。3.4 非自动化的数据记录导致的错误我们的经验告诉我们报表中的人工记录，计算机系统或者AIS收发器都是很主要的错误来源。比如AIS,它会显示航行的目的地，船舶吃水和航行模式，但它有时候也会显示非法或者错误的船舶特性。AIS有时候也会传输导航相关的数据，比如需要从外部传感器获取

15、到AIS的转速和真航向。很多AIS发送器不和这样的传感器相连接并且发送无效的数据或者从内部根据位置推断数据。很难去避免上述问题。一个显而易见的方案是使用自动获取的数据，但是如果需要和其它系统进行物理连接往往成本会很高。大量的有效性验证从短期来看往往是最相关的方案。然而自动化船舶报告在e航海策略实现计划，MO(2014),中是优先的解决方案。所以在未来几年可能需要这方面的进一步开发。3.5 商业的考虑可能会在报告中引入故意的错误有些从船到岸的报告有商业的成分，比如对于船东和租赁者。这可能包括装燃料，燃油消耗和速度的数据。这些数据包括在合同规定的性能报告，意外的坏天气报告和船舶安全相关的报告中。传统的，当报告者报告错误的数据有直接的经济利益的时候这会使得有些报告变得不可信。现在，篡改这些数据变得少了，因为可以直接通过AIS卫星，气象数据或者其它可用的信息进行一致性比对。然而这个问题在某种程度上仍然存在，所以商业敏感信息在分析中用到的话还是需要谨慎。3.6 低质量仪器一没有质量属性旧船舶上的传感器数据和操作上很少使用的数据可能会有不可靠的质量。