智能家居人机交互方案DOC 40页.docx

《智能家居人机交互方案DOC 40页.docx》由会员分享，可在线阅读，更多相关《智能家居人机交互方案DOC 40页.docx（34页珍藏版）》请在第一文库网上搜索。

1、智能家居人机交互方案（DOC40页）1家居机器人1.1人机交互技术在终端机器人中要紧提供触摸显示与语音交互方式，并提供摄像头扩展接口，利于更高层次的开发。触摸显示交互是多媒体技术交互方式的一种，其依托于7寸触摸显示屏进行操作界面的实现与用户触摸输入。目前，在手机、平板等电子消费领域得到了非常广泛的应用。其有一个缺陷是，触摸显示屏安放在机器人的机体结构中，属于机器人的一部分，具体的使用过程不是特别方便。语音交互是本设计中的重要部分，是终端机器人与其他家电设备最大的却别。通过自然语言交流，一方面用户能够非常方便的使用机器人进行家庭中各类设备的操纵，另一方面其还能与老人对话，提供心理慰藉，或者者用于

2、幼龄儿童的教学。终端机器人中语音交互的方案使用科大讯飞语音云平台进行高效开发。语音识别的过程为：在本地进行语音采集，将采集的信息发送到语音云端，本地同意来自云端的识别结果在，然后进行智能处理；语音合成的过程为：将要合成的文本发送到语音云端，云端将语音信息返回到本地进行播放。科大讯飞云平台只是提供具体的识别与合成，而怎么让语音识别更智能化则需要进一步的研究。1.2系统硬件电子芯片技术的飞更加展，CPU处理核心的处理与运算性能越来越强。基于最大化利用CPU能力、减少成本与降低系统能耗的思想，本设计使用单处理核心，由Corte-A8(S5PV210)统筹系统的所有外设，进行设备操纵与信息采集。关于外

3、部设备，设备本身复杂程度与传输方式、传输速率上均有不一致，因此在对系统设备进行选型时尽量减少设备种类的复杂程度。系统框架中定义了2种设备总线:USB总线与IO数据总线。USB总线用于数据传输量大、传输速率高的复杂设备，IO数据总线则对应传输速率低的简单设备。USB总线使用Hub的形式进行多设备扩展。IO数据总线则使用抽象化与模块化思想设计，建立单独的底层扩展系统，规范相应设备接口。系统从总线的角度出发，将硬件分为2部分：底层扩展系统与上层Corte-A8平台。底层扩展系统要紧用于传感器数据采集、机器人动力系统操纵与情感操纵，设备的类型与操纵较为简单。而上层COrteX-A8平台则是在核心操纵器

4、的基础上搭载触摸显示屏、用户按键接口、音频输出与USB类的摄像头、Wi-Fi适配器、蓝牙适配器。整体的硬件架构如图1图11.2.1Cortex-A8与S5PV210ARMCorte-A8处理器是基于ARMV7-A体系结构，其设计要紧面向高性能与低功耗。目前，其突出的优势已经得到了市场的认可，在智能手机、机顶盒、数字电视、打印机等终端设备中具有广泛的应用。COrteX-A8处理器的要紧特点如下：1)128位SIMD引擎支持高性能媒体处理(NEON)；2)优化的1级高速缓存与集成的2级高速缓存；4)Thumb-2技术，提高性能并节约指令存储空间；5)动态分支预测，降低分支错误预测的危害；6)完整的

5、内存管理单元(MMU)；7)JaZene-RCT技术优化即时生产(JIT)与动态自习惯编译(DAC)；8)高功效与高性能的内存系统；Mini210s开发板以CorteX-A8的S5PV210为核心操纵器。S5VP210是一款高效率、高性能、低功耗的32为R1SC处理器，其适用于智能手机与平板电脑等智能终端。S5PV210在COrteX-A8的基础上拓展了多媒体方面的性能，其包含很多强大的硬件编解码功能，内置MFC(Mu1tiFormatCodec)高性能PoWerVRSGX5403D图形引擎与2D图形引擎、IVA3硬件加速器、HDMIv1.3等多媒体有关的处理模块。S5PV210使用584引脚

6、的FCFBGA封装，具有丰富的外围接口如TFT1CD操纵器、摄像头接口、MIPIDSI、ATA接口、UART、24通道DMA、定时器、GP10、USBHost2.0、USB2.0OTG等。S5PV210同时具有丰富的高质量的外部存储接口，其DRAM支持1PDDR1、DDR2、1PDDR2,FIaSh/ROM支持NANDF1ash、NOR-F1ash、SRAM等。S5PV210芯片结构图如图2所示。图2S5PV210芯片结构图1.2.2Mini210s开发平台Mini210s是一款高性能高性价比的COrteX-A8开发板，搭载三星S5PV210处理器，运行主频可高达IGHz,同时集成PoWerV

7、RSGX540高性能图形引擎。Mini210s开发板配备了512MDDR2内存与4GM1CNANDF1ash,其外部应用接口非常丰富如WM8960音频芯片、miniHDMI高清输出、USB2.0、CMOS摄像头、SDIO.矩阵键盘等接口（详见图4-15）,其电源电路也支持低功耗待机省电模式。该款开发板提供开源的AndrOid2.3.1系统源码与1inUXkerne1源码，方便用户进行二次开发。同时其还提供方便易使用的开发板烧写工具SUPerbOO3缩短了系统开发周期。根据终端系统功能设定要求，Mini210s开发板的板载资源要紧使用电阻触摸显示、USBoTG接口、音频接口三个部分。电阻触摸显示

8、接口与7寸一线精准电阻触摸显示屏连接，实现Android系统操作界面的显示与触控操作的检测。WiFi、蓝牙、USB摄像头等设备通过与USBHOST接口连接的USBHub完成基于USB设备的设备扩展。音频部分使用I2S0接口，外接WM8960C0DEC解码芯片，提供声音输入与SPeaker输出(内置D类功放，能直接连接8QIW扬声器)功能。图3MiIIi210s接口布局13服务内容图4小优机器人的动作与情感是其与其他家居设备的最重要的区别，能够实现更好的人机交互模式。机器人的动作要紧包含2类，机器人的正常行走与头部运动。行走操纵是在2轮轮系结构上通过操纵直流电机实现，机器人能够灵活地进行前进、后

9、退、左右转等动作。头部运动要紧包含了抬头与扭头的动作，2个自由度均通过直流电机实现。机器人有关动作作为服务公布到智能家居服务网关，其他终端能够通过网关或者者直接网络连接实现机器人的动作操纵。机器人的情感表达是机器人智能性的核心表达。其表现途径要紧有三个方面：1ED情感输出、机械动作与语音，通过三者的结合向用户立体地呈现了具体情感。3.2.2网络接入网络是物联网的核心基础之一，是物联网终端的基本特征。物联网终端工作的环境为一个家庭，其面积通常在几十到几百个平方米，因此在选择通信介质时需要选择覆盖面积较大、信号穿透力强的网络通信方式。再则该终端在家庭中大多数情况出于运动状态，通信介质应选取无线类型

10、的。目前消费市场流行的短距离无线通信方式要紧有蓝牙与WiFi。蓝牙与WiFi技术都是工作在全球通用的2.4GHzISM频段，有效解决了移动终端设备之间与与Internet的通信。通常蓝牙技术的有效通信距离为IOIn,新的蓝牙标准4.0能够达到IOOn1以上的超长距离。WiFi的有效通信距离则在几十米，发射功率足够大的情况下能达到IOon1以上，足够覆盖整个家庭环境。另外，蓝牙的传输速率较低，假如处理视频类的数据时会出现延迟问题。因此，设计中使用WiFi作为机器人的网络通信介质，连接局域网与互联网。为了方便WiFi模块的驱动移植，设计中选择的USB接口WiFi模块EDUPEP-8508GSo其使

11、用REA1TEK8188CUS芯片，使用802.I1n无线传输技术，传输速率高达150Mbps,内置高精密天线，传输稳固。另外，蓝牙通信在智能设备如手机、医疗健康类设备等中应用广泛，为了支持此类设备，终端系统使用USB接口的蓝牙适配器提供蓝牙通信通道。3.2.3智能家居应用在具体的家居环境中，物联网终端一方面作为设备对外公布自己的服务，如动作有关服务、视频服务等（能够根据具体的需求对其进行扩展），其他终端设备能够通过网络方式对其进行服务调用，另一方面终端能够通过网关调用其他设备所提供的服务，比如家电操纵的实现。服务调用的实现依托于家庭环境中的网络环境，要紧有2种模式:服务器模式与直接连接模式。

12、具体的网络结构如图3所示。服务器模式依托于现有的家居PC网关，家居环境中的各类设备与服务器网关进行连接，网关对设备统一进行管理。当需要操纵其他设备时，设备从网关获取操纵方式并将操纵请求发送到网关，网关同意到请求后先推断目标设备正常后将操纵请求发送到目标设备，目标设备接收请求并依情况进行响应。服务器模式优点是能够对设备进行统一管理，设备能够动态增减，但整体结构比较复杂，给家居环境增加了额外的设备开销。直接连接模式中各设备通过网络直接通过物理通信方式发送操纵指令与数据直接到达被控设备。由于直接连接模式没有网关对设备进行统一管理，因此在网络环境中务必对设备列表进行固化，不能实现设备的动态添加。但此种

13、模式技术实现简单而且没有额外开销。图3智能家居网络结构图物联网终端机器人对两种网络环境都提供支持。智能家居操纵时，终端通过WebSerViCe协议与网关通信，实现具体设备的操纵。同时终端也能够通过Wifi与家电操纵终端直接连接，终端机器人通过SOCket通信传递操纵指令，家电操纵终端通过Wifi转RS232模块将SoCket信息转化为串口数据，处理模块接收操纵指令后进行相应操作。终端机器人作为设备时，建立网络监听，同意相应的操纵信息即可进行响应3.2.5智能提醒及应用扩展人到老年后随着年龄的增加经历力不断退化，往往会出现遗忘需要完成的情况或者者是不记得吃药等现象。针对这一老年人的实际需求，物联

14、网终端机器人具有智能提醒的功能。用户根据需要通过语音命令或者者设置界面进行事件的设定，设置内容要紧包含时间与事件内容，当到达预定时间时机器人将进行有关时间的语音提示并在Android系统窗口推送时间提醒消息。智能提醒服务要紧是基于时间、时间提醒的应用，针对老人的心理慰藉问题也能够开发语音有关治疗软件。事实上，AndrOid系统搦有非常庞大的应用APP商店，涵盖了健康、保健、娱乐、教育等多个方面，用户根据自身的需求对应用程序进行定制，而且应用商店中的绝大多数软件都是能够免费使用的。关于一些专有性较强的应用，开发者根据具体的需求使用过AndroidSDK与有关工具即可开发。而且其上层应用开发几乎完

15、全与底层硬件相独立，大大缩小了开发难度。也正是由于强大的应用商店库与高效开发性，终端机器人实现选择搭载Android操作系统。2智能手机2.1智能手机的人机交互方式智能手机作为物联网家居中的一个重要的智能终端，在人机交互上有多种表达方式。常见的就有感应器、触摸屏、物理按键、加速度感应器、环境光线感应器、距离感应器、陀螺仪、指南针、GPS,摄像头、时钟、录音与常规的数据输入口(2/3/4G数据、TVIFI、蓝牙、数据线)。(1)触摸屏触摸屏是大家所熟知的命令输入设备，已经进展出全套的多手指手势，用于自然的命令输入。在智能手机上使用的最多的是点击、长按、横滑、拖动，以单指手势为主。两指以上的手势并

16、不太适合手机,由于常见的持机方式是单手持机。多指手势比较适合平板电脑。(2)传感器现在的移动操作系统都提供了对传感器的支持，假如硬件设备提供了这些传感器，目前支持的传感器有加速度传感器、光线传感器、压力传感器、方向传感器、磁场传感器、温度传感器等，通过这些传感器，用户能够很方便的获得手机的运行状态、当前的摆放方向、外界的磁场、温度与压力等。(3)GPS最直接的用途是在地图应用中调取当前位置，在1BS服务中获得POI点名称。只是NikeRUnning将其用于记录跑步的路径，也是一种比较有趣的拓展。（4）摄像头摄像头事实上是一种非常强大的信息获得设备。二维码在020领域的巨大潜力已经被微信搅起来了。之前一种颇为神奇的用途就是被heartrate通过拍摄手指血管来测量心律。其他的用途还有人脸身份识别、计算机视觉的手势识别、物体追踪等等。（5