人机交互技术

 定义

　　人机交互技术包括机器通过输出或显示设备给人提供大量有关信息及提示请示等，人通过输入设备给机器输入有关信息，回答问题及提示请示等。人机交互技术是计算机用户界面设计中的重要内容之一。它与认知学、人机工程学、心理学等学科领域有密切的联系。

　　也指通过电极将神经信号与电子信号互相联系，达到人脑与电脑互相沟通的技术，可以预见，电脑甚至可以在未来成为一种媒介，达到人脑与人脑意识之间的交流，即心灵感应。

发展历史

　　市场需求是很大的，而供应方面却略显不足，尤其是拥有核心知识产权，技术过硬的企业并不多，行业整体缺乏品牌效应。

　　⒈WIMP界面的形成

　　Xerox Palo研究中心于70年代中后期研制出原型机Star，形成了以窗口（Windows）、菜单（Menu）、图符（Icons）和指示装置（Pointing Devices）为基础的图形用户界面，也称WIMP界面。

　　Apple最先采用了这种图形界面，斯坦福研究所60年代的发展计划也对WIMP界面的发展产生了重要的影响。该计划强调增强人的智能，把人而不是技术放在了人机交互的中心位置。该计划的结果导致了许多硬件的发明，众所周知的鼠标就是其中之一。

　　⒉WIMP界面面临的问题和发展多媒体计算机和VR系统的出现，改变了人与计算机通信的方式和要求，使人机交互发生了很大的变化。在多媒体系统中继续采用WIMP界面有其内在的缺陷：随着多媒体软硬件技术的发展，在人机交互界面中计算机可以使用多种媒体，而用户只能同时用一个交互通道进行交互因而从计算机到用户的通信带宽要比从用户到计算机的大得多，这是一种不平衡的人-计算机交互。

　　虚拟现实技术除了要求有高度自然的三维人机交互技术外，由于受交互装置和交互环境的影响，不可能也不必要对用户的输入做精确的测量，而是一种非精确的人机交互。三维人机交互技术在科学计算可视化和三维CAD系统中占有重要的地位。基于WIMP技术的图形用户界面，从本质上讲，是一种二维交互技术，不具有三维直接操作的能力。要从根本上改变这种不平衡的通信，人机交互技术的发展必须适应从精确交互向非精确交互、从单通道交互向多通道交互以及从二维交互向三维交互的转变，发展用户与计算机之间快速、低耗的多通道界面。从右上表可以看出在计算机系统不同的发展阶段中，人机交互模型的发展过程。在传统的人机系统中，人被认为是操作员，只是对机器进行操作，而无真正的交互活动。在计算机系统中人还是被称为用户。只有在VR系统中的人才，是主动的参与者。

　　人类生活中的事件都是多通道的，人-计算机多通道交互技术的发展虽然受到软件和硬件的限制，但至少要满足两个条件：其一，多通道整合，不同通道的结合对用户的体验是十分重要的；其二，在交互中容许用户产生含糊和不精确的输入。

　　⒈非精确的交互

　　· 语音（Voice) 主要以语音识别为基础，但不强调很高的识别率，而是借助其它通道的约束进行交互。

　　姿势（Gesture) 主要利用数据手套、数据服装等装置，对手和身体的运动进行跟踪，完成自然的人机交互。

　　头部跟踪（HeadTracking）主要利用电磁、超声波等方法，通过对头部的运动进行定位交互。

　　视觉跟踪（Eye-Tracking）对眼睛运动过程进行定位的交互方式。

　　⒉多通道交互的体系结构

　　多通道交互的体系结构首先要能保证对多种非精确的交互通道进行综合，使多通道交互存在于一个统一的用户界面之中，同时，还要保证这种通道的综合在交互过程中的任何时候都能进行。图1和图2表示了这两种不同的体系结构。良好的体系结构应能保证多个通道的综合不只是发生在应用程序这一级。

　　人机交互技术是目前用户界面研究中发展得最快的领域之一，对此，各国都十分重视。美国在国家关键技术中，将人机界面列为信息技术中与软件和计算机并列的六项关键技术之一，并称其为"对计算机工业有着突出的重要性，对其它工业也是很重要的"。在美国国防关键技术中,人机界面不仅是软件技术中的重要内容之一，而且是与计算机和软件技术并列的11项关键技术之一。欧共体的欧洲信息技术研究与发展战略计划（ESPRIT）还专门设立了用户界面技术项 目，其中包括多通道人机交互界面（MultiModal Interface for Man-MachineInterfa

　　ce）。保持在这一领域中的领先，对整个智能计算机系统是至关重要的。我们可以以发展新的人机界面交互技术为基础，带动和引导相关的软硬件技术的发展，使更有效地使用计算机的计算处理能力成为可能。

研究现状

　　已经取得了不少研究成果，不少产品已经问世。侧重多媒体技术的有：触摸式显示屏实现的“桌面”计算机，能够随意折叠的柔性显示屏制造的电子书，从电影院搬进客厅指日可待的3D显示器，使用红绿蓝光激光二极管的视网膜成像显示器；侧重多通道技术的有：“汉王笔”手写汉字识别系统，结合在微软的Tablet PC 操作系统中数字墨水技术，广泛应用于Office/XP的中文版等办公、应用软件中的IBM/Via Voice连续中文语音识别系统，输入设备为摄像机、图像采集卡的手势识别技术，以IPHONE手机为代表的可支持更复杂的姿势识别的多触点式触摸屏技术，以及IPHONE中基于传感器的捕捉用户意图的隐式输入技术。

　　人机交互技术领域热点技术的应用潜力已经开始展现，比如智能手机配备的地理空间跟踪技术，应用于可穿戴式计算机、隐身技术、浸入式游戏等的动作识别技术，应用于虚拟现实、遥控机器人及远程医疗等的触觉交互技术，应用于呼叫路由、家庭自动化及语音拨号等场合的语音识别技术，对于有语言障碍的人士的无声语音识别，应用于广告、网站、产品目录、杂志效用测试的眼动跟踪技术，针对有语言和行动障碍人开发的“意念轮椅”采用的基于脑电波的人机界面技术等。热点技术的应用开发是机遇也是挑战，基于视觉的手势识别率低，实时性差，需要研究各种算法来改善识别的精度和速度，眼睛虹膜、掌纹、笔迹、步态、语音、唇读、人脸、DNA等人类特征的研发应用也正受到关注， 多通道的整合也是人机交互的热点，另外，与“无所不在的计算”、“云计算”等相关技术的融合与促进也需要继续探索。

主要特点

　　多媒体系统的交互特点

　　与传统用户界面相比，引入了视频和音频之后的多媒体用户界面，最重要的变化就是界面不再是一个静态界面，而是一个与时间有关的时变媒体界面。

　　人类使用语言和其它时变媒体（如姿势）的方式完全不同于其它媒体。从向用户呈现的信息来讲，时变媒体主要是顺序呈现的，而我们通常熟悉的视觉媒体（文本和图形）通常是同时呈现的。在传统的静止界面中，用户或是从一系列选项中进行选择（明确的界面通信成分），或是用可再认的方式进行交互（隐含的界面通信成分）。在时变媒体的用户界面中，所有选项和文件必须顺序呈现。由于媒体带宽和人的注意力的限制,在时变媒体中，用户不仅要控制呈现信息的内容，也必须控制何时呈现和如何呈现。

　　VR系统中人机交互的特点

　　人机交互可以说是VR系统的核心，因而，VR系统中人机交互的特点是所有软硬件设计的基础。其特点如下：

　　观察点（Viewpoint) 是用户做观察的起点。

　　导航（Navigation) 是指用户改变观察点的能力。

　　操作（Manipulation）是指用户对其周围对象起作用的能力。

　　临境（Immersion) 是指用户身临其境的感觉，这在VR系统中越来越重要。

　　VR系统中人机交互若要具备这些特点，就需要发展新的交互装置，其中包括三维空间定位装置、语言理解、视觉跟踪、头部跟踪和姿势识别等。

　　多媒体与VR系统的人机交互有着某些共同特点。首先，它们都是使用多个感觉通道，如视觉和听觉；其次，它们都是时变媒体。