关键技术
虚拟现实是多种技术的综合,包括实时三维计算机图形技术,广角(宽视野)立体显示技术,对观察者头、眼和手的跟踪技术,以及触觉/力觉反馈、立体声、网络传输、语音输入输出技术等。下面对这些技术分别加以说明。
相比较而言,利用计算机模型产生图形图像并不是太难的事情。如果有足够准确的模型,又有足够的时间,我们就可以生成不同光照条件下各种物体的精确图像,但是这里的关键是实时。例如在飞行模拟系统中,图像的刷新相当重要,同时对图像质量的要求也很高,再加上非常复杂的虚拟环境,问题就变得相当困难。
显示
人看周围的世界时,由于两只眼睛的位置不同,得到的图像略有不同,这些图像在脑子里融合起来,就形成了一个关于周围世界的整体景象,这个景象中包括了距离远近的信息。当然,距离信息也可以通过其他方法获得,例如眼睛焦距的远近、物体大小的比较等。
在VR系统中,双目立体视觉起了很大作用。用户的两只眼睛看到的不同图像是分别产生的,显示在不同的显示器上。有的系统采用单个显示器,但用户带上特殊的眼镜后,一只眼睛只能看到奇数帧图像,另一只眼睛只能看到偶数帧图像,奇、偶帧之间的不同也就是视差就产生了立体感。
用户(头、眼)的跟踪:在人造环境中,每个物体相对于系统的坐标系都有一个位置与姿态,而用户也是如此。用户看到的景象是由用户的位置和头(眼)的方向来确定的。
跟踪头部运动的虚拟现实头套:在传统的计算机图形技术中,视场的改变是通过鼠标或键盘来实现的,用户的视觉系统和运动感知系统是分离的,而利用头部跟踪来改变图像的视角,用户的视觉系统和运动感知系统之间就可以联系起来,感觉更逼真。另一个优点是,用户不仅可以通过双目立体视觉去认识环境,而且可以通过头部的运动去观察环境。
在用户与计算机的交互中,键盘和鼠标是目前最常用的工具,但对于三维空间来说,它们都不太适合。在三维空间中因为有六个自由度,我们很难找出比较直观的办法把鼠标的平面运动映射成三维空间的任意运动。现在,已经有一些设备可以提供六个自由度,如3Space数字化仪和SpaceBall空间球等。另外一些性能比较优异的设备是数据手套和数据衣。
声音
人能够很好地判定声源的方向。在水平方向上,我们靠声音的相位差及强度的差别来确定声音的方向,因为声音到达两只耳朵的时间或距离有所不同。常见的立体声效果就是靠左右耳听到在不同位置录制的不同声音来实现的,所以会有一种方向感。现实生活里,当头部转动时,听到的声音的方向就会改变。但目前在VR系统中,声音的方向与用户头部的运动无关。
感觉反馈
在一个VR系统中,用户可以看到一个虚拟的杯子。你可以设法去抓住它,但是你的手没有真正接触杯子的感觉,并有可能穿过虚拟杯子的“表面”,而这在现实生活中是不可能的。解决这一问题的常用装置是在手套内层安装一些可以振动的触点来模拟触觉。
语音
在VR系统中,语音的输入输出也很重要。这就要求虚拟环境能听懂人的语言,并能与人实时交互。而让计算机识别人的语音是相当困难的,因为语音信号和自然语言信号有其“多边性”和复杂性。例如,连续语音中词与词之间没有明显的停顿,同一词、同一字的发音受前后词、字的影响,不仅不同人说同一词会有所不同,就是同一人发音也会受到心理、生理和环境的影响而有所不同。
使用人的自然语言作为计算机输入目前有两个问题,首先是效率问题,为便于计算机理解,输入的语音可能会相当啰嗦。其次是正确性问题,计算机理解语音的方法是对比匹配,而没有人的智能。
技术特点
VR艺术是伴随着“虚拟现实时代”的来临应运而生的一种新兴而独立的艺术门类,在《虚拟现实艺术: 形而上的终极再创造》一文中,关于VR艺术有如下的定义:“以虚拟现实(VR)、增强现实(AR)等人工智能技术作为媒介手段加以运用的艺术形式,我们称之为虚拟现实艺术,简称VR艺术。该艺术形式的主要特点是超文本性和交互性。”
“作为现代科技前沿的综合体现,VR艺术是通过人机界面对复杂数据进行可视化操作与交互的一种新的艺术语言形式,它吸引艺术家的重要之处,在于艺术思维与科技工具的密切交融和二者深层渗透所产生的全新的认知体验。与传统视窗操作下的新媒体艺术相比,交互性和扩展的人机对话,是VR艺术呈现其独特优势的关键所在。从整体意义上说,VR艺术是以新型人机对话为基础的交互性的艺术形式,其最大优势在于建构作品与参与者的对话,通过对话揭示意义生成的过程。
艺术家通过对VR、AR等技术的应用,可以采用更为自然的人机交互手段控制作品的形式,塑造出更具沉浸感的艺术环境和现实情况下不能实现的梦想,并赋予创造的过程以新的含义。如具有VR性质的交互装置系统可以设置观众穿越多重感官的交互通道以及穿越装置的过程,艺术家可以借助软件和硬件的顺畅配合来促进参与者与作品之间的沟通与反馈,创造良好的参与性和可操控性;也可以通过视频界面进行动作捕捉,储存访问者的行为片段,以保持参与者的意识增强性为基础,同步放映增强效果和重新塑造、处理过的影像;通过增强现实、混合现实等形式,将数字世界和真实世界结合在一起,观众可以通过自身动作控制投影的文本,如数据手套可以提供力的反馈,可移动的场景、360度旋转的球体空间不仅增强了作品的沉浸感,而且可以使观众进入作品的内部,操纵它、观察它的过程,甚至赋予观众参与再创造的机会。”
五大障碍
虚拟现实技术未来将会发展成一种改变我们生活方式的新突破。在第一代Oculus Rift的开发者大会上,所有与会者都看到了一个充满潜力的虚拟现实平台。
但是从现在来看,虚拟现实技术想要真正进入消费级市场,还有一段很长的路要走,包括Oculus公司在内。在Oculus内部,也对虚拟现实技术现在面对的问题进行了讨论,并且不断的在寻找解决方法。虽然所有问题最终都会找到答案,但是都不太可能在一夜之间全部解决。
目前,开发者如何为用户提供一个真正身临其境的游戏或应用体验还存在比较大的技术局限性,而一些问题到现在仍然还没有很好的解决办法。
没有真正进入虚拟世界的方法
在Oculus Rift开发圈有一个著名的笑话,每当有人让使用者站起来走走时,对方通常都不敢轻易走动,因为Oculus Rift还依然要通过线缆连接到计算设备上,而这也大幅限制了使用者的活动范围。
包括Oculus Rift在内的各种虚拟现实装备依然在阻挡着用户和虚拟世界之间的交流。这些装置盖住了我们的眼睛,只是改变了我们的视线,但是并非涵盖了我们所有的视野范围。本来笨手笨脚的配合鼠标和键盘使用就已经非常尴尬,而任何尝试大范围移动的行为都会被各种线缆束缚。
“我们不希望用户因此而受到伤害。”Oculus VR创始人Palmer Luckey表示。
部分开发者曾经考虑专门创建一个房间来供虚拟现实设备使用,但是问题似乎并不会如此简单的就被解决。在游戏中真正身临其境的体验包括了蹲、躲避甚至是攀爬等动作,而这些目前来看还无法给使用者带来逼真的沉浸式体验。
虽然现在有一些第三方的解决方案,比如Virtuix Omni跑步机可以让玩家在固定的空间内安全的模拟移动,但是这些大家伙通常价格昂贵,并不是普通玩家所能承受的负担。
如何“输入”也是一大困扰
虚拟现实更大的挑战也许是如何在虚拟世界中与目标进行互动。Oculus Rift只是对用户的头部进行跟踪,但是并不能追踪身体的其它部位。比如玩家的手部动作现在就无法真正模拟。“输入是能够给用户带来最重要和明显的体验,如果不能模拟动作,用户总会找不到自己的手在哪里。”Luckey表示。
虚拟现实如何输入是游戏开发者和硬件制造商目前非常大的困扰。虽然现在Xbox的手柄已经可以成为PC的控制器,但是在实际应用中还缺乏一些经验。其它控制装置,比如Razer Hydra和STEM系统,虽然都给出了很多承诺,但是依然还是不能模拟使用者的双手。
目前还没有明确的方法来直到如何具体的实现虚拟现实技术在手势上的追踪。“我们都知道有些事物不太对劲,他们已经妨碍了我们与虚拟世界之间的沟通。”Luckey说。Oculus似乎依然在开发属于自己的输入设备,但是目前还没有太大的成果。
“有些人在采取措施,但是目前大家都不知道自己要做的是什么。虽然有控制器、还有枪,但是我们需要的是一种专门为虚拟现实设备开发的专用输入设备,并且会成为主流。它不一定很完美,但是必须要超越一把剑、一支枪甚至是一双手。这是非常困难的,不过模拟一只手要比枪难度更大。”他表示。
缺乏统一的标准
虚拟现实技术目前仍处于初级阶段,毫无疑问,对于这个平台大家都有着各自的演示方法,无论是粗糙还是漂亮,最关键的也就是最后的几分钟。虽然许多开发者对虚拟现实充满了热情,但是似乎大家都没有一个统一的标准。
作为一个全新的平台,只有引起人们的兴趣才能取得成功,包括实际的体验。DVD电影、游戏机甚至是YouTube现在都已经变得无处不在,就因为许多人都对他们有兴趣。同样,虚拟现实技术想要引人注目,就必须吸引的不只是专业爱好者。尤其是对于那些年长一些或者非科技爱好者来说,同样非常重要。
“有些技术刚开始看起来很酷,但是慢慢就变得没那么有吸引力了。显然虚拟现实平台想要成长成参天大树,还需要多年的时间。”Luckey表示。
游戏体验也许并不需要用户了解多么多的专业技术,只需要提供一个逼真的虚拟现实体验即可。Luckey指出人们通常都喜欢大多数人喜欢的事物,同样,分享才能带来更多的乐趣。
现在还有许多虚拟现实技术不止关注游戏领域,比如Oculus Rift就为三星的Gear VR开发了两款应用,一款是专门用来欣赏电影,另外一款则是360度全方位的照片查看工具。
“这些工具的实用性非常重要,因为很多人会多次反复使用。”Oculus VR产品副总裁Nate Mitchell说。“这就像是现在的智能手机,虽然它用来听音乐并不是最好效果的那个,但是至少想听的时候随时都可以,这很方便。我尝试过用虚拟现实装置看电影,效果真的很棒。”
容易让人感到疲劳
所有游戏开发商或电影制作公司都应该了解如何在虚拟现实场景中不同的使用摄像机。移动着观看和静坐观看,二者带来的体验是截然不同的。镜头的加速移动,就会带来不同的焦点,而这些如果运用不当,就会给用户带来恶心的感觉。甚至如果镜头移动的过于迅速,直接会暂时影响用户的视力。
有些人要更敏感,更容易眩晕。虽然Oculus VR首席执行官Brendan Iribe表示最新的产品可以避免为用户带来身体不适,但是仍然需要用户亲身体验过才行。目前还有一些研究显示,女性通常要比男性更容易对这些设备产生不适(另外很少有女性会参与到虚拟现实装置的测试体验)。
看起来还是有点蠢
最后一点虽然看起来有些肤浅,但是同样很重要。虽然是一款专业的游戏设备,但是现在我们佩戴起来非常笨重并且不自然,甚至看起来有些愚蠢。虽然目前我们不知道最终版的Oculus Rift会是什么样子,但是从目前来看,想要让它变得轻盈似乎不太可能。
虽然Oculus Rift不是在公共场所使用的设备,但是普通用户绝对也接受不了它们现在的样子。不过这些问题并非不可解决,大多数熟悉虚拟现实装备的开发者都表示,未来关于设备的外观变得更漂亮并不是一件困难的事情。
虽然虚拟现实技术现在看起来还非常初级,但是终有一天它将成为我们与计算机交互方式最大的一种转型,改变人们与科技之间的关系。虚拟现实技术未来最终将让我们与虚拟世界之间,更加自然的交互。