眼球、手部追踪,模拟与样例:Unity XR Interaction Toolkit 2.3 更新
Unity的XR Interaction Toolkit(XRI)是一个基于组件的high level交互系统,主要用于创作VR和AR体验。它提供了一种常见的互动框架,并简化了跨平台创作。本次更新新添了三项关键功能:用于让交互更自然的视线与手部追踪;让交互更生动的试听可供性(affordance);一个改进的、可在编辑器中测试的设备模拟器。若想深入了解更新,欢迎查看XRI 2.3的更新说明,或探索
·
Unity的XR Interaction Toolkit(XRI)是一个基于组件的high level交互系统,主要用于创作VR和AR体验。它提供了一种常见的互动框架,并简化了跨平台创作。本次更新新添了三项关键功能:
-
用于让交互更自然的视线与手部追踪;
-
让交互更生动的试听可供性(affordance);
-
一个改进的、可在编辑器中测试的设备模拟器。
全面支持关节式手部追踪
本次发布的XRI带有 Hands Interaction Demo ,该工程包所包含的手部交互配置支持在人手与手柄间切换,无需到设备上修改场景。有了这项功能,您可以按照标准的控制器配置来创建工程,随后无缝切换到人手,来完成特定任务或自然的游戏互动。
XRI 2.3的XR Poke Interactor同样支持自然的点戳互动,让用户能用双手或手柄戳控3D UI或 启用了XRI的UGUI Canvas元素。
用视线互动
HoloLens 2、Meta Quest Pro和PlayStation® VR2等新型头显包含有跟踪使用者视线的传感器。基于视线的交互能让XR应用更显自然,也带来了一种新的内容消费方式。为了支持此类交互,我们推出了由眼部或头部的注视姿势来驱动的XR Gaze Interactor。新的互动程序能直接操控对象,比如通过长时间注视来拿起或选取互动对象。
通常我们不推荐完全依靠眼睛来控制应用,因此我们还推出了额外的控制器和手部辅助互动: XR Interactable Snap Volume ,来帮助用户们选取特定物体。在对准物体周围的特定区域时,它可以将交互操作贴合到附近的可互动对象上,以此来补充视线交互程序。该组件同样可以独立于视线交互使用,让物体的选取更为轻松。
全球领先的眼球追踪技术开发商Tobii在功能的概念和研究方面为我们提供了援助。如果您有兴趣发掘更多,可以浏览他们的 眼球追踪概念知识库 。
借助可供性(affordance)生动呈现交互
使用裸手交互不同于手柄,没有触觉或触摸反馈来确认互动已经发生。而可供性系统带有多种组件,可响应物体交互状态的变化来播放动画或触发音效,以此来弥补反馈的空缺。系统可兼容新老项目里的任意互动程序和可互动对象。
用双手完成拉伸、甩动和旋转
新的XR General Grab Transformer可以简化项目的层级结构,允许用一个通用的变换程序在单个互动对象上完成单手或双手交互,不必再用多个抓取变换组件。它还支持双手缩放,允许通过闭合或张开双手来缩放对象,类似于在手机上的放大、缩小。
我们还添加了Interaction Group组件,从而允许开发者为互动程序分组,并按优先级对其进行排序,这使得同一时间执行单组的单个互动程序成为可能。例如,假设同一组包含着Poke、Direct和Ray三种Interactor,戳动按钮时其他互动程序将不会参与场景的互动。这可以避免很多误操作,如果用户正在编辑远处的某样东西,近处的物体就不会被抓取;如果用户正在抓取或戳动近处的物体,则引擎也不会向远处发射射线。
不用头显便能轻松完成迭代
在头显上测试XR应用固然重要,但编辑器内的测试可以切实减少迭代时间。在新版本中, XR Device Simulator 迎来了一次重大的可用性更新,新的屏幕UI小道具能让用户更轻松地查看驱动模拟器或当前活跃中的指令输入。
一些新的模拟模式也被添加其中,支持在多种常见的控制模式间切换。在启动时,设备模拟器默认会激活新的第一人称射击(FPS)模式,模仿玩家的全身运动来操纵头显和手柄。然后,用户可以切换到其他模式来操作单个设备,包括头显、左手柄和右手柄。要使用XR Device Simulator,请从Package Manager导入 样例 工程。
查看我们新的XRI样例项目
经过长时间的准备,我们的新版样例项目终于来了。该工程展示了所有XRI 2.3的XR体验开发工具,并根据功能分出了数个XR体验站,每一站都带有简单版和高级版的实例。您可以在 GitHub 上获取样例项目,将其用作XR应用开发的基础。
展望未来
尽管XR Interaction Toolkit的眼部和手部操作仍是个雏形,但我们会继续努力让XR体验的开发更轻松。随着XRI进入2.4及以上的阶段,我们将继续根据 用户反馈 来改进工具。
Unity很希望看到开发者们用这些工具构建的虚拟世界,在社交媒体上发表作品时,请带上#unityXRI的标签吧!
更多推荐
所有评论(0)