前两讲分别说到MR产品踩坑实践中的 『需求坑』 和 『产品设计坑』 ，这一讲我们来聊一聊『硬件上的一些坑』还有『如何和真实世界结合』。

三、硬件上的一些坑

前面说到了UI设计，以及现在存在的设计规范不完善的问题，那么就不得不提一下制作设计规范或者说在实施过程中需要避免的一些坑了，在此稍微讲讲硬件上的内容：

MR眼镜

MR眼镜的底层显示原理有很多，此处不再一一展开了，目前最受巨头关注并获得大量资金投入的当属光波导技术了，原理见下图：

简单来说就是光从侧面发射出来，在镜片中经过全反射到达指定区域，然后直接进入到人眼，人眼接收到了光之后就能看到图像；从本质上来说和我们人眼看见东西是一个原理；那么此时就会有一个特点了，MR眼镜的镜片多是透明材质，可以接受外界光穿过镜片，那么在同一个位置你的眼睛既接受了MR设备发射出来的光，也接受了外界环境发射出来的光，这就会带来透明感，你能够透过虚拟的画面看到外界内容。

同理我们可以根据光的显示原理来看，白色光是由红绿蓝共同构成，那么黑色呢？黑色就是红绿蓝光都不发射，也就是说对于MR设备来说，黑色即不发光，此时我们的眼睛没有接收到设备发射的光，又接受到了外界的光，看起来就是全透明；所以我们在设计中需要注意，应该清楚知道纯黑色在MR设备中会表现成完全透明，如果要表现类似于黑色的内容，需要适当调整为深灰色近黑色。

移动设备

接下来稍微说说移动设备，由于我们的应用是跨平台应用，使用同一套内核来发布到各个平台，所以意味着我们不能直接使用原生的iOS开发，这个时候原生开发封装好的各种组件我们就需要自己去研究一番。

此处也例举讲一讲我们遇到的一些硬件上的问题：

屏幕类型

现阶段很多移动设备都从LCD屏幕升级到了OLED屏幕，单就硬件指标上来说能够看到屏幕分辨率大幅的上升，那么在实际设计中或者使用中真的有这么大的区别吗？不同的场景下是不一定的。

传统的LCD屏幕，每一个像素都会包含完整的红绿蓝，而OLED不是，例如iPhone X采用的是Pentile排列的OLED屏幕，如上图所示，这种排列方式将会公用像素点，显示图像时可以借用隔壁的红色或者蓝色像素，所以实际上相当于比起RGB的排列少了三分之二的子像素，真实显示的时候实际分辨率和像素密度也会有所阉割，按照这个逻辑来换算的话，iPhone X的458ppi的像素密度实际上相当于LCD的305。

那么在这种场景下，我们使用OLED屏幕来排列3D元素和场景时，就需要清楚这一特性，尽管屏幕像素密度足够高，但是由于会有临近像素协助发光的可能，物体或者模型边缘仍然有可能会出现发虚、杂色等情况。

DPI

另一种情况就是DPI这个东西了，熟悉苹果设计规范和屏幕尺寸的同学肯定清楚，iPad mini和当初的iPad air 1&2这两条产品线上的平板电脑，有着完全相同的物理分辨率，虽然近些年由于屏幕尺寸的调整有所变化(出现了诸如10.2、10.5这样的尺寸)，但是使用LCD屏幕的iPad上始终都有两种DPI：326ppi和264ppi，这个就会对适配工作带来不小的影响，同样的一套UI界面，在iPad mini上始终是要比在iPad或者iPad更小的，在设计中需要更多的考虑动态布局，使用pt来进行设计，并在MR系统中换算回真实尺寸，保证各个端应用显示的一致。

四、如何和真实世界结合

对于混合现实来说，如何和真实世界结合是一个非常重要的问题，尤其是以HoloLens2为首的这类设备，带给了我们更多的想象空间；那么MR应用如何能够更好的和真实世界结合呢？我们要怎样设计才能让我们的交互符合直觉符合习惯？

我们在真实世界中交互，点击一个按钮或者开关，会接收到真实世界的多种反馈视觉：按钮的被推进去了；听觉：发出了咔哒的声音；触觉：你的手摸到了按钮并且按钮会给到你一个力的反馈。

现阶段的硬件条件，还没有办法很好的给到用户以触觉的反馈，所以我们的思路将会更多的去优化视觉、听觉的体验，不过相信在不远的未来，我们也能看到力回馈手套这样的外设，来帮助我们更好地完成MR的交互体验。

视觉

下图是微软官方交互设计给出的参考，在视觉上给出相应的变化，可供大家参考：

1.这是一个按钮的正常状态： 2.当你的手靠近按钮的时候，按钮上会出现光影，能够把这个按钮照亮，让你知道你正在靠近这个按钮： 3.当你的手“触碰“到按钮的时候，光影完全遮盖住按钮，并且开始给出更多的视觉、听觉反馈： 4.当你的手把这个按钮按下去，它会真的跟随你的手指进行运动，就像在真实空间中点击一个按钮一样：

配合这样一系列的视觉适配，你能够看到随着你的点击操作，按钮给出了符合你的直觉的变化，就像一个真实的按钮一样被按了下去。

听觉

我们在MR设计中会着重的利用到双耳效应，配合3D引擎我们能够实现身临其境的环境立体声；当我们点击一个面前的按钮时，我们能够发出符合这个按钮位置的“咔哒”声，这样就增强了你的点击体验，极大的增强用户的临场感。

空间映射

最后就是空间映射了，这个话题稍微有点大，其实很多同学对AR和MR的区别不是很清楚，在此可以说一下我这边的理解：

AR其实更多的是一个增强，在屏幕上面出现一个三维模型，放置在了真实空间中，但是它和真实空间的关系是有限的，常常会出现一种“贴”在所有东西上“穿帮”的错觉。

那么MR呢？它对真实环境有着一定的认知，知道这里有一张桌子，那里有一把椅子，那么表现起来就可以是，我在桌子前扔一个虚拟的小球，小球能把桌子挡住，我在桌子后扔一个小球，桌子能把小球挡住。

那么在有着这类能力的设备中(目前主要是HoloLens2)，我们可以适当的考虑空间映射的问题，对一些特定的场景做一些遮挡和覆盖，能够增加临场感，更符合用户的自然心理预期。

可供参考

现阶段各大厂商也都在发力MR，也各自在这个领域建立了自己的一些规范和建议，大家有兴趣可以复制以下的链接进行查阅：

Microsoft https://docs.microsoft.com/en-us/windows/mixed-reality/design

Apple https://developer.apple.com/design/human-interface-guidelines/ios/system-capabilities/augmented-reality/

Google https://designguidelines.withgoogle.com/ar-design/