Unity Open Day 北京站-工业专场：Unity引擎打造3D互动式汽车智能座舱体验

【获取 2023 Unity Open Day 北京站演讲 PPT】Unity 2018年开始加大工业领域投入和布局，特别是在汽车智能座舱方面有很多的尝试和创新，积累了丰富的经验。在Unity技术开放日北京站工业专场中，Unity中国平台技术总监杨栋分享了《Unity引擎打造3D互动式汽车智能座舱体验》主题演讲。杨栋：大家好，我是Unity的杨栋，今天和大家分享一下Unity引擎在汽车行业到底做了

Unity官方开发者社区

365人浏览 · 2023-06-25 20:31:14

Unity官方开发者社区 · 2023-06-25 20:31:14 发布

【获取 2023 Unity Open Day 北京站演讲 PPT】

Unity 2018年开始加大工业领域投入和布局，特别是在汽车智能座舱方面有很多的尝试和创新，积累了丰富的经验。在Unity技术开放日北京站工业专场中，Unity中国平台技术总监杨栋分享了《Unity引擎打造3D互动式汽车智能座舱体验》主题演讲。

杨栋：大家好，我是Unity的杨栋，今天和大家分享一下Unity引擎在汽车行业到底做了哪些事情。今天的内容分几块，首先我会简短地介绍一下Unity，然后有一些案例以及我们的工作流。一个游戏引擎怎么样可以用在汽车的中控屏、仪表盘甚至娱乐系统里，怎么样开发，这是大家比较感兴趣的事情。

首先，Unity在游戏行业很出名。去年第四季度总结下来，全球移动游戏最赚钱73%的游戏引擎都是Unity开发的，在游戏之外还有很多领域，包括今天重点讲的汽车和智能座舱，在制造、工程、仿真、数字孪生、宇宙、文旅和新媒体艺术和专业领域都有很多深耕。

这张图中间关注三个数字：50亿次——这是使用Unity引擎开发的应用每个月的下载量；TOP10——全球前十大汽车制造商及游戏厂商都使用Unity；300万+——这是全球月活开发者。国内注册的Unity用户是300万多一点，国内月活大概是二十多万。

这个视频我们看一下Unity具体在哪些方面的应用。非常同意CEO最后一句话，这句话也是一直驱动我们前进的动力。

我们看一下Unity HMI方面的案例。有蔚小理，当然还有一些不可说的项目会陆续发布出来。这个视频是在领克08上面的应用，它拥有非常丰富的3D场景以及3D车模，整个桌面几乎都是3D化的，可以配合实际的日夜变化。

我们知道车辆有很多传感器，传感器带动的是数据，数据可以用可视化渲染手段非常直观表达出来。这就是我们在真实开发过程中使用的理念——我们有很强的渲染能力，驱动的是各种各样的数据，包括ADAS、光线的数据，时间的数据，位置的数据和地图的数据。

手机也可以无缝关联到车机，这是车机即手机的概念，也可以说是跨平台的概念。跨平台的优势在Unity引擎里得到淋漓尽致的体现，我们在车里体验的内容为什么一定要局限于那几块屏幕呢？

这是小鹏P7和G9的展示，上面的视频是G9里的3D场景，包括Unity的开发界面。这个项目是我深度参与的，里面所有场景是当时我带着五位TA一起做的，上车的时候按照实际的需求做了一定的缩减，界面里用了非常多3D的元素。下面是手机上的APP，可以非常直观地看到这辆车的细节信息，包括内饰。我们可以做到在3D场景里转换镜头，直观看到你想买的这辆车到底长的什么样子。

这里是蔚来车机空调“一镜到底”的尝试，“一镜到底”指的是在三维空间里已经摆脱了二维的束缚，不是传统的卡片式设计。3D空间里可以随意变换镜头，看到完整的各种各样的材质和光照3D表现。

这是理想车型上AR HUD和中控屏的HMI，也是全面使用Unity开发的。

这是智己的案例，有两个亮点，一个是高清的车模，还有就是左侧的动态壁纸，意味着你可以随时随地按照节日或者特定的需求改变UI，这种应用是Unity原生支持的，包括动态的资源、逻辑、代码的替换更新。

这是高精地图的合作，数据是来自高德，可以做非常漂亮的日夜变化、高精地图模型动态生成、天气变化等等。大家看到这个效果是我们TA同事做出来的完整建筑物效果，包括外饰和内饰，可以定制化。

讲一下HMI开发流程。Unity在车机开发流程可以总结为三点：设计、开发和运营。具体流程从调研分析阶段到概念产出阶段，到场景模型产出阶段，到演示版本实现阶段，我们内部都走过好几遍，一直在使用这套流程生产或开发Unity HMI到车机上的应用。

这是我们设计师的一些作品：

传统的工作流有一个Gap，即从设计到实现和开发有割裂。最初需要出设计图、UI/UX、C4D,最终需要Unity开发团队和车机HMI开发团队去实时渲染实现这些效果。传统的工作流一般只能实现原始设计的50%到60%，最多70%，这是业界的数据。

Unity加入这个工作流以后能把设计更好地还原到上车内容上，车模车控、3D场景、3D地图、ADAS显示等内容设计和制作可以做到无缝衔接。做完动效以后有了完整的动效设计，在内部的流程里面我们最早就会把程序叫一起看这个需求，而并不是做完所有东西以后丢给他们。

后面我们要实现设计的时候，最关键的是迭代的过程。我们做Demo 2.0和3.0的时候内部也遇到这个问题，设计师老来问我，为什么TA同学、技术美术同学和程序员看不到最后的结果？我说这是一个迭代的过程，所谓的迭代过程就是一直在更新，一直在完善，这个过程中设计师从前端设计到后端实践都是有参与的。做完设计以后，去实现是一个迭代的过程，并不是一蹴而就的，这个迭代过程可以做到90%。

这是我刚说的完整的HMI开发的生命周期。

Unity增加到工作流里面可以节省很多时间，当然不同组织用这套流程开发HMI应用的时候当然有不一样的地方，但是都能达到节省成本的目的。

对于主流的车载芯片和操作系统我们都是支持的，Unity本身就是跨平台的引擎。

我们的引擎有非常多应用场景，虽然今天说的是汽车HMI上面的开发，但是不妨打开想象空间。车本身的营销、生产流程、包括自动驾驶的模拟等等都可以应用Unity引擎的能力。

Unity拥有完整的工具链，Unity编辑器是我们的核心产品，拥有渲染、脚本、动画、物理脚本等等，也是大家开发过程中需要的。我们还有非常多配套工具。比如Unity的Pixyz，在实时引擎里可以支撑很大的三角面，可以应用在检验上。再如Unity Forma，可以应用在营销领域，跨平台做互动式的车模展示。

下面谈一下我们做的Demo开发。所谓的Demo开发说白了就是自己验证自己刚才说的话，如果我们自己没有验证过，大家肯定不相信。我拿三个Demo给大家看一下。

这是2022年1月份春节前做的Demo，是我自己带几位同事花了一个半月做出来的。里面包含几个功能：地图的ADAS显示、数字人(4万个三角面)、高精车模(39万个三角面)、二维音乐播放器，还有一个重建界面，大家可以看实际的演示视频。我们叫Unity HMI Demo 1.0。这个数字人还没有应用AI技术，我们只是做了固定的动画和配音；车模拥有一些相对简单的功能，如开关车门、换颜色；以及比较传统的音乐播放器、ADAS二维地图的显示和充电界面。

到进博会之前三个月，我们又规划做了Demo 2.0，主要验证一个完整的3D场景。1.0到2.0设计风格完全不一样，2.0是我们的设计师设计的，大家看一下这个视频。2.0主要展现了3D HMI的概念，充电界面、空调风的界面、地面效果等很少有二维的UI，也有大场景运镜的效果。

进化到今年4月份的车展，我们的Demo又更新了一波，先看视频。这里主要模拟了几个不同场景，一是普通导航模式，一个是自动驾驶模式模式下的音乐可视化，还有第三空间，以及一开始的开场动画。

不同于1.0、2.0是放在PAD上面，Demo 3.0的内容是放在物理座舱里给大家体验的。下图是现场在上海车展的样子，我们的物理座舱着重显示前面的大屏，座位跟方向盘可以按照内容的变化进行互动。这个物理座舱和Demo 3.0已经搬到上海白玉兰办公室39楼去了，专门给客户演示用。

这是当时UI流程图，从左边迭代到最终右边的效果。最左边就是画的线框图，经过不停迭代变成了右边最终大家看到的效果。在引擎开发里迭代这个概念非常重要，相比CG行业渲染要很久，开发要尽量完善，引擎里渲染很快，所以可以快速迭代，这是不一样的地方。

稍微介绍一下3.0里的场景。首先是Opening，电影特效一样做的开场。小球落下来不是视频，而是实时渲染，所以可以无缝衔接到后面所有的场景，不会感觉到有所割裂。

第二是一镜到底的丝滑场景转换。因为所有东西都在一个场景里，所以可以丝滑运镜。下面是升级版的3D HMI出风空调效果。

三是电影级的运镜效果。

第四是自动驾驶模式下设计了五千个小球的音乐可视化。动画完全是由数据驱动的，数据就是音乐文件，在这个DEMO里放了两个音乐文件，如果放别的音乐，小球的行为就会完全不一样。这里用到了 DOTS技术，以提升用五千个小球做动画的性能。

另外就是第三空间，进入自动驾驶时代后，我们肯定一天有更多时间来体验车里的内容。游戏当然是一个非常重要的部分，demo 3.0里面放了两款游戏，一款是赛艇游戏，一款是像传统RPG游戏，都支持主副驾双人模式，可以交互，也支持线上。

左边的四列是现在车机已经实现的，我们重点关注最右侧蓝色的一列，接下来最重要的精力在做DEMO 4.0，游戏座舱体验是重点，它真正要跟座舱里的硬件进行结合，而不仅仅是触摸屏上的游戏。我们原生支持将近30个主流平台。

最后说一下创新的方向，我们重点在个性化方面，安全舒适也是在底层方面进化的方向。

另外在AI方面，Unity很早就介入AI了。这个是用ChatGPT大模型辅助写代码，直接放到引擎里做，这是我们的日本同事做的试验品AI Command，还有一个 AI Shader,可基于ChatGPT工具编写代码和shader，大家感兴趣可以看一下。

ML agents本质上可以用游戏数据模拟训练一个agent，就是比较聪明的AI代理，在自动驾驶和游戏NPC训练里都有应用。

最后说一下Barracuda这个包，跟车机有很大关系。AR HUD说白了就是把车机上渲染的内容，比如车导线、ADAS、速度等内容映射到AR HUD的display上,同时可以感知周边的环境。Barracuda这一套产品级工具可以运行ONEX格式的预先训练好的AI模型，一千种不同的AI模型拥有一千种不同的能力，可以应用到车机HMI渲染里(如AR HUD)结合起来，用预先渲染好的AI模型辅助车机能力，使车机拥有AI能力。这就是一个非常粗浅的想法，所以我想分享给大家。