AI 3D创作真的要来了吗？内容创作者的饭碗还稳吗？

VR一直都以轻量化内容为主，缺重度内容已久。

重度内容相较于轻量化内容更能满足用户的沉浸式体验，以游戏为例，好的体验感需要大量高精度3D素材，丰富的游戏角色和精美的画面场景，在此基础上增加空间感知与交互、玩法等。

传统的建模方式不仅成本较高而且具备较高的门槛，同时人工建模领域优秀的建模师稀缺，这也使成本再次上升。因此，业内都在寻求高效且低成本的3D内容生成方式。

近期，生成式AI爆火，从AIGC到3D模型，各大公司都开始自研或发布AI 3D创作解决方案。例如腾讯AI Lab提出自研3D虚拟场景自动生成解决方案，帮助游戏开发者以更低成本创造风格多样、 贴近现实的虚拟城市，提升3D虚拟场景的生产效率。

生成式AI仅仅依靠一张图片或者输入关键文字就能转化成3D模型，这种惊人的创作很快就让人对这个领域产生了一连串的畅想：AI 3D创作真的要来了吗？内容创作者的饭碗还稳吗？以下将从VR内容制作的两个重要环节：建模与渲染进行分析。

 

图源：网络

 AI 3D建模正加速到来 

3D素材是包括游戏、影视、社交等所有3D应用的基石，如果可以通过输入文本快速生成三维模型，3D建模师就可以结合这项技术提高工作的效率，达到降本增效的效果，而海量的3D素材无疑会进一步推动VR的发展。

前面也提到由于人工建模需要花费大量的时间和成本，因此很难满足AR/VR对3D素材的需求。若想推动元宇宙产业快速发展，海量的3D素材少不了，这也是为什么各大企业都在纷纷研发结合AI创建3D建模的技术。

2022年谷歌曾发表过一篇论文《DreamFusion：Text-To-3D Using 2D Diffusion》，详细概述了“DreamFusion”。简单来看，“DreamFusion”是先使用一个预训练2D扩散模型（如Imagen）基于文本提示生成多个视角的3D视图，再依据NeRF（神经辐射场）重建。

NeRF与Imagen互相影响，没有一个训练得比较好的NeRF，Imagen很难生成连贯的多视角图；反之，就得不到好的NeRF。于是作者提出NeRF和Imagen来回迭代的方法。这种来回迭代有个缺陷是耗时，如来回迭代15000次，生成一个模型就需要在4块TPUv4上训练1.5小时。

图：3DNeRF和2D生成模型来回迭代优化（来源：dreamfusion3d）

目前很多三维方法都是基于NeRF所生成的，这种方式生成的三维物体在效率、渲染、质量上都有显著的提升，但现阶段还不能做结构数据，也就是Mesh，无法用来开发VR重度内容。关于NeRF（神经辐射场）详细介绍，可以参阅VR陀螺近期文章《高效低成本构建元宇宙场景：NeRF神经辐射场》

 图源：网络

2022年，英伟达也发表了一篇关于《Magic3D：High-Resolution Text-to-3D Content Creation》的论文。文中阐述了生成式AI如何无需特殊培训也可创建3D模型的过程。

随着近期AIGC的爆火，Magic3D在业内得到了极大的关注。也正因为看到Magic3D建模的效果，业内人士普遍认为AI 3D创作真的要来了。

Magic3D将重建过程分成了两部分，一是先使用低分辨率创建粗略的模型，到第二阶段从粗神经表示初始化的纹理网格模型，使用与高分辨率潜在扩散模型交互的高效可微的光栅化渲染器进行优化。类似于DreamFusion使用文本到生成2D图像，然后基于NeRF创建3D模型一般。

图：Magic3D的两阶段优化过程示意图（来源：网络）

Magic3D还可以根据给定主题实例输入图像，使用DreamBooth微调扩散模型，并使用给定的提示优化3D模型。

图：在给定主题下根据提示进行模型优化（来源：网络）

同时，只需要40分钟左右，Magic3D就可以创建一个带有彩色纹理的3D网格模型，相比DreamFusion快了2倍。

目前DreamFusion和Magic3D尚未开源，同时也未达到商业化的成熟度。AI创作对数据、算法有着极高的要求，而3D数据又具有天然的稀缺性，难收集等特点，即便有了庞大的数据，AI如何从庞大的数据中学习创作也是一个问题；而从2D直接扩展到3D，也需要极大的计算量，如何加快优化速度，如何撰写正确的脚本都是需要解决的算法问题。

此外，AI 3D创作在落地场景、可行性的商业化路径、技术风险等方面都尚无法达到工业化的生产标准，甚至还有很长一段路要走，据业内预估可能五年或长达十年之久。但可以看到的是ChatGPT已经可以根据一段文字描述进行编码生成脚本，而GPT-5大模型也在筹备中了，就像互相迭代一样，通过不断地反馈更改，AI会变得越来越智能，所生成的编码会逐步优化升级，达到初步使用的需求。

一旦生成式AI的3D创作技术成熟，就可以加速VR游戏、视频以及应用程序的开发。届时，或将会解决VR海量内容需求的一大痛点。

 AI实时渲染：技术仍有限 

除了建模，VR内容制作另一个重要环节便是渲染了。渲染对用户体验有直接的影响，一般在AR/VR场景中，为了能够实现灵活的交互方式和丰富的感官体验，需要在内容生产中提升配套的实时渲染能力。

相对于传统的非实时渲染，实时渲染所见即所得，能够更加直观地看到输出效果，方便制作人员进行调整。目前，人工智能已经开始在实时运算渲染领域初显本领了。

近期，海外一款名为ArkoAI的人工智能渲染器在设计创作领域得到了极大关注，以插件形式安装在SketchUp、Rhino、Revit中。

使用者只需要输入关键词，仅几秒就可以渲染出较好的效果图；同时还可以将模型置于不同的场景中，即便是简单的几何形体也能渲染出效果图。

图源：网络

ArkoAI的初衷是简化设计师繁琐的工作流程，但目前还只是一个简单的AI生成器，生成的图片大部分是关于建筑和室内领域；同时，渲染水平也停留在比较初级的阶段，对建筑风格和结构的理解非常有限。前面也提到AI的核心是算法和数据，在渲染层面亦是如此。

目前AI渲染还达不到真正的使用需求，同时在多次输入相同关键词的情况下，渲染的图会逐渐变得模糊甚至走形，AI的“智能”程度仍然有限。

虽然还不能切入VR内容的创作层面，但是这个风向标却越来越清晰了。

图源：网络

在GTC 2023大会上，英伟达也针对AI视频、图像生成、大型语言模型、图形渲染等推出了NVIDIA L40，旨在利用AI加速渲染，基于数据和神经网络训练方法形成的自动化的材质生产链路，具有高度还原离线材质、速度快、且能够快速迭代的优势。

图源：网络

此外，如前面提到的英伟达Magic3D也可以从文字描述中渲染出彩色纹理的3D网格模型，例如最近比较火的“一只坐在睡莲上的蓝色毒镖蛙”。

图：Magic3D 渲染的箭毒蛙 3D 模型（来源：网络）

Meta、微软、谷歌等企业也都在投资实时3D渲染，在未来数年里，无论是AI渲染还是AI建模的技术都会比现在进化的更好，无疑会给3D创作带来巨大的进步，也将会使创作环节变得更快、制作成本更低。

AI的触角在3D创作设计领域延伸的越来越深，甚至日本已经有企业开始采用AI作画实现商业化运行了。从AI到AI 3D建模再到实时渲染，我们正在经历“技术改变创作领域甚至一切设计工作”这一场景。随着研发深入，未来创作者直接输入会变得更少，3D素材呈现巨量增长的态势。

 AI抢工作成定局？

图源：网络

在人工智能普遍成为各行各业的底层技术背景下，大家都在思考AI还能做什么？我们的工作是不是正在面临被淘汰的局面？不仅在科技领域，传统行业如律师、编辑等都发出了相似的感叹。甚至也有机构作出细化分析，哪些职位未来不会被取代。一夜之间，所有人对AI的恐慌好像都上了一个层次。

其实AI创作会不会真的抢人类的“饭碗”得就具体岗位而论，就像工业4.0大潮中替代一线工人的机器人一样，甚至有些工厂已经实现了全自动化运行，大量不需要创意、简单且重复性的劳动已经被替代。

本轮AI的大潮与工业4.0的本质区别在于“智能化”，AI已经展现出“创作”的能力，即使目前的创意还能看到诸多样本的痕迹，建模和渲染的AIGC能力也还处于早期，但AI在部分领域能提升生产力已经成为不争的事实。

与其担心自己的工作是否会被AI替代，不如思考如何结合AI将现有的工作更完美地完成，如何让AI变得更好，因为被错误的大数据喂养，扭曲AI的认知，那时AI做的事情可能会超越人类的底线。

《失控》的作者凯文·凯利认为“未来将有数以万计创业公司，他们会从事人工智能用于某一个领域的工作。使用者越来越多的话，机器会越来越聪明，这是一种滚雪球的方式。”

也就是说技术进步是必然的，同时由于基础数据不断扩大，机器的思维方式会变得越来越灵活。但技术给社会带来的变革，并不是以抢工作为最终目标，而是成为一种提升效率的生产方式。

图源：网络

凯文·凯利也曾在一次演讲中表示，每一项新技术的诞生都会引发一场恐慌周期，一般会经历7个阶段：

1. 别让我看到这些垃圾，根本没用。
2. 好吧，这东西确实发生了，但是很危险，因为效果并不好。
3. 等等，它太好用了，我们必须得做点什么扰乱它！
4. 这东西太强大了，对于那些无法触达它的人来说是不公平的。
5. 现在它无处不在，无法逃离，这不公平。
6. 我打算戒掉它，戒一个月。
7. 让我们关注真正重要的问题ーー下一个会出现的技术是什么？

其实大多数人对新技术持负面态度多源于对技术的不了解，当人们不了解一样产品的时候，往往会持有不看好的态度。但细究下来会发现技术做的事情只是在让原有东西变得更加智能，例如AI辅助飞机驾驶，飞行员只要做好基础的操作，剩下的都是AI在驾驶飞机，可以有效缓解飞行员一路的疲劳与提高飞行安全程度。

因此，AI 3D的创作也并不会真正取代建模师以及渲染师的工作，反而可以多维度地给建模师提供多重视角，也让建模师可以从繁琐的工作中简化出来，做更有意义的事情。但我们总会抱着戏谑的态度看待AI，以古怪刁钻的问题去调戏AI，从而给人工智能定义上“人工智障”的名号。

顺理成章的把AI看作人类的对立面，也理所应当的不会乐于接受新技术的到来。马斯克曾说过一句话，无论你接受与不接受，无论人类如何呼吁停止采用新技术，总会有企业在马不停蹄地研究，在你不知道的地方，不知道的领域，它会在某一天就来了。

与此同时，毋庸置疑的是人工智能在某一方面已经开始比人类聪明了，甚至可以跨专业地协同工作。但由于机器与人类的思考方式不同，机器变得越聪明时反而会推动人类工作的进步。此外，技术的进步也会创造出新的工作，改变就业的生态格局，人+AI将是未来任何工作领域的一个普遍现象。