?Zero123 是什么？哥伦比亚大学前沿技术平台 单张图像生成高质量 3D 模型解析
在当今科技飞速发展的时代，人工智能领域的每一项突破都如同璀璨星辰，照亮我们前行的道路。今天要给大家深入剖析的，便是来自哥伦比亚大学的前沿技术平台 ——Zero123，它在单张图像生成高质量 3D 模型这一领域，堪称一颗耀眼的新星，极大地推动了相关技术的发展。
Zero123 是一种基于视图条件的二维扩散模型，其诞生有着重要的意义。在它出现之前，基于单幅图像进行三维重建是一项极具挑战性的任务，犹如在迷雾中摸索前行。这是因为要实现精准的三维重建，模型需要对自然世界具备广泛的先验知识，可这谈何容易。之前虽有一些尝试，比如在 2D 扩散模型的引导下优化神经辐射场来解决问题，但这些方法存在诸多弊端，像优化时间过长，可能需要耗费数小时甚至更久，这在追求高效的现代社会中，无疑是一大阻碍；3D 结果不一致，重建出来的模型与实际物体相差甚远，难以满足实际需求；几何形状不佳，模型的细节部分缺失或不准确，严重影响了模型的质量。
而 Zero123 的出现，宛如一道曙光，打破了这种困境。它通过在互联网规模的数据上进行训练，巧妙地学习到了通用的视觉概念。其独特之处在于，将条件设为视点来控制图像生成。简单来说，只要给定一个物体的 RGB 图像和一个相对的相机变换，Zero123 就能像一位神奇的魔法师，控制扩散模型在变换后的相机视角下合成一个新的图像。这一创新的思路，为后续的三维重建工作奠定了坚实的基础。
Zero123 在训练过程中也有着独特的方式。它根据大规模三维数据集来合成一对图像及其相对相机变换，对稳定扩散进行了精心微调。在创建微调数据集时，Zero123 假设物体以坐标系的原点为中心，并采用球形摄像机，也就是将摄像机放置在球面上，且始终看着原点。相机位置参数包含极角、方位角和半径，两个点的差值就是相对摄像机变换参数。其目标非常明确，就是学习一个模型 f，使得 f 在输入「初始视角，相机变换参数」时，与输入「变换后视角」时感知相似。经过大量的实验和优化，这种微调方式取得了显著的效果，成功让 Stable Diffusion 模型学会了控制摄像机视点的通用机制，并且能够对微调数据集之外的物体进行推断，大大拓展了模型的应用范围。
Zero123 在多视角合成方面发挥着关键作用。在 One - 2 - 3 - 45 这个模型中，多视角合成是重要的一环。One - 2 - 3 - 45 是一个全新的模型，它以任意物体的单张图像作为输入，仅需 45 秒就能在一次前馈过程中生成一个完整的 360 度的 3D 纹理网格，这一速度在之前是难以想象的。而在这个过程中，Zero123 功不可没。它以两阶段的方式生成多视图图像，输入包括单幅图像和相对相机变换，参数为相对球面坐标。具体而言，先利用 Zero123 从球面均匀采样相机姿态，生成 32 幅多视角图像。这些多视角图像就像是从不同角度拍摄的物体照片，为后续的三维重建提供了丰富的信息。然而，将这些预测结果输入基于 NeRF 的方法（TensoRF）和基于 SDF 的方法（NeuS）时，却出现了问题，生成结果中存在大量的失真和浮点现象。这是因为 Zero123 预测的多视角图像存在不一致性，而对于基于 NeRF 的优化类重建方法来说，一些微小的不一致就足以使其崩溃。但即便如此，Zero123 预测的多视角图像并非一无是处。通过与真实数据对比发现，虽然它不具备像素级别的高精确度（PSNR 不高），但整体轮廓（mIoU）以及语义 / 感知相似性（CLIP 相似度）都很高，尤其当相机相对位姿变换较小时。这就表明，用网络预测的多视角图像进行三维重建是具有可能性的。
Zero123 在姿态估计方面也有着重要的贡献。在 One - 2 - 3 - 45 模型中，姿态估计是必不可少的步骤。研究人员提出了一个仰角估计模块来推断输入图像的仰角。具体操作是，首先使用 Zero123 预测输入图像的四个邻近视图，然后以从粗到细的方式列举所有可能的仰角。对于每个仰角候选角，计算四幅图像对应的相机姿态，并计算这组相机姿态的重投影误差，以此来衡量图像与相机姿态之间的一致性。最终，选择重投影误差最小的仰角，通过组合输入视图的姿态和相对姿态，来生成所有 4×n 源视图的相机姿态。这个过程就像是给相机找准位置，只有位置准确了，后续生成的 3D 模型才能更加精准。
Zero123 在三维重建领域有着广泛的应用前景。在游戏开发中，以往制作一个精美的 3D 游戏模型，可能需要耗费大量的人力、物力和时间，游戏开发者需要从多个角度对物体进行建模，过程繁琐且复杂。而有了 Zero123，游戏开发者只需要一张物体的图片，借助相关模型，就能快速生成高质量的 3D 模型，大大缩短了开发周期，降低了开发成本。在虚拟现实领域，为了给用户带来更加逼真的体验，需要大量精准的 3D 模型。Zero123 可以根据单张图像生成 3D 模型的特性，使得创建虚拟场景变得更加高效，用户能够在更加真实、丰富的虚拟环境中畅游。在工业设计方面，设计师可以利用 Zero123 快速将自己脑海中的创意通过单张草图转化为 3D 模型，方便进行后续的修改和完善，提高设计效率，加速产品的研发进程。
与其他相关技术相比，Zero123 也有着自身的优势。与传统的基于多视角数据或逐个场景优化的 3D 重建技术相比，Zero123 只需要单张图像作为输入，避免了获取多视角数据的麻烦，也无需进行复杂的逐个场景优化。传统方法往往依赖于从多个角度拍摄物体获取数据，这在一些情况下可能受到环境限制，难以实现。而且逐个场景优化耗时费力，效率低下。而 Zero123 的出现，打破了这些限制，让 3D 重建变得更加便捷、高效。与一些同样基于单张图像生成 3D 模型的新兴技术相比，Zero123 在模型的质量和生成速度上也有着出色的表现。例如，一些其他模型可能生成的 3D 模型存在几何形状不准确、细节缺失等问题，而 Zero123 通过其独特的训练方式和算法，能够生成几何形状更准确、细节更丰富的高质量 3D 模型。在生成速度方面，Zero123 在与其他组件配合的情况下，能够在短时间内生成完整的 3D 模型，这是很多同类技术难以比拟的。
Zero123 也面临着一些挑战和改进的空间。尽管 Zero123 在生成多视角图像方面取得了一定的成果，但预测的图像仍存在不一致性的问题，这对后续的三维重建工作产生了一定的影响。未来需要进一步优化算法，提高多视角图像预测的一致性，减少失真和浮点现象的出现。在处理复杂场景和物体时，Zero123 生成的 3D 模型可能还无法完全满足高精度的需求。例如，对于一些结构复杂、细节丰富的物体，模型可能会丢失部分细节，或者在几何形状的还原上存在偏差。因此，需要不断改进模型，增强其对复杂场景和物体的处理能力，提高生成模型的精度和质量。
Zero123 作为哥伦比亚大学前沿技术平台的重要成果，在单张图像生成高质量 3D 模型方面展现出了巨大的潜力和优势。它的出现，为 3D 重建领域带来了新的思路和方法，推动了相关技术的快速发展。虽然目前还存在一些挑战，但随着技术的不断进步和完善，相信 Zero123 将在更多领域得到广泛应用，为我们的生活和工作带来更多的便利和惊喜。
【该文章由dudu123.com嘟嘟 ai 导航整理，嘟嘟 AI 导航汇集全网优质网址资源和最新优质 AI 工具】
