? 生数科技与猫眼索尼合作案例：多模态技术赋能《熊猫计划》影视制作
在影视行业快速发展的当下，技术的革新往往能带来意想不到的惊喜。生数科技与猫眼索尼的合作，就是一次技术与艺术的完美碰撞，通过多模态技术为《熊猫计划》这部电影注入了新的活力。
生数科技是一家专注于多模态大模型研发的公司，其自研的 Vidu 大模型在多模态生成任务上表现出色。早在 2022 年 9 月，生数科技的创始人朱军教授带领核心团队就首发了第一个融合架构，将 Transformer 和扩散模型相融合，为多模态技术的发展奠定了基础。2024 年，Vidu 大模型在北京中关村论坛成功发布，成为中国首个长时长、高一致性、高动态性的视频生成模型，并在 6 月进一步突破时长限制，实现了视频和音频两种模态的融合。
猫眼娱乐和索尼（中国）作为知名的 IP 持有方，在影视、动漫和文化娱乐领域拥有丰富的资源。双方的合作旨在利用生数科技的多模态技术，为《熊猫计划》提供创新的影视制作解决方案。在《熊猫计划》项目中，Vidu 作为首个院线电影提供 AIGC 视频生成技术的支持单位，与索尼（中国）合作打造了国内大模型与国际知名 IP 的首个商业合作项目，这也是全球首个获得知名 IP 授权、全链路艺术家授权的 AIGC 生成式短片。
多模态技术在《熊猫计划》中的应用，主要体现在以下几个方面。首先是高效的素材生成。传统的影视制作需要大量的人力和时间来制作素材，而 Vidu 大模型可以通过 1.5 个人在 2 天之内生成原本需要 30 人团队 3 个月才能完成的素材，并在 3 天内完成剪辑。这种高效的生产方式大大缩短了制作周期，降低了成本。
其次是角色和场景的精准控制。在动漫生成方面，Vidu 被用户评为是唯一一个能够支持情感细腻的主体转换、场景转换和镜头转换幅度极大的动漫风格的生成。例如，在《毒液：最后一舞》的水墨风宣传片制作中，索尼曾派人到生数科技，用一张 2018 年出圈的水墨风海报去检验 Vidu 的能力。现场演示的数个版本效果得到了索尼的认可，合作得以继续推进。Vidu 能够清晰理解白虎和烟雾两个主体，确保单主体形象的高度一致，同时实现多主体之间的无缝融合和自然交互。
再者是合规性和创意的平衡。为了确保合作的合规性，索尼直接购买了艺术家与制作团队所使用的 200 余张水墨风原稿，然后再授权给制作团队基于 Vidu 创作。这种模式既保证了 IP 的合法使用，又为创作者提供了实际操作的空间和自由度。Vidu 相当于摄影机、手机、PS 或者 Premiere，是创意实现的高效生产力工具。根据策划和原稿，Vidu 仅用半个工作日就生成了上千支视频，供给艺术家挑选和优化，再从中选出最优质的作品。
多模态技术的应用不仅提升了《熊猫计划》的制作效率和质量，也为影视行业带来了新的发展机遇。对于专业创作者来说，多模态技术可以节省大量的时间和成本，让他们能够更加专注于创意的表达。例如，一个人可以利用 Vidu 大模型完成过去需要多人团队才能完成的工作，实现 “一人工作室” 的梦想。
对于普通用户和 C 端消费者来说，多模态技术也带来了更多的娱乐和创作可能性。社交媒体上兴起的 AI 特效玩法，就是多模态技术在大众娱乐领域的应用之一。用户只需上传两张图片，就能生成有趣的特效视频，这种低成本、高互动性的内容制作方式受到了广泛欢迎。
在广告营销和内容营销领域，多模态技术同样具有巨大的潜力。电商平台可以利用存量的营销图片，结合大模型生成人物、物体的运镜转场和趣味动态海报，满足用户对视频内容的需求。Vidu 大模型能够根据用户画像生成千人千面的创意视频，提升广告的精准度和效果。
然而，多模态技术的发展也面临着一些挑战。其中一个重要的问题就是可控生成。虽然 Vidu 大模型在一致性和动态性方面取得了显著的进展，但在一些复杂的场景中，仍然需要进一步优化。例如，在生成包含多个角色和复杂环境的视频时，如何确保每个角色的动作和表情都符合预期，还需要不断地调整和改进。
另外，艺术家与 AI 技术人员在创作逻辑、主观审美和工作方式等方面的理解差异，也是合作过程中需要克服的问题。在《毒液：最后一舞》的宣传片制作中，导演杨晟和生数科技产品总监张旭东就担任了转译工作的角色，将艺术家的需求和标准转化为相应的指令输入给模型。通过深入沟通和理解，双方逐渐找到了平衡点，提高了工作效率和产出效率。
未来，随着多模态技术的不断发展和完善，我们可以预见它将在更多领域发挥重要作用。生数科技表示，Vidu 大模型将继续沿着上下文能力这一主线进行迭代，未来将实现参考拍摄技巧、运镜、调度等更多因素，为用户带来更大的想象空间。例如，通过输入电影切片，可以生成具有相似摄影技巧的视频片段；通过输入经典打斗动作的视频，可以生成打斗技巧精妙、画面精良的视频。
同时，多模态技术也将催生全新的内容平台。当多模态可以做到实时可控、可交互的时候，它可以是完全个性化的，为用户提供全新的体验。这种技术未来将应用在社交、游戏、VR、AR 等多个领域，对所有行业产生深远的影响。
总的来说，生数科技与猫眼索尼的合作案例，展示了多模态技术在影视制作中的巨大潜力。通过高效的素材生成、精准的角色和场景控制以及合规性和创意的平衡，多模态技术为《熊猫计划》带来了创新的制作解决方案，也为影视行业的发展提供了新的思路。随着技术的不断进步和应用的不断拓展，我们有理由相信，多模态技术将在未来的影视制作中发挥更加重要的作用，为观众带来更多精彩的作品。
该文章由dudu123.com嘟嘟 ai 导航整理，嘟嘟 AI 导航汇集全网优质网址资源和最新优质 AI 工具。
