谷歌DeepMind在10月28日发布了其最新世界模型Genie 4的研究预览版。这一新模型能够生成迄今为止最逼真、最具交互性的世界，允许用户通过输入提示词来改变场景，并且能生成与模拟世界相匹配的实时音频，包括音乐、环境音效和交互式对话。
Genie 4是谷歌为了保持在竞争激烈的世界模型领域的领先地位而采取的新举措。几个月前，AI视频创业公司Runway推出了可交互的世界模型GWM Worlds 2，具备类似功能。与此同时，行业整合趋势显现，例如李飞飞的World Labs被AMD收购，亚马逊正洽谈收购Decart，Rivian收购了Third Dimension以增强其自动驾驶测试能力。
相比一年前发布的Genie 3，Genie 4不仅画面更加逼真并加入了音频功能，还支持自由编辑，如实时改变天气或摄像机角度，添加新人物或物体。它能够将一致的场景维持长达两分钟，物理模拟效果更好，角色也更接近真人。
谷歌AI模型Gemini与Genie 4实现了更紧密的整合。Gemini负责规划步骤并检查画面，Genie则生成视觉内容。在一项实验中，Gemini 4 Argon模型将任务分解为多个步骤，再由Genie 4进行实时模拟。这种合作方式展示了在机器人执行现实任务前通过模拟环境测试的可能性。
谷歌研究总监特贾斯·库尔卡尼表示，未来混合式世界模型将结合Gemini编写代码和文本的能力与Genie实时接收这些内容并在不同抽象层次上模拟现实的能力。Genie 4的应用场景包括游戏、交互式学习和机器人技术。例如，用户可以进入描绘历史场景的画作，与画中人物交谈，了解相关历史事件。
首批体验者指出，Genie 4还可用于制作电影原型。谷歌DeepMind工程师迭戈·里瓦斯表示，实时功能让创作者保持流畅的创作状态，在创意构思和故事板制作阶段非常有用。谷歌还提供AI视频生成模型Veo，可以根据文本、图像或视频提示词生成带有同步音频的高清视频片段，受到电影制作人的欢迎。
里瓦斯补充说，未来用户或许可以借助Gemini Omni将这些原型转化为可用于创作的素材。不过，实现这些功能仍需时间。目前，Genie 4仍处于早期发展阶段，存在一些不足，如细节和物体随时间偏移，音频准确性和文字清晰度问题尚待解决。
Genie 4现已面向受信任的测试人员推出研究预览版，未来几周将通过Project Genie向Google AI Ultra订阅用户开放，并向Gemini API和Google AI Studio的早期合作伙伴提供。
发表回复
要发表评论，您必须先登录。