文字生成动作视频,谷歌 Lumiere:文生视频的新里程碑

AI每日新闻6个月前发布 NewNew
360 0
AI旋风聊天

近日,谷歌研究院推出的新款“文生视频”扩散模型 Lumiere 引起了业界的广泛关注。AI旋风认为,这款新模型在视频生成技术上取得了重大突破,有望引领文生视频领域的新一轮发展。

首先,让我们来了解一下什么是“文生视频”模型。

简单来说,这是一种通过文字输入来生成视频内容的AI技术。在过去,大多数文生视频模型在生成高质量、动作连贯的视频内容方面面临诸多挑战。这些模型通常采用分段生成的方式,先产生关键帧,然后利用时间超分辨率技术生成中间帧。虽然这种方法在节省内存方面有一定优势,但难以生成动作连贯、细节丰富的视频。

文字生成动作视频,谷歌 Lumiere:文生视频的新里程碑

谷歌 Lumiere 模型的出现,打破了这一局限。其最大的亮点在于采用了创新的“Space-Time U-Net”基础架构。这一架构能够在空间和时间上同时进行信号降采样,从而在更紧凑的时空中进行更多运算。这意味着 Lumiere 能够在保证视频质量的同时,大大提高运算效率和视频生成速度。

AI旋风认为,Lumiere 的另一项重要创新在于其采用的基础模型。该模型首先生成视频分帧的基本像素草稿,然后通过空间超分辨率(SSR)模型逐步提升分帧分辨率及细节。这一过程确保了生成的视频具有高清晰度和真实感。此外,Lumiere 还利用“Multidiffusion”通用生成框架提升模型稳定性,从而保证了最终输出的视频一致性和连续性。

值得注意的是,Lumiere 一次可以生成 80 帧视频(16FPS 下 5 秒视频 / 24FPS 下约 3.34 秒视频)。虽然这个时间长度听起来可能不长,但研究人员指出,5 秒的视频长度实际上已经超过了大多数媒体作品中的平均镜头时长。这意味着 Lumiere 在实际应用中具有很高的实用价值。

当然,我们也需要认识到,文生视频技术的进一步发展仍面临一些挑战。例如,如何提高视频的生成速度和分辨率、如何确保生成内容的多样性和原创性、如何避免产生不真实或令人不适的内容等。此外,随着文生视频技术的普及,也涉及到版权、隐私和伦理等问题需要解决。

谷歌 Lumiere 模型的推出标志着文生视频技术迈出了重要的一步。AI旋风认为,随着技术的不断进步和完善,我们有望在未来看到更加丰富、逼真的文生视频内容。同时,对于文生视频技术的健康发展,需要业界、学术界和政策制定者共同努力,制定合理的规范和标准,确保技术的合理应用和可持续发展。

© 版权声明
AI资料包

相关文章

暂无评论

暂无评论...