随著人工智能的发展,尤其是chatgpt的大火之后,似乎在一夜之间,许多事都要被人工智能取代了。随着生成式 AI(AIGC)与 OpenAI 的 ChatGPT 盛行,最近 Google Research也推出了一款基于文字描述的影片与图片编辑扩散模型“Dreamix”,从Dreamix的介绍可以看出他具有极高的真实性。
简单一点讲,Dreamix可以将一副图片按照你的描述变成视频场景,可以说是十分强大的。
虽然扩散模型(Diffusion model)已经成功应用于图片编辑方面,但是是这一技术现在还是非常少有用于影片编辑的作品,Google Dreamix 的尝试,可以让生成式 AI 成功拓展到了影片上,可以十分方便的一键修改影片的主角与行为。还可以将静太图片转换成动态视频。
Google Dreamix:他被人们称为是一个能够维持高解析度的 AI 影音编辑生成工具
根据 Dreamix 的官方 Github 解释,Dreamix ai 可以在推理影音时,将原始影片的“低解析度时空讯息”与新合成的“高解析度讯息”相结合,通过你输入的文字描述来实现不同的视频输出。由于需要获得与原始影片相同的解析度,Dreamix 会在原始影片上进行微调,这一技术可以大大提高了保真度。
此外,Dreamix 还引入了一个新的图像动画框架,他们首先通过简单的图像处理操作,可以将影片转换成为静态的图像,然后再使用图像扩散模型将其按照你的要求再次转换回影片。从目前的实验结果表明,Dreamix 模型可以有效地实现基于文字描述的影片的ai编辑,而且视频的质量也十分的出色。