科技魔方

Adobe将Sora、Runway、Pika,集成在PR中

更多场景

2024年04月16日

  4月15日晚,全球多媒体巨头Adobe在官网宣布,将OpenAI的Sora、Pika 、Runway等著名第三方文生视频模型,集成在视频剪辑软件Premiere Pro中(简称“PR”)。

  同时,Adob也会将自身研发的Firefly系列模型包括视频、图片等集成在PR中;通过AI驱动的音频功能已普遍可用,可以使音频的编辑更快、更轻松、更直观。

  简单来说,Adobe将通过生成式AI对PR进行大重构一次,帮助用户简化创作流程,提供多样化的创作灵感。

  生成式AI加持的PR

  无论你是专业视频剪辑师,还是业余爱好者,应该听过Premiere Pro这款在全球影响巨大的视频处理软件。

  但自2015、2019两大版本之后,Adobe对PR的重磅更新越来越少每年只是小修小补。

  正所谓5年一轮回,这次Adobe将借助生成式AI的高效、便捷性再一次对PR带来变革性创新。

  用Sora生成各种视频素材

  本次Adobe最大创新就是将Sora、Gen-2、Pika以及自研的Firefly系列模型集成在PR中,可以帮助用户快速为作品添加不同类型的视频素材,以及动态效果。(未来会持续添加)

  例如,通过Sora只需要输入文本提示“夜雨中的城市风景”就能生成视频素材,应用在视频项目中充当背景或者增强主轨道视频。根据预览展示,一次可以生成3个视频供用户选择。

  快速替换、删除视频某个特定区域

  当你想替换视频素材中的某些特定区域时,最直接的做法就是新增一条素材视频轨道,然后调整图层对原素材进行遮盖。这个方法不仅笨重,如果技术较差的话融合效果并不理想。

  现在,通过Adobe自研模型Firefly可以轻松完成素材替换。

  例如,我们想改变宝石的密度,只需要用钢笔工具圈选区域,然后输入提示文本“一大堆宝石”,选择合适的素材替换即可。

  精准删除、替换无用对象:在过去我们即便找到了合适的视频素材,也需要对视频中的无用对象,例如,一个垃圾桶、一个电表箱,通过遮盖、模糊处理等繁琐的方法才能将它们移除。

  现在,借助Firefly强大的处理功能,只需要轻松点击一下就能快速删除或者替换它们。

  用生成式AI制作定格帧

  视频定格帧扩展,是剪辑师经常用到的一个功能。传统的做法是,1,找到需要定格的视频序列;2,确定好你想要定格的帧后,右键点击时间线上的视频片段,在弹出的菜单中选择添加帧保持,然后保存定格帧;

  3,调整定格帧持续时间,在时间线上拖动静态图像来增加或减少时间。整个制作流程还是比较麻烦的。

  现在,借助全新的生成式AI功能,用户只需要拖动视频的定格静态帧,任意拖拉即可,其他的补充内容由AI生成。

  Adobe创意产品部高级副总裁Ashley Still表示,Adobe 正在重新构想视频创作流程的每一个步骤,为创作者提供高效、便捷的功能。

  通过将生成式AI深度融合到PR的核心工作流程中,我们正在解决视频编辑人员每天遇到的真正制作痛点,帮助他们节省时间并提升创意灵感。

+1

来源:AIGC开放社区公众号

延展资讯