科技魔方

PR+AI重新定义视频剪辑,Sora、Pika全接入,AI视频创企还有的玩吗?

软件应用

2024年04月23日

  还记得网友们用PS的Generative Fill花式整活的盛况吗?

  接下来,被网友玩坏的可能要轮到PR了。

  无论你是专业的视频剪辑师,还是业余爱好者,对Premiere Pro(简称PR)这款软件都一定不陌生。

  前几天,Adobe官方发布了一条视频,快、准、狠地演示了PR即将上线的3个AI功能——对象添加、对象删除和生成扩展。

  用户可以直接在PR内调用Sora、Pika、Runway等第三方AI视频模型,来生成视频片段。

  同时,Adobe自研的Firefly系列模型也将集成进PR。

  相比于近年来的小修小补,这次更新可以说是一次大重构。

  Adobe创意产品部高级副总裁Ashley Still表示,Adobe正在重新构想视频创作流程的每一个步骤,为创作者提供高效、便捷、易用的功能。

  PR+AI,像PS一样P视频

  目前,Adobe旗下的生成式AI模型Firefly已经广泛应用于Photoshop、illustrator和Adobe Express中。

  作为对OpenAI的Sora、谷歌的Imagen2等生成式AI视频模型的回应,Adobe表示,它们正在Firefly的基础上训练一个能够生成和编辑视频的全新模型,但尚未透露这个模型何时推出。

  眼下,让我们来看看PR将在今年晚些时候更新的几个AI功能。

  视频元素替换

  如果你想要修改视频画面中的某个特定对象或区域,而不是替换整个视频素材,常用的做法是使用遮罩/图层,覆盖想要修改的区域,或者使用克隆修复工具,选择一个与要修改区域相似的区域,将其复制并覆盖到目标区域上。

  过程中通常涉及到比较精细的视频编辑工作,比如遮罩、效果应用或局部像素的调整,需要一定的视频编辑技巧和耐心,以确保在进行局部修改时,尽量保持与视频其他部分的一致性和自然过渡。

  而在Adobe的演示视频中,手提箱里如果你想要修改钻石的密度,只需要用钢笔工具圈选想要修改的区域,然后输入提示文本“一大堆宝石”,Firefly就会生成3个不同的视频素材,选中一个即可完成替换。

  给穿西装的男人加一条领带,换一块看起来昂贵一点的手表都不在话下:

  从演示视频来看,替换的效果非常自然,几乎看不出有什么破绽。

  视频元素删除

  而对于想要移除的对象——可能是一个吊杆麦克风、一个指示牌、地上的杂物,只需要选中它,右键点击“对象移除”,就可以轻松将其从视频画面中移除,虽然结果可能并不十分完美。

  视频生成扩展

  至于生成扩展功能,只需要打开Adobe Firefly视频生成插件,拖动视频的定格帧,Firefly就能将视频自然延伸数秒。

  这种操作被称为视频定格帧扩展,传统的做法较为繁琐:确定要扩展的定格帧,创建一个新的视频序列或时间线;根据视频的总体节奏和所需效果,调整扩展帧的持续时间和速度。可能还需要在选定帧的前后生成一系列中间帧,以平滑过渡到动态效果。

  如果追求更为精细的效果,在完成动态化处理后,还要进行后期处理,包括颜色校正、特效添加等,以确保扩展的帧与原始视频的其余部分在视觉上协调一致。

  而现在,可以通过图生视频技术来实现,Sora甚至能够模拟真实物理世界的运动,这在进行定格帧扩展时非常有用。

  Adobe相当于把图生视频能力集成进了PR,使得用户不需要辗转于视频编辑软件和AI视频生成工具。

  不过,从视频示例来看,延伸的视频很短,基本都在3秒以内,有网友认为“最多就72帧,没多大演示价值”。

  在生成视频素材方面,用户可以直接在PR内调用Sora、Runway、Pika等第三方模型,通过输入文本提示,如“夜雨中的城市风景”,来生成所需的视频素材,一次可以生成3个视频。

  为了避免AI生成的视频被用于深度伪造或传播虚假信息,Adobe将引入Content Credential(内容凭据),标明哪些内容是AI生成的,以及是用哪个AI模型生成的。

  但实际上,Adobe在视频中展示的能力,其他工具也能够实现,Adobe只是胜在集成、整合和交互体验上的优化。

  在PR AI演示视频发布后,很快就有人用Stable Diffusion的ComfyUI实现了换钻石的操作。

  此外,有知情人士称,Adobe正向在其Adobe Stock平台上的摄影师和艺术家支付高达120美元的费用,以让他们提交短视频剪辑,这些剪辑将用于训练Adobe的视频生成模型。根据提交内容质量的不同,支付的报酬从每分钟大约2.62美元至7.25美元不等,高质量的视频剪辑将获得更高的报酬。非AI原生的老牌公司“后发制人”?

  有人说,这一轮AI技术浪潮最大的受益者,其实是微软、Adobe这些非AI原生的老牌玩家。

  硅谷创投圈有一种常见观点:“现有公司而非初创公司更有能力利用AI。AI是一种维持技术,它强化了现有玩家的地位,而不是赋予新进入者颠覆性的力量。”

  从微软、Adobe这样的公司集成AI功能的速度来看,这种观点的确有一定的道理。

  老牌玩家拥有强大的品牌影响力和稳定的客户群体,似乎只需要调用一个OpenAI的API,就能实现“后发制人”。

  不过,从“模型即应用”的角度来说,随着AI模型被越来越多地集成到应用中,应用产品能力和用户体验的提升,越来越受制于基础模型能力的提升。开发者可以根据特定应用的需求定制和优化模型,使其更加贴合应用场景,模型也可以在与用户的互动中学习,不断优化自身性能。

  这意味着,现有产品所谓的护城河并非牢不可破,基础模型公司很容易迎头赶上,尤其是在竞争尤为激烈的AI视频赛道。

  虽然与Midjourney、OpenAI的DALL-E3等相比,Adobe的Firefly图像生成模型在业界的评价并不高,甚至被认为是效果平庸。

  但在这场生成式人工智能的竞赛中,不采取行动,就意味着用户流失,以及错失重要的潜在收入来源。

  更不用说,除了OpenAI的Sora、Stable Diffusion的SVD3D等明星玩家之外,还有很多生成式AI视频初创企业在不断涌现。

  4月初, AI视频初创公司Higgsfield宣布获得800万美元种子轮融资。Higgsfield计划将本轮种子资金用于改进公司的视频编辑工具,以期让用户们可以修改视频中的人物和物体。另外,Higgsfield还将专门针对社媒训练更强大的视频生成模型。

  Higgsfield的差异化竞争策略是“移动优先、社交优先”,优先考虑iOS和Android应用程序而不是桌面工作流程,优先考虑易用性和对消费者友好的功能,使创作者能够随时随地创建引人注目的社交媒体内容。

  在4月17日举办的中国AIGC产业峰会上,美图公司创始人吴欣鸿表示,国内视频大模型竞争的关键点有三——

  创意超越现实:视频大模型需要生成超越现实的画面,与实拍互补,成为一种新的特效实现方式。

  工作流整合:视频生成应用场景有限,需与现有AI能力和传统视频技术结合,形成工作流。

  垂直场景:视频在电商、广告、游戏、动漫、影视等垂直场景的“可用性”极为关键。

  表面上看,国外的如微软、Adobe,国内的如阿里、字节、美图等公司,只是借助AI技术更新了一波自己的产品,但最核心的是,它们掌握着从产品落地到市场需求匹配最关键的一环:场景。

  因此,短期来看,生成式AI视频创企与Adobe这样的创意软件领军企业,并不在同一维度竞争。通过引入生成式AI技术,提供一站式的解决方案,不仅有利于大大提高创意工作流程的效率,而且可以让非专业视频剪辑师也能轻松上手PR,进一步扩大Adobe的潜在市场。

+1

来源:头号AI玩家公众号

延展资讯