科技魔方

UMMAFormer:一种有效识别视频中的伪造内容的Transformer框架

大模型

2023年09月15日

  UMMAFormer是一种新工具,专门用于识别视频中的假内容。这个工具在对抗虚假内容,特别是视频内容的伪造上,展现出了更高的效率和准确度。与以往的方法相比,UMMAFormer在识别视频伪造部分的表现更为出色。它的出现将对打击虚假信息产生重大影响。

  该方法引入了时序特征异常注意力(TFAA)模块,通过时序特征重构来增强对时序差异的检测。还设计了并行交叉注意力特征金字塔网络(PCA-FPN),以优化特征金字塔网络用于细微特征增强。

  作者还提出了一个针对视频修复场景的时间视频修复定位(TVIL)数据集。实验结果表明,该方法在多个基准数据集上取得了 state-of-the-art 的性能,明显优于之前的方法。

  核心功能:

  1. 提出时序特征异常注意力(TFAA)模块增强对篡改的检测

  2. 设计并行交叉注意力特征金字塔网络(PCA-FPN)进行特征增强

  3. 在视频修复场景提出新的TVIL数据集

  4. 在多个数据集上优于已有方法

+1

来源:站长之家

延展资讯