科技魔方

「GPT-4只是在压缩数据」,马毅团队造出白盒Transformer,可解释的大模型要来了吗?

大模型

2023年11月26日

  本文来自于微信公众号 机器之心(ID:almosthuman2014),作者:机器之心。

  RNA3D 结构预测是一个长期存在的挑战。

  受最近蛋白质结构预测领域突破的启发,南开大学、山东大学以及北京理工大学的研究团队开发了 trRosettaRNA,这是一种基于深度学习的自动化 RNA3D 结构预测方法。

  trRosettaRNA 流程包括两个主要步骤:通过transformer网络进行1D 和2D 几何形状预测;以及通过能量最小化进行的3D 结构折叠。基准测试表明 trRosettaRNA 优于传统的自动化方法。

  在 CASP15和 RNA-Puzzles 实验的盲测中,对天然 RNA 的自动 trRosettaRNA 预测与人类的顶级预测具有竞争力。当通过均方根偏差的 Z 分数进行测量时,trRosettaRNA 的性能也优于 CASP15中其他基于深度学习的方法。

  该研究以「trRosettaRNA: automated prediction of RNA3D structure with transformer network」为题,于2023年11月9日发布在《Nature Communications》。

  学界对 RNA3D 结构预测的需求与日俱增

  核糖核酸(RNA)是活细胞中最重要的功能分子类型之一。它参与许多基本的生物和细胞过程,例如,作为遗传信息的转录本,发挥催化、支架和结构功能。过去几十年来,随着每年新型 ncRNA 的发现,人们对非编码 RNA (ncRNA),例如转移 RNA (tRNA) 和核糖体 RNA (rRNA),结构和功能的兴趣与日俱增。

  与蛋白质类似,ncRNA 分子的生物学功能通常由其3D 结构决定。然而,由于灵活的主链和弱的长程三级相互作用引起的内在结构异质性,通过实验解决RNA的结构比蛋白质更具挑战性。例如,蛋白质数据库 (PDB) 中仅存放了约6000个 RNA 结构,远少于存放的蛋白质结构的数量(约190,000个)。因此,迫切需要开发有效的算法来预测 RNA3D 结构。

  当前 RNA3D 结构预测仍有巨大挑战

  目前的 RNA3D结构预测方法可以分为两类:基于模板的方法和从头方法。基于模板的方法使用 PDB 中的同源模板来预测目标结构。例如,ModeRNA 和 MMB 等代表性方法通过减少同源结构的采样空间来工作。一般来说,当PDB中存在同源模板时,基于模板的方法预测的结构模型是准确的。然而,由于已知RNA结构的数量有限以及RNA序列比对的困难,基于模板的方法进展缓慢。

  相反,从头方法通过从头开始模拟折叠过程来构建3D 构象。通过分子动力学模拟或片段组装,FARNA5、FARFAR、FARFAR2、SimRNA、iFoldRNA、RNAComposer 和3dRNA 等方法对于某些小 RNA(<100个核苷酸)效果良好。然而,由于不准确的力场参数和巨大的采样空间,很难为具有复杂拓扑的大RNA生成精确的3D结构。为了部分解决这个问题,通过直接耦合分析(DCA)预测的核苷酸间接触已被用来指导结构模拟。

  此外,考虑到 RNA 结构折叠的层次性质,一些方法从二级结构衍生出3D 结构,例如 Vfold 和 MC-Fold。它们非常快,但建模精度很大程度上取决于输入二级结构的质量。RNA-Puzzles 实验表明,准确预测具有复杂结构的大 RNA 的结构仍然是一个巨大的挑战。

  深度学习用于 RNA3D 结构预测

  深度学习最近被用来改进从头 RNA3D 结构预测。残差卷积网络(ResNet)预测的核苷酸间接触比 DCA 准确约两倍,在一定程度上改善了3D 结构预测。结果表明,通过从基于几何深度学习的评分系统 (ARES) 中选择模型,FARFAR2协议在 RNA-Puzzles 实验的盲测中预测了四个目标的最准确模型。受 AlphaFold2成功的启发,科学家开发了一些新的基于深度学习的方法,例如 DeepFoldRNA、RoseTTAFoldNA 和 RhoFold。

  在最新的工作中,南开大学、山东大学以及北京理工大学的研究团队开发了 trRosettaRNA,一种基于深度学习的自动化 RNA3D 结构预测方法。它的部分灵感来自于深度学习在蛋白质结构预测中的成功应用,特别是在 AlphaFold2和 trRosetta 中。基准测试和盲测表明 trRosettaRNA 有希望增强 RNA 结构预测。

  trRosettaRNA 的结构如图1所示。从 RNA 的核苷酸序列开始,首先分别通过程序 rMSA 和 SPOT-RNA 生成多重序列比对 (MSA) 和二级结构。然后将它们转换为 MSA 表示和配对表示,然后将其输入 transformer 网络(名为 RNAformer)以预测1D 和2D 几何形状。与 trRosetta 类似,这些几何形状被转换为约束,以指导基于能量最小化的3D 结构折叠的最后步骤。除非另有说明,下面提到的 RMSD 是通过使用 RNA-Puzzles 社区提供的评估工具包考虑所有原子来计算的。

  研究人员使用两个独立的数据集和两个盲测对 trRosettaRNA 进行了严格评估。基准测试表明,trRosettaRNA 预测的模型比其他自动化方法更准确。trRosettaRNA 在两个实验中进行了盲评估:RNA-Puzzles(3个目标)和 CASP15(12个目标)。RNA-Puzzles 实验表明,trRosettaRNA 的自动预测与人类对三分之二目标的预测具有竞争力。CASP15实验表明,trRosettaRNA 在基于 RMSD 的累积 Z 分数方面优于其他基于深度学习的方法。该方法在8种天然 RNA 上达到了与顶级人类群体相当的准确性,尽管没有任何人为干预。

  局限性与未来

  然而,研究人员注意到 CASP15盲测中天然 RNA 的平均 RMSD(第一个模型为14.8 Å)高于两个基准数据集 RNA 的平均 RMSD (30个独立 RNA 为8.5 Å,之前20个 RNA-Puzzles 靶标为10.5 Å)。

  建模准确性的差异可以通过目标难度和新颖性来解释。

  (1)目标难度。大多数CASP15RNA表现出高度的灵活性,可以采用多种构象(R1116和R1117除外)。此外,还有两个二聚体(R1107、R1108)和两个具有许多单链区域的蛋白质结合RNA(R1189、R1190)。这些特征对 SPOT-RNA 预测可信二级结构提出了挑战。为了说明这一点,与20个 RNA-Puzzles 目标相比,来自 CASP15的8个天然 RNA 的 SPOT-RNA 预测二级结构的平均 F1分数要低得多(分别为0.62和0.72)。

  (2)目标新颖。非冗余基准数据集中的很大一部分 RNA(三分之二,30个中的20个)与之前已知的 RNA 表现出高度相似性 (TM-scoreRNA > 0.6),这使得它们很容易通过数据驱动方法(如 trRosettaRNA)进行预测。相反,CASP15的 RNA 没有表现出如此程度的相似性。

  这反映了与 trRosettaRNA 和该研究中采用的基准测试相关的局限性。首先,trRosettaRNA 的性能容易受到预测二级结构质量的影响。其次,尽管 trRosettaRNA 在内部基准测试中实现了令人鼓舞的准确性,但其在新型 RNA 上的性能仍然有限。此外,合成 RNA 的自动结构预测仍然具有挑战性。

  CASP15实验中的盲测表明,RNA 结构预测的深度学习方法仍处于起步阶段。然而,随着持续发展,深度学习应该有望推进 RNA 结构预测。将基于物理的建模融入深度学习是未来改进的方向之一。

  最直接的替代方案之一是将其与其他传统方法相结合,并针对未来那些代表性不足的 RNA 结构优化算法。例如,为了克服对已知 RNA 折叠的偏见,可以利用神经网络(例如基于物理的神经网络)来学习力场或识别/组装局部图案,而不是直接预测全局3D 结构。

+1

来源:微信公众号 机器之心 作者:机器之心

延展资讯