科技魔方

智源研究院开源 AI 硬件评测引擎FlagPerf v1.0

大模型

2023年09月28日

  智源研究院发布了 FlagPerf v1.0,这是一个开源开放的 AI 硬件评测引擎。

  FlagPerf 的评测指标体系包括功能正确性指标、性能指标、资源使用指标和生态适配指标。其中,功能正确性指标验证芯片对模型运行的支持,性能指标评估芯片的训练时间和计算吞吐量,资源使用指标衡量芯片和服务器其他零部件的使用情况,生态适配指标考察芯片对不同框架和软件生态的支持能力。

微信截图_20230928083106.png

  FlagPerf 已经涵盖了自然语言处理、计算机视觉、语音和多模态等领域的20余个经典模型,50余个训练样例,并与多家 AI 软硬件厂商进行深度合作,完成了与不同芯片和框架的适配和评测。

  此外,FlagPerf 还支持多样例场景和任务,覆盖大模型训练推理场景。它不仅支持多种训练框架和推理引擎,还支持多种测试环境,包括单卡、单机和多机,以全面评估 AI 芯片的性能和适用性。

  在评测过程中,FlagPerf 严格审核参评代码,确保结果公平、过程公正。所有测试代码都已开源,测试过程和数据可复现。

+1

来源:站长之家

延展资讯