华为昇腾加速大模型研发落地

　　“算力使能，开放无限”，2023开放数据中心峰会以此为主题，在北京国际会议中心成功举办。

　　在大模型时代的服务器技术创新分论坛上，华为昇腾互联网首席解决方案架构师安宝磊发表主题演讲，对AI大模型发展趋势及应用方向，华为昇腾加速大模型研发和落地的技术优势与生态发展进行了全面的解读。

　　大模型不仅需要算法，而且需要数据处理，软硬件优化、模型开发、应用创新的系统工程能力，作为复杂系统工程，大模型的每个环节都存在着大量工程技术挑战，其中最主要的三个关键挑战在于：一是如何生成高质量的数据和高质量的模型，在模型选型、架构调整设计、技术验证过程设计方面非常复杂，试错成本高;二是如何完成大规模训练和调优工程，大模型训练对于集群稳定性有很高的要求，如果算力平台不稳定，训练任务频繁中断，训练成果有很大损失;三是如何实现高效业务落地，并确保具备持续创新能力。对于部分企业而言，模型推理资源占用高，AI落地成本高，AI集成进入现网业务流过程繁杂，企业缺乏业务流程及组织调整经验。

　　为解决以上挑战，华为联合伙伴推出了昇腾大模型解决方案，使能全流程开发与应用创新。从数据、模型准备到算力准备、模型训练，再到模型部署和集成，解决方案均可满足，不仅适用于多种场景，而且应对全行业客户需求，应用了昇腾AI基础软硬件能力、伙伴模型以及平台优势，结合生态伙伴彼此在大模型训练、微调和优化方面的算法和模型能力，添加了大模型推理引擎、调优工具和算子加速库。方案的优势在于10倍集群稳定性、20倍大模型无损压缩、自动生成和标注指令数据，以及首创混合架构、万亿参数微调，2倍transformer计算效率，以及小时级应用快速上线，短时延，高吞吐，高效推理部署。