科技魔方

谷歌发布新代码模型Code Gemma:参数小、性能强,硬件要求低!

更多场景

2024年04月18日

  谷歌最近发布了面向企业、开发人员的全新代码模型 Code Gemma,该模型参数小、性能强,同时对硬件要求较低。Code Gemma 共有基础预训练、指令微调和快速推理三个版本,在基准测试中展现出优异的性能表现。该模型使用超过5000亿 tokens 的代码、数学、文本等数据进行了大规模预训练,能够快速生成 Python、JavaScript、Java、C/C++、C# 等主流编程语言代码。

  在模型性能方面,Code Gemma70亿参数的性能超过了同类代码模型如 DeepSeek Coder、StarCoder2等,并且推理效率和准确率更高。Code Gemma 系列模型分别是专门针对代码填充进行训练的 Code Gemma2B,基础预训练模型 Code Gemma7B 以及指令微调版本 Code Gemma7B Instruct。开发团队在多个数学数据集上进行了监督式微调,进一步提升了 Code Gemma 的推理能力。

  Code Gemma 在多个知名测试平台中获得了不错的成绩,包括 HumanEval Infilling 平台、HumanEval 和 MBPP 测试平台以及 Babel Code 测试平台。在代码编程、Python 编码和多语言编程等任务上,Code Gemma 展现出了强大的编码能力和优异的性能表现,特别是在 Java、JavaScript 和 Kotlin 等语言上的效果尤为突出。

+1

来源:科技魔方

延展资讯