科技魔方

云知声推出山海大模型2.0版 参数规模达千亿

大模型

2023年08月31日

  云知声宣布推出山海大模型2.0版,参数规模达到千亿,增加了更多的学科类的预训练语料,训练数据(Tokens)达到两万亿(2.0T)。实测性能在 C-Eval 全球大模型综合性评测中超过了 GPT-4,以70分的成绩进入前三甲。

微信截图_20230831091233.png

  据悉,这次升级使得山海大模型在多学科能力和医疗能力方面得到了提升,为实现 AGI 的进化打下了基础。模型团队利用了教材、文献和百科类语料来丰富模型的知识库,尤其在医疗领域方面取得了突破。

  另外,模型的性能也得到了加速提升,通过使用 Neural Tangent Kernel (NTK) 的非线性差值方法,实现了大规模长度扩展,支持了32K 的窗口长度。为了提高解码效率,模型还采用了受限解码方法。

+1

来源:站长之家

延展资讯