科技魔方

嘉楠科技Canaan开源通用大语言模型Toucan

大模型

2023年08月31日

  近日,嘉楠科技(Canaan)发布了参数量为70亿的通用大语言模型 Toucan-7B 及 INT4量化版本 Toucan-7B-4bit。

  Toucan-7B 能够实现文案写作、代码解析、信息抽取等多种自然语言处理任务,并在测试中表现优于 ChatGLM-6B。Toucan-7B-4bit 使用了最新的 INT4量化技术,显存占用量更低,与 Toucan-7B-fp16模型相比,具有较好的推理效果。

  据悉,Toucan 是一个基于 Meta LLaMa 架构的开源中文对话语言模型。它具有70亿参数,并结合了模型量化和稀疏技术,可以在端侧进行推理。Toucan-7B 的效果略好于 ChatGLM-6B,而经过4bit 量化后的模型与 ChatGLM-6B 的效果相当。

+1

来源:站长之家

延展资讯