科技魔方

基于RWKV可在本地运行的AI小镇开源

大模型

2023年11月15日

  AI Town RWKV Proxy是一个允许用户在本地通过RWKV代理来运行大型AI城市的项目。该项目基于RWKV,这是一个线性变换器,没有评估妥协,推理成本较低(10-100倍),足够轻便,可以在16GB RAM和任何现代CPU上运行。用户可以选择在不同设备上运行不同大小的模型,甚至可以在Raspberry Pi等低端设备上运行1.5B模型。尽管代码尚未完全优化,但仍有很大的提升空间,特别是在降低CPU使用率的瓶颈方面。

  设置步骤: 用户可以按照提供的步骤,首先在本地设置AI Town,确保其正常运行,然后克隆AI-TOWN-RWKV-proxy项目。通过简单的命令,用户可以选择在CPU、GPU上运行不同大小的模型,从而实现本地AI城市的搭建。

  使用Cloudflared部署代理: 由于目前存在限制,用户需要通过公共URL将RWKV AI模型路由到云中。推荐的方法是使用cloudflared,用户只需运行几个简单的命令,即可获取公共URL,以便后续使用。

  OpenAI请求路由: 用户需要在convex环境设置中添加OPENAI_API_BASE,并提供openAI键以用于嵌入。这确保了OpenAI请求被正确路由到代理,实现与RWKV的集成。

  字符数扩展: 产品建议将字符数扩展至最多75个,以确保在AI城市/convex方面不会出现稳定性问题。产品还提供了简单的步骤,用户可以按照说明修改字符数,并在AI城市项目中进行相应更改。

  关于RWKV: 提供关于RWKV的信息,强调其作为线性变换器的特性,以及推理成本的低廉性,使其适用于各种设备。

  AI Town RWKV Proxy为用户提供了在本地构建和运行大型AI城市的便捷方式,通过整合RWKV和convex等技术,实现了更高效的推理过程和更低的硬件要求。

+1

来源:站长之家

延展资讯