Groq公司推出的大模型推理芯片,每秒500tokens的惊人速度超越了传统GPU,挑战谷歌TPU。
Groq公司推出的大模型推理芯片以每秒500tokens的速度引起轰动,超越了传统GPU和谷歌TPU。该芯片由初创公司Groq研发,其团队成员来自谷歌TPU,包括创始人兼CEO Jonathan Ross,曾设计实现第一代TPU芯片的核心元件。
近期,一家名为Groq的初创公司推出了一款大模型推理芯片,其推理速度达到了每秒500tokens的惊人水平,轻松颠覆了传统GPU的性能。
-------------没有了-------------