科技魔方

国产ChatGPT大战弱智吧效果实测!网页端小程序均已上线:人人可玩

媒体头条

2023年02月28日

  “中国版ChatGPT首发”,争得不可开交,热闹却一直没个结果——

  自ChatGPT发布以来,目前进展最快的国内产品也仅是开启了内测,不知道啥时候才能玩上。

  结果现在有读者跟我们爆料,一个中文版类ChatGPT产品已经悄然上线。

  不是预告、也不是开启小范围测试,而是直接人 人 可 用?!中国版ChatGPT这不就来了吗!

  听起来有些玄幻,不过我们点进主页试了试,发现确实可玩:

国产ChatGPT大战弱智吧效果实测!网页端小程序均已上线:人人可玩

  这不得拿出十八般武艺与它较量一番?

  我们注册了一个账号,试试它的实际效果如何。

  和中国版ChatGPT较量中文

  这个官网显示,写作猫同样通过对话问答来解决任务,功能上包括但不限于三大方向。

  其一,问答功能,也就是问啥答啥、“帮人思考”这一能力;

  其二,文本生成功能,包括整理摘要大纲、写作文、翻译等;

  最后,图片生成功能,描述图片内容并让它直接生成。

  从功能上看跟ChatGPT差不多,甚至还拥有ChatGPT所没有的图片生成功能。

  当然,还有手机端更方便一点,进入“对话写作猫”小程序就能随时和它聊天了。

  体验上还算比较简单直接,但都是表面功夫还得来看真本领。比如它的理解、逻辑能力如何,懂不懂常识。

  既然是中国版ChatGPT,当然得先来battle一下博大精深的中文。

  首先看看它的中文理解能力是否过关,请听题——“能穿多少穿多少”是什么意思?

国产ChatGPT大战弱智吧效果实测!网页端小程序均已上线:人人可玩

  不错。再试试高阶一点的“国足和国乒谁都赢不了”?

国产ChatGPT大战弱智吧效果实测!网页端小程序均已上线:人人可玩

  没想到,竟然连这种中文知识都具备了!

  既然如此,是时候拿出一些弱智吧段子和它PK了,考考它的逻辑能力——

  高中想提升升学率为什么不直接招大学生?

国产ChatGPT大战弱智吧效果实测!网页端小程序均已上线:人人可玩

  万万没想到,问完自己被扎了一刀:

  招收大学生可能会对学校的教学质量产生影响,因此高中不能直接招收大学生。

  最后来考查一下它的常识。来个脑筋急转弯试试:

国产ChatGPT大战弱智吧效果实测!网页端小程序均已上线:人人可玩

  看起来并没有被问题带跑偏,还是比较理智的。

  接下来,进入正经的第二阶段,评估一下它的内容生成效果。

  首先是生成速度上,文字平均在3~5秒左右,生成4幅图则需要8秒左右,整体还是比较快的。

国产ChatGPT大战弱智吧效果实测!网页端小程序均已上线:人人可玩

  随后就是生成内容的实用程度了,简单来说就是解决实际需求的能力。

  例如,写小说的故事情节是否完整?查阅到的知识是否直接可用?

  先看生成情节的能力,确实是个完整的爱情故事……但等等,孙坚和小乔,这辈分好像有亿点点乱啊!

国产ChatGPT大战弱智吧效果实测!网页端小程序均已上线:人人可玩

  要是更玄幻一点呢?

国产ChatGPT大战弱智吧效果实测!网页端小程序均已上线:人人可玩

  天地之间、神秘的少年、精灵、森林……艾玛有画面了!

  不论事实性如何,这同人文一般的情节倒是印证了最后那句“爱情可以超越一切外在因素的”……

  然后是一些常规任务之外的需求,例如“角色扮演”:

国产ChatGPT大战弱智吧效果实测!网页端小程序均已上线:人人可玩

  整体测评来看,写作猫的中文理解和内容生成能力还是不错的,但并不排除它还存在一些bug。

  例如,某些回答乍一看合乎逻辑,但细究之下无法直视……

国产ChatGPT大战弱智吧效果实测!网页端小程序均已上线:人人可玩

  以及偶尔也会像微软必应一样“发疯”出现回答重复的问题……

  除此之外,我们也在测试时产生了一些疑惑。

  例如,虽然它能实现翻译功能:

国产ChatGPT大战弱智吧效果实测!网页端小程序均已上线:人人可玩

  但却并不直接支持英文问答。

  此外,像ChatGPT能直接生成代码的能力,写作猫也还不具备。

  不过作为国内率先开箱即用的类ChatGPT产品,也算是可圈可点。

  总的来看,写作猫在中文理解和按需生成文本上做得不错,但仍然和ChatGPT一样存在一些“经不起推敲”的回答。

  这些问题的产生原因是?而且有关英文和代码生成的能力,也还不知道之后会不会上线。

  带着这些疑问,我们同背后的开发团队聊了聊,了解到整个产品从开发到上线的来龙去脉。

  AI写作能力的自然延伸

  秘塔写作猫团队针对我们提出的问题进行了解答。主要包括三个方面:

  为什么能这么快上线,并且直接做到开箱即用?

  存在上述bug的原因,会如何解决?

  未来有什么样的计划?

  首先,之所以能做到如此快地上线,开发人员表示“主要有两个关键”。

  第一点,秘塔在大模型训练上有充分的积累。有个很巧妙的时间点在于,ChatGPT上线的同期,秘塔写作猫的AI写作功能也正式开放,当时就已经实现小范围出圈——

  针对AI可能出现的问题如行文流畅度、对中文的理解程度、以及翻译腔等情况,写作猫都能比较好地解决。

  此次也可以看到,对话写作猫同样具备这些方面的能力,在涉及内容创作等场景中表现不错。

  除此之外,就秘塔写作猫整个产品体系来说,对话写作猫所具备多轮对话能力,其实也是在交互式指令AI写作上的自然延伸,允许用户更自如地进行内容创作和修改。

  换言之,相当于对现有AI助手的能力进行补充,这也是该产品的定位所在。

  第二点在于技术上的优化。相较于大厂,秘塔的计算资源十分有限(不足千分之一),但团队凭借多年积累的大语言模型相关研发经验,和各类算法和工程上的优化,实现了快速迭代。在大模型落地时,降低了模型的通信量,以维持大语言模型的高效训练。

  这背后也离不开团队的技术实力。

  秘塔科技CEO闵可锐,是复旦大学计算机系校友,随后前往牛津攻读数学系硕士、UIUC攻读计算机博士,师从马毅教授;除此之外,他还拥有丰富的产业经验,曾担任玻森数据CTO&联合创始人、猎豹移动AI实验室负责人,并参与过谷歌AdSense基于内容广告建模组点击率预测项目。

  工程负责人唐悦,同样复旦计算机系校友,他研发过多款APP、游戏及工业机械臂等,曾在著名编程竞赛平台TopCoder上取得构架组排名第一。

  总的来看,产品化经验、技术上积累以及团队实力的叠加都是“加速”的原因,也就不奇怪秘塔对话写作猫为何能率先上线了。

  至于仍然存在的一些bug,开发人员也进行了解释,并表示:已在持续优化中。

  比如像面对重复性问题会无法理解语义。团队解释称,这是因为模型记忆力“太强”了——

  模型会“看到”之前自己的回答,从而比较“偷懒”地采用之前的回答。

  还有像不支持英文,但仍有英文回答的现象。这是因为他们内部准备的是简体中文训练数据集,其中不可避免会出现部分英文内容,比如英语教学的文章。

  在下个版本中,他们将加入英文语料来提升英文的理解和回答能力。

  除此之外,团队还提及了这几个方面的计划。核心有两个方面:持续迭代产品,优化数据和算法。

  持续迭代产品这块,开发程序让用户体验正是他们的思虑所在。

  任何好的产品都离不开用户的反馈。ChatGPT在去年底发布,很重要的一个原因也是希望得到大量用户的测试和反馈。

  我们也在程序中设置了反馈机制,争取不断迭代优化,让更多的用户认可对话写作猫的价值。

  至于像核心数据和算法这方面,团队也在持续优化中,英文和代码生成能力也将在后续版本中上线。

  国内ChatGPT产品现状如何?

  此番首个ChatGPT产品开箱即用,再加上此前高校开放类ChatGPT产品内测,可以看到,国内类ChatGPT产品已呈现出百花待放、百家争鸣的景象。

  他们或来自大厂、高校机构,亦或是如秘塔科技这样技术驱动的创业公司;他们进度不同,有已经正在内测、或者已处于上线前夕的团队,也有的才开始将ChatGPT作为企业重要的战略方向,从头打造为自身场景赋能;当然更多的,是基于已有技术的升级迭代,而ChatGPT的出现则刚好验证了他们的技术选择。

  在ChatGPT以惊人的速度在全球爆火出圈之际,OpenAI的首席执行官Sam Altman曾坦言:

  ChatGPT是一个糟糕的产品,它真的不是为使用而设计的。

  现在确实是一个激动人心的时刻,但我认为距离拐点还为时尚早。

  深究原因,绕不过去的一点,就是ChatGPT没有事实的概念,无法判断对错,导致它有时候会“说谎”。因此,如何让ChatGPT真正能够“使用”,也成为全球躬身入局的玩家需要应对的难题。

  如今国内ChatGPT玩家百花待放的同时,他们也逐渐进入产品冷静期——

  开始思考自身定位,如何将ChatGPT“用”到场景中去。

  随着对话写作猫的发布,国内ChatGPT产品大致可以梳理成三类。

  第一是实用工具类。围绕着ChatGPT的通用助手特性,通过对话的方式来解决人类日常问题。

  这其实是ChatGPT技术落地中最直观、也是最快能产生价值的一种方式。

  当中代表就是秘塔对话写作猫。在ChatGPT发布之前,秘塔写作猫就已经有多年相关产品经验——以AI助手的角色在学界、产业界出圈。

  对他们来说,如今对话写作猫的发布,其实也是进一步完善了自己的产品体系。

  第二是对话聊天类。这一类倒也并不陌生,是在AIGC典型场景下诞生的AI社交产品。有了ChatGPT加持,不仅验证了AIGC乃至AGI的技术趋势,从产品的角度来看,还可以丰富他们的表达和组织语言的能力。

  像AI对话软件Glow、小冰等产品,也都在这场ChatGPT浪潮中吸引着资本市场的目光。

  不过他们需要应对的,是更严格的监管和更复杂的内容审查能力,从最近ChatGPT黑化、Bing发疯等现象就可见一斑。

国产ChatGPT大战弱智吧效果实测!网页端小程序均已上线:人人可玩

  第三是产业类,这是以百度、科大讯飞等为代表的产业玩家,他们本身有深厚的技术与生态积累。

  但场景中的高质量数据要求,以及专业性强、容错率低等特性,决定了他们需要彻底解决ChatGPT“一本正经地胡说八道”的问题,这显然也不是短期可以实现的。

  总的来看,国内玩家的角色定位逐渐明晰,他们都有各自的场景和数据。但不可否认的是,要让ChatGPT能真正用起来,核心依旧绕不开技术。

  从ChatGPT已具备的能力来看,它在长文本理解、代码生成、逻辑推理等功能上都做到了令人惊艳的效果。这一点国内的确存在一定客观差距,需要持续不断地迭代和追赶。但技术上一旦实现,结合场景数据也能快速落地。

  开箱即用,就是最快、也是最有效的迭代方式。

  一如ChatGPT刚上线之时,一方面,用户给出直接的技术反馈,开发者来以此对症下药。当时网友吐槽数学逻辑性不强、存在事实性错误等问题,OpenAI在后续更新时也在逐渐解决优化;

  另一方面,用户充当免费“提示工程师”的角色,帮助产品解决更多长尾场景,激发更多技术能力。比如就有人在GitHub上梳理了ChatGPT的提示词文档。

  秘塔科技在此先行一步,值得更多玩家参考。

  感兴趣的旁友可戳下方链接或进入微信小程序“对话写作猫”,抢先体验啦!

+1

来源:量子位 作者:杨净

推荐文章