科技魔方

复旦研发出“眸思”大模型:助力视障者安全出行

更多动态

2024年03月04日

  据复旦大学官微发文,复旦大学自然语言处理实验室基于多模态大模型复旦眸思”(MouSi)为视障者量身打造的听见世界”APP上线,将成为视障人士的生活助手与智能管家。

  2023年上半年,复旦大学自然语言处理实验室发布了开发MOSS对话式大型语言模型,被称为中国版的GPT,仅用半年时间多模态模型眸思”问世。

  据介绍,眸思”与MOSS同音,眸思”和基于文本的MOSS不同,它能够理解并识别图片内容,致力于成为视障者的一双眸”。

  基于眸思”,听见世界”APP为视障者日常生活需求量身打造街道行走模式、自由问答模式和寻物模式。

  在街道行走模式中,眸思”如一位忠实的向导。红绿灯、十字路口、障碍物它能细致扫描道路情况,提示潜在风险,陪伴视障者安全通行看不见”的漫漫长路。

  在自由问答模式中,眸思”则像一位贴心的朋友,走进博物馆、艺术馆、公园捕捉四周景象的每个细节,用声音构建丰富的生活场景,传递每一处日常之美。

  在寻物模式中,眸思”将成为一名可靠的管家,被移动过的手杖、最爱口味的牛奶它可以让视障人士找寻日常物件变得轻松。

  在基于几亿张图片训练出眸思”大模型基础上,针对视障者提出的各类需求,团队又用上万张图片进行特殊样本训练,使眸思”具备能够适配更多场景的能力。

  据透露,今年上半年,团队将结合AR升级APP内的定位精度细化至亚米级别。下半年,团队希望将眸思”升级为基于视频的判断。目前,更多模式正在开发中,比如,阅读模式、解说模式等。

  预计今年3月听见世界”APP将完成第一轮测试,在中国一、二线城市和地区同步开启试点,根据算力部署情况进行推广。

+1

来源:快科技

延展资讯