复旦MOSS距离ChatGPT还有多远？

最近上热搜的MOSS，不是《流浪地球2》中量子计算机550W给自己起的新名字，而是复旦大学计算机科学技术学院教授邱锡鹏团队最新发布的国内第一个对话式大型语言模型，也被称作中国版ChatGPT。

2月20日，MOSS悄然上线，邱锡鹏团队发布至公开平台，邀公众参与内测。但是由于瞬时访问火爆，计算资源无法支撑，内测窗口已暂时关闭。

悄然上线，又匆匆关闭，MOSS这一“快闪”的举动，让它的亮相饱受争议。

那么相对于美国OpenAI的ChatGPT，中国的MOSS有何特别之处呢？记者在主页看到了这样的介绍:MOSS和ChatGPT的区别——如MOSS的参数量比ChatGPT少得多；MOSS通过与人类和其他AI模型交谈来学习，而ChatGPT是使用来自人类反馈的强化学习进行培训；MOSS将是开源的，以促进未来的研究，但ChatGPT可能不是这样。

据介绍，MOSS开发的基本步骤与ChatGPT一样，包括自然语言模型的基座训练、理解人类意图的对话能力训练两个阶段。作为MOSS主要作者之一，邱锡鹏表示:“MOSS与ChatGPT的差距主要在自然语言模型基座预训练这个阶段。MOSS的参数量比ChatGPT小一个数量级，在任务完成度和知识储备量上，还有很大提升空间。”

ChatGPT语言模型的参数量高达1750亿，而在它问世前，世界上最大的语言模型是微软开发的Turing-NLG，其参数量为170亿。自去年11月30日正式发布以来，ChatGPT上线5天，注册用户就突破百万。目前，其用户规模已达到1亿，成为互联网发展史上用户增长最快的消费级应用。

复旦大学计算机科学技术学院教授张奇是推出MOSS的复旦大学NLP实验室核心成员之一。对于ChatGPT背后模型所拥有的1750亿的参数规模，他在一次公开讨论中表示，学校这类机构很难去完成，目前百亿级的规模都已经非常困难。

按照ChatGPT目前开源的最简单复现版本、最便宜模式去计算，要做到1750亿的参数规模，需要大概6000万元的硬件成本，同时运算3.5个月。这还是所有事情都做对的情况，如中间有参数调整，或者想加速训练过程，就需要更高规模的投资。

归根到底还是研发投入的问题。而除了学术界，国内科技企业也纷纷摩拳擦掌开发自己的ChatGPT:原美团联合创始人王慧文近日明确表示，要“组队拥抱新时代，打造中国OpenAI”；百度此前宣布将在3月上线百度版ChatGPT——文心一言；阿里达摩院正在研发类ChatGPT的对话机器人，目前已开放给公司内员工测试；科大讯飞也表示，Al学习机将成为公司类ChatGPT技术率先落地的产品……

《科技日报》2023年2月23日第02版

郑重声明：此文内容为本网站转载企业宣传资讯，目的在于传播更多信息，与本站立场无关。仅供读者参考，并请自行核实相关内容。