2月20日，
复旦大学自然语言处理实验室
发布了国内首个
类ChatGPT模型MOSS，
立即引起各界关注，
MOSS网站
（https://moss.fastnlp.top/）
一度瘫痪。
目前，已有数万名用户申请参与内测。由于高校实验室的推理服务器资源非常有限，为保证MOSS较为流畅地给出回复，复旦科研团队只能分批邀请用户参与内测。
复旦MOSS团队回应内测
2月20日晚，MOSS发布至公开平台邀公众参与内测。当晚，社交媒体上出现截图，显示该平台“服务器流量过载，请明天上午重试”。
昨日，
MOSS官网发布公告，
解释称
“计算资源不足以支持如此大的访问量”
“给大家造成非常不好的体验和第一印象”
并致以真诚的歉意。
昨日凌晨2时30分，
复旦科研团队修复了网站服务器。
关于MOSS一个显著的反馈是，
MOSS的英文回答水平
比中文高，
这在公众与ChatGPT的互动中
也有类似体现。
复旦科研团队坦承，“MOSS的英文回答水平比中文高，因为它的模型基座学习了3000多亿个英文单词，中文词语只学了约300亿个。”
目前，MOSS的最大短板是中文水平不够高,主要原因是互联网上中文网页干扰信息如广告很多，清洗难度很大。为此，复旦大学自然语言处理实验室正在加紧推进中文语料的清洗工作，并将清洗后的高质量中文语料用于下一阶段模型训练。复旦科研团队相信，这将有效提升模型的中文对话能力。
对于网友提出的另一个疑问：“这个模型为何取名MOSS”，科研团队解释：“与自然语言处理领域的其他一些模型一样，开发者会用自己喜欢的影视角色名称命名模型，如BERT、Megatron等。我们在训练完第一代模型的时候，正值《流浪地球2》热映，影片中MOSS给团队每个人留下了深刻印象，所以用它来称呼我们开发的模型，以表达我们对最前沿人工智能模型的不懈追求。”
MOSS回答问题的水平如何？
MOSS的基础功能与ChatGPT类似，可以按照用户输入的指令完成各类自然语言处理任务，包括文本生成、文本摘要、翻译、代码生成、闲聊等等。在预览期间，MOSS的使用是免费的。
那么
MOSS的中英文回答水平怎么样？
在面对涉及
伦理判断和法律知识等问题时
它会如何回答？
近日，
就有记者与ChatGPT聊了聊
↓↓↓
可以看出，
MOSS的回答语言流畅、
逻辑清晰且观点正确。
与 ChatGPT 类似，
MOSS 有时也会输出
一些事实性错误的例子，
比如以下例子中
《黑客帝国》的导演
并不是 Thomas Neff，
而是沃卓斯基兄弟（姐妹）。
复旦科研团队也坦诚指出，
当前版本的MOSS表现不够稳定，
有些回答存在
事实差错或逻辑不顺。
除了多轮对话，
MOSS生成代码也不在话下。
此外，
MOSS还具备一定的价值观，
当被要求回答不合理的问题时，
MOSS会拒绝回答并给出正确的劝导。
MOSS距离ChatGPT还有多远？
MOSS开发的基本步骤与ChatGPT一样，包括自然语言模型的基座训练、理解人类意图的对话能力训练两个阶段。复旦大学计算机科学技术学院邱锡鹏坦言：“MOSS与ChatGPT的差距主要在自然语言模型基座预训练这个阶段。MOSS的参数量比ChatGPT小一个数量级，在任务完成度和知识储备量上，还有很大提升空间。”
据项目主页介绍，MOSS 和 ChatGPT 的主要区别在于：
MOSS 的参数数量比 ChatGPT 少得多。
MOSS 通过与人类和其他人工智能模型交谈来学习，而 ChatGPT 则通过人类反馈强化学习（RLHF）进行训练。
MOSS 将是开源的，以促进未来的研究，但 ChatGPT 可能不会。
据了解，MOSS 采用参数量为百亿级的自研模型进行训练。在对话能力训练阶段，OpenAI 收集了至少几十万条人类指令 —— 让各行各业的专业标注员写出指令回复，再将它们输入模型基座，以帮助 ChatGPT 逐步理解各种指令。复旦科研团队则采用不同的技术路线，通过让 MOSS 和人类以及其它 AI 模型都进行交互，显著提升了学习效率和研发效率，短时间内高效完成了对话能力训练。
研发团队表示，虽然 MOSS 已经实现了 ChatGPT 的一些功能，但仍然存在许多限制，由于缺乏高质量的数据、计算资源和模型容量，MOSS 仍然远远落后于 ChatGPT。
由于训练数据中的多语言语料库有限，MOSS 在理解和生成英语以外的语言的文本方面表现不佳。团队目前正在开发一个改进版本，以提高其中文语言技能。
由于模型容量相对较小，MOSS 不包含足够的世界知识。因此，MOSS 生成的一些响应可能包含误导性或虚假信息。
有时 MOSS 以迂回的方式执行，甚至未能遵循指示。在这种情况下，用户可能需要重新生成几次或修改 prompt，以获得令人满意的回复。团队正在积极提高其遵循指示的能力以及生产力。
有时 MOSS 可能会因 prompt 生成不道德或有害的反应。用户可通过单击 “不喜欢” 来帮助减少此类行为，团队将在下一个版本中更新模型。
MOSS可执行对话生成、编程、事实问答等一系列任务，打通了让生成式语言模型理解人类意图并具有对话能力的全部技术路径。这条路径的走通，为国内学术界和产业界提供了重要经验，将助力大语言模型的进一步探索和应用。
邱锡鹏表示：“尽管MOSS还有很大改善空间，但它的问世证明了在开发类ChatGPT产品的路上，国内科研团队有能力克服技术上的重要挑战。”MOSS研发项目得到了上海人工智能实验室的有力支持。后期，这项工作将通过开源方式和业界社区分享。
据介绍发布之后，团队将持续通过提供 MOSS 的可访问界面，根据宝贵的用户反馈（在许可下）不断改进模型。
上海科技综合整理自上观新闻、澎湃新闻、机器之心、每日经济新闻等