9月20日，上海人工智能实验室（上海ai实验室）与商汤科技联合香港中文大学和复旦大学正式推出书生·浦语大模型（internlm）200亿参数版本internlm-20b，并在阿里云魔搭社区（modelscope）开源首发。同时，书生·浦语面向大模型研发与应用的全链条工具链全线升级，与internlm-20b一同继续全面开放，向企业和开发者提供免费商用授权。
自今年6月首次发布以来，书生·浦语已经历多轮升级，在开源社区和产业界产生了广泛影响。为进一步推动大模型落地应用，上海ai实验室联合多家机构推出了中量级参数的internlm-20b大模型，性能先进且应用便捷，以不足三分之一的参数量，达到了当前被视为开源模型标杆的llama2-70b的能力水平。
代码库链接：
https://github.com/internlm/internlm
魔搭社区链接：
https://modelscope.cn/organization/shanghai_ai_laboratory
书生·浦语“增强版”：
增的不只是量
相比于国内社区之前陆续开源的7b和13b规格的模型，20b量级模型具备更为强大的综合能力，在复杂推理和反思能力上尤为突出，因此可为实际应用带来更有力的性能支持；另一方面，20b量级模型可在单卡上进行推理，经过低比特量化后，可运行在单块消费级gpu上，因而在实际应用中更为便捷。
internlm-20b是基于2.3t token预训练语料从头训练的中量级语言大模型。相较于internlm-7b，训练语料经过了更高水平的多层次清洗，补充了高知识密度和用于强化理解及推理能力的训练数据。
基于opencompass的internlm-20b及相近量级开源模型测评结果
在考验语言模型技术水平的理解能力、推理能力、数学能力、编程能力等方面，internlm-20b与此前的开源模型相比，性能显著增强：
优异的综合性能，通过更高水平的数据清洗和高知识密度的数据补充，以及更优的模型架构设计和训练，显著提升了模型的理解、推理、数学与编程能力。评测结果显示，internlm-20b在全维度上领先于开源13b量级模型，平均成绩明显超越llama-33b，以不足三分之一的参数量，评测成绩达到了被视为开源模型的标杆llama2-70b水平。
拥有强大的工具调用能力，实现大模型与现实场景的有效连接，并具备代码解释和反思修正能力，为智能体（agent）的构建提供了良好的技术基础。
支持更长的语境，通过多阶段训练拓展，支持16k语境长度，更有效地支撑长文理解、长文生成和超长对话，并为在internlm-20b之上打造智能体（agent）的提供关键技术基础。
具备更安全的价值对齐，书生·浦语团队对internlm-20b通过基于sft（监督微调）和rlhf（基于人类反馈的强化学习方式）两阶段价值对齐，以及专家红队的对抗训练，大幅提高其安全性。当面对带有偏见的提问时，模型能够给出正确引导。
全链条工具体系再巩固：
各环节全面升级
今年7月，上海ai实验室在正式发布书生·浦语的同时，在业内率先开源了覆盖数据、预训练、微调、部署和评测的全链条工具体系。历经数月升级，书生·浦语全链条开源工具体系巩固升级，并向全社会提供免费商用。
全面升级的全链条工具体系
数据-opendatalab开源“书生·万卷”预训练语料
书生·万卷是上海ai实验室开源的多模态语料库，包含文本数据集、图文数据集、视频数据集三部分，数据总量超过2tb。目前，书生·万卷1.0已被应用于书生·多模态、书生·浦语的训练，为模型性能提升起到重要作用。
预训练-internlm高效预训练框架
除大模型外，internlm仓库也开源了预训练框架internlm-train。深度整合transformer模型算子提升了训练效率，并提出独特的hybrid zero技术，显著提升训练过程中的通信效率，实现了高效率千卡并行，训练性能达行业领先水平。
微调-internlm全参数微调、xtuner轻量级微调
internlm支持对模型进行全参数微调，支持丰富的下游应用。同时，低成本大模型微调工具箱xtuner也在近期开源，支持多种大模型及lora、qlora等微调算法。通过xtuner，最低仅需 8gb 显存即可对7b模型进行低成本微调，在24g显存的消费级显卡上就能完成20b模型的微调。
部署-lmdeploy支持十亿到千亿参数语言模型的高效推理
lmdeploy涵盖了大模型的全套轻量化、推理部署和服务解决方案，支持了从十亿到千亿级参数的高效模型推理，在吞吐量等性能上超过fastertransformer、vllm和deepspeed等社区主流开源项目。
评测-opencompass一站式、全方位大模型评测平台
opencompass是上海ai实验室开源的大模型评测平台，构建了包含学科、语言、知识、理解、推理五大维度的评测体系，支持超过50个评测数据集和30万道评测题目，支持零样本、小样本及思维链评测，是目前最全面的开源评测平台。自7月发布以来，受到学术界和产业界广泛关注，目前已为阿里巴巴、腾讯、清华大学等数十所企业及科研机构广泛应用于大模型研发。
应用-lagent轻量灵活的智能体框架
书生·浦语团队同时开源了智能体框架，支持用户快速将一个大语言模型转变为多种类型的智能体，并提供典型工具为大语言模型赋能。lagent集合了react、autogpt 及rewoo等多种类型的智能体能力，支持智能体调用大语言模型进行规划推理和工具调用，并可在执行中及时进行反思和自我修正。
基于书生·浦语大模型，上海ai实验室已经发展出更丰富的下游应用，将于近期陆续向学术及产业界分享。
面向大模型掀起的新一轮创新浪潮，上海ai实验室致力于以原始创新引领技术进步，持续打造综合能力更强大的基础模型，构建更完整易用的全链条工具体系，并坚持通过开源开放、免费商用，全面赋能整个ai社区生态的繁荣发展，帮助企业和研究机构降低大模型的开发和应用门槛，让大模型的价值在各行各业中绽放。
全链条工具体系开源链接：
“书生·万卷”预训练语料
https://github.com/opendatalab/wanjuan1.0
internlm预训练框架
https://github.com/internlm/internlm
xtuner微调工具箱
https://github.com/internlm/xtuner
lmdeploy推理工具链
https://github.com/internlm/lmdeploy
opencompas大模型评测平台
https://github.com/open-compass/opencompass
lagent智能体框架
https://github.com/internlm/lagent
来源：上海人工智能实验室
编辑：拾
↓分享
↓点赞
↓在看
上观号作者：上海科技