今天,豆包大模型1.5Pro版本正式和大家见面。新模型综合能力显著增强,低训练/推理成本,高效模型结构,全面提升多模态能力、推理能力,多项公开评测基准上全球领先。模型训练过程中,未使用任何其他模型生成的数据,扎实不走“捷径”。
完整版Blog可在豆包大模型团队官网查看(可直接点击文末“阅读原文”):
https://team.doubao.com/doubao_1_5_pro
目前,Doubao-1.5-pro 已在豆包 App 灰度上线,接受海量请求效果出色,同时,开发者也可在火山引擎直接调用 API 。
综合能力领先
豆包大模型1.5Pro在知识(MMLU_PRO、GPQA)、代码(McEval、FullStackBench)、推理(DROP)、中文(CMMLU、C-Eval)等多项公开测评基准上成绩全球领先。详见文末表格。
高效模型结构,超低成本
豆包大模型1.5Pro使用较小的激活参数进行预训练,训练成本极低,但性能不打折,采用大规模稀疏MoE架构,等效7倍激活参数的Dense模型性能,远超业内MoE架构约3倍杠杆的常规效率。
凭借自研服务器集群方案,灵活支持低成本芯片,硬件成本比行业方案大幅度降低。
自研网卡和网络协议,显著优化小包通讯效率,算子层计算与通信的高效交叠,保证了多机分布式推理的稳定和高效;通过精细量化和PD分离等方案,灵活使用算力和多任务混合调度,实现更高效算力利用。
多模态能力全面提升
新版豆包视觉理解模型Doubao-1.5-vision-pro,视觉理解能力全球领先。详见文末表格。
全新的豆包实时语音模型Doubao-1.5-realtime-voice-pro,采用Speech2Speech端到端框架,表现力实现质的飞跃,真正做到会哭会笑、能说方言会唱歌。该模型已在豆包App全量上线,欢迎体验。
更强的深度思考能力
基于豆包1.5基座模型,通过RL算法的突破和工程优化,在未使用其他模型数据的情况下,研发豆包深度思考模型。阶段性进展Doubao-1.5-Pro-AS1-Preview在AIME上已取得了业内领先的成绩。详见文末表格。
扎实不走“捷径”
所有模型训练过程中,未使用任何其他模型生成的数据。
豆包大模型构建自主的数据生产体系,以标注团队与模型self play技术相结合,高效优化数据质量,提升数据标注多样性和难度,确保数据来源的独立性和可靠性。
向无尽的未知进发
字节豆包大模型团队鼓励探索更长周期、具有不确定性的研究课题,也鼓励挑战跨模态、跨方向的高难度课题交叉合作。欢迎有志研究人员加盟了解。
附: