如何评价字节新发布的豆包深度思考模型?
作者:卡卷网发布时间:2025-04-17 23:07浏览数量:22次评论数量:0次
短的结论:国产推理模型再攀高峰
基本信息:
- 成本:16块每百万
- 速度:约85字每秒
- 平均长度:约11400字
- 平均耗时:134秒
测试方式:参见https://zhuanlan.zhihu.com/p/32834005000
这次测试基于4月题目,已经增加#34 & #35 2道Hard题,所以所有模型的分数相比3月有变动。
官方在介绍模型时,与DeepSeek R1相比,表示豆包thinking比R1,在人类评估上超DeepSeek R1 8%。目前笔者实测下来基本吻合,略超R1。
豆包thinking的首字delay时间相当优秀,300毫秒不到,仅次于Step R1 mini的200毫秒。是所有大模型中最低的一档。当然考虑到这与服务部署有关,并不是相同硬件条件下直接对裸模测试的结果,因此这只代表通过方舟平台使用服务的延迟,不代表模型本身能力。
豆包thinking的定价也是对标R1,但由于豆包输出长度略长,因此成本还是略高于R1。
在输出风格上,还显得较为随意,半数问题有标准markdown格式,另外一半或是简略答案,或是推理摘要。或长或短。
以下就重点对比豆包thinking与R1。
优势:
- 在大部分涉及复杂指令的问题上,豆包表现轻微好于R1。R1偶尔会因为幻觉,忘记一些指令细节,而豆包可以比R1稍微多记住一些。典型如#2文本提取,豆包取得满分,前不久发布的商汤日日新6.0 reason也同样是满分。
- 计算能力略强于R1。如#22连续计算问题,豆包拿到接近满分,与Gemini 2.5 pro,o3 mini等表现相似。而R1由于其较高的幻觉率,在计算中途会产生偏差。
劣势:
- 喜欢使用暴力。#23密文破译 虽然正确,但有运气成分,他并没有观察到密文的结构特征,而是暴力猜测,刚好猜对了密钥。于是同样考验人类直觉但更难的#24 找规律问题以及#29 数学符号还原问题,豆包就束手无策了。在暴力推导20000字后无果放弃。
- 前面提到豆包指令遵循略好,但并非没有badcase。豆包的问题主要在于“自我意识”过强,如#30 日记整理,其中一条约束是要把满足条件的物品改用英文,而豆包坚持在英文翻译后再补充中文原文。遵守了,但没完全遵守。
- 幻觉现象依然不轻,#32 干支纪年,题目已经提示先找数学规律,豆包确实找了,但推理到中途就忘了自己在算什么,迷失在中文与数字交错的文本中,后续的万余字推理已经失去意义。
总评:
在2月DeepSeek R1席卷全国时,豆包App坚持不接入R1,让混元抢占先机,吸引了许多用户。而豆包团队的坚持是对的,如今即是收获季节。当豆包拿出(略)超过R1的推理模型时,混元阁下又当如何应对呢。
不过话说回来,整个4月大模型行业风起云涌,目前已新收录了16个新发布或更新。其中不乏grok3 mini这样,性能和性价比都在豆包之上的强力竞争者。但考虑到豆包thinking只有200B参数,仅为R1的1/3不到,理论上有充足降价空间。
豆包thinking有一款vision模型,会加入到后续的多模态vision测试中。
免责声明:本文由卡卷网编辑并发布,但不代表本站的观点和立场,只提供分享给大家。
相关推荐

你 发表评论:
欢迎