当前位置:首页 > 每日看点 > 正文内容

o1、GPT4、GPT4o 这三个有什么区别?

卡卷网1年前 (2024-12-04)每日看点477

GPT-4已经无了。

GPT omni,模态全能者

GPT-4o,o代表着omni(全能),体现了OpenAI将大部分模态,统一在Transform框架下,激发模型进行全模态思考的野心。

比如S2S,比传统的TTS,多了声波的维度,你可以从声波的频率中解读出额外的信息。还有图片识别,在统一框架下的图片识别,可以更有机地调用主模型的推理能力。

GPT-4o的框架下,有小模,中模,大模三种尺寸,小模适合快速推理(其实什么都不适合,现在比较好用的小模是Flash002),中模适合大部分人的通用任务,包括数学,代码,查询差不多都在这一层,大模写作能力更好,情感理解更细腻,大模的存在并不能明显提升STEM领域的表现,但对那种规则不明确的领域,会有更好的模拟,比如写作。

OpenAI o1,推理者

这是基于GPT的新式推理框架,可以理解为一个官方的Prompts外挂,通过强化学习,让模型学会通过“Prompt自启发”来稳固展开推理流,视野更广,步子更稳,走得也更远。作为一个通过强化学习得到的模型,奖励设置是重中之重。像数学、逻辑推理,通用代码是几个容易验证,所以容易设置奖励的领域。像主观性的东西,仍依赖于传统的RLHF(或者SFT),这就非常考验项目主管的审美能力了。

从本质上讲,o1仍然属于“单体Agent推理流”,这和马文·明斯基设想的“Agents心智社会”有比较大的差距,——即“智能”是由多个Agents协作产生的,它们会符合进化论和博弈论的潜在规则。或者,简而言之,o1仍然属于弱强化学习。如果要构成了一个“Agents的推理社会”,仍然需要在强化学习多多投入。

我大体同意OpenAI的理念,从深度神经网络中能直接挖掘出来的东西看,现阶段已经告一段落了,下一个世代需要的算力和数据量,可能又是另一个级别了。

扫描二维码推送至手机访问。

版权声明:本文由卡卷网发布,如需转载请注明出处。

本文链接:https://www.kajuan.net/ttnews/2024/12/2930.html

分享给朋友:

相关文章

开发了个小程序,咋推广呢?

要是开发了个小程序,想推广的话,可以先从自己的朋友圈子下手,让亲戚朋友都帮忙转发宣传,这样能先有点人气。然后去一些跟你的小程序相关的论坛、社区啥的,发帖子介绍介绍,吸引有兴趣的人。还能找些网红、博主合作,要是他们觉得你的小程序不错,帮忙推荐...

国内AI大模型已近80个,哪个最有前途?

国内AI大模型已近80个,哪个最有前途?

题主说错了,不是80个,是168个!虽然“最有前途”不好说,但是我可以帮题主排除一些错误方向:开源大模型一定比闭源的有前途吗?参数量大的模型一定就比小模型有前途吗?榜单排名高的大模型一定更有前途吗?2024年3月更新,243个大模型中有哪几...

为什么不建议买游戏本?

我建议厂家改名厂家犯了个巨大错误:游戏本的主要受众是在校大学生,但大学生买电脑的买单人是他们的父母。你让父母给孩子买个游戏本,父母怎么想?如果你改成高效学习本、优质学习本、智能学习本、高速学习本,甚至硕博连读本,你看看家长舍不舍得砸这个钱...

是什么原因让你一定要用 iPhone?

是什么原因让你一定要用 iPhone?

1、不用清理内存,iPhone真的可以开机用上一年,你根本不用关注期间打开过什么软件。2、支持的频段足够多,天天在国内走动倒是无所谓,很多Android手机一旦出去了,就会发现很多运营商接入都是问题,更不用说各种本土化的服务了。3、屏幕素质...

为什么原来说 7 nm 是半导体工艺的极限,但现在又被突破了?

10年前我们觉得65nm工艺是极限,因为到了65nm节点二氧化硅绝缘层漏电已经不可容忍。所以工业界搞出了HKMG,用high-k介质取代了二氧化硅,传统的多晶硅-二氧化硅-单晶硅结构变成了金属-highK-单晶硅结构。5年前我们觉得22nm...

为什么程序员们愿意在GitHub上开源自己的成果给别人免费使用和学习?

开源可以垄断。人类最高的权力不是什么国家而是意识形态,能够控制别人的思维方式。你把你的东西开源出来了,其他人就会懒于思考,在这一个思考上使用你的方式。比如容器编排,经过了K8s后谁还会去开发那些奇奇怪怪的编排手段,直接用不就行了。形成了生态...

发表评论

访客

看不清,换一张

◎欢迎参与讨论,请在这里发表您的看法和观点。