“GPT-4o在交互模式上是一个巨大进步
。”5月14日
，蚂蚁集团副总裁、NextEvo负责人徐鹏对澎湃科技表示
。2024年5月14日凌晨
， OpenAI向人们展示了其最新多模态大模型产品——GPT-4o
，o代表omini
，意为全能
。

04:06

OpenAI首席技术官米拉·穆拉蒂主持了发布会
。(04:06)

与现有模型相比
，GPT-4o展现出了其在视觉和音频理解方面的出色技能
。伴随着GPT-4o的到来
，外界纷纷猜测
，美国科幻电影《她》所描写的时代正一步步向我们靠近
。2013年
，电影《她》(《Her)》）中讲述了一个男人爱上了一个语音助手的故事
。

与谷歌竞争原生多模态
？

根据OpenAI首席技术官米拉·穆拉蒂（Mira Murati）的介绍
，GPT-4o可以在音频、视觉和文本中进行实时推理
，接受文本、音频和图像的任何组合作为输入
，并生成文本、音频和图像的任何组合进行输出
。它可以最短在232毫秒内响应音频输入
，平均为320毫秒
，这与人类在对话中的响应时间相似
。

徐鹏在接受澎湃科技采访时表示
，虽然OpenAI没有推出大众期待的GPT-5
，但GPT-4o在交互模式上是一个巨大进步
。和GPT-4相比
，GPT-4o的最大区别在于
，所有模态都集成在一个模型中
，多模态整合更精细
，延迟仅300毫秒左右
，同时能够感知情绪、语气、表情
，实现更自然的交互
，这需要数据组织能力、聚焦突破能力、工程优化能力
，也扩大了人们对于交互的想象空间
。

徐鹏认为
，自去年12月谷歌推出原生多模态Gemini模型之后
，OpenAI就在为原生多模态领域的竞争做准备了
。他所在的蚂蚁集团在今年年初判断原生多模态技术方向后坚定投入
，目前也正在研发全模态数字人和全模态智能体的产品
。

所谓“原生多模态”
，即从一开始就使用多种模态（例如音频、视频和图像）训练模型
，而不是“拼凑多模态”模型
。

徐鹏表示
，OpenAI的目标是实现多模态深度结合
，早在GPT-3时代
，其推出的自动语音识别系统Whisper就是一个前期研究
。“把语音、图像、视频、文字等各种模态的数据放在统一表征框架下
，对于实现他们眼中的API（应用程序编程接口）是一个非常自然的方式
，因为人也是多模态理解和交互的智能体
。”

猎豹移动董事长兼CEO傅盛表示
，虽然GPT-4o让人工智能从业者“比较失望”
，但他也指出
，“GPT-4o相当于把一系列引擎结合在一起
，比如图片、文字、声音
，这样用户就不需要来回切换了
。最重要的是这次发布的语音助手
，由于使用了端到端的大模型技术
，它能够实时感知情感变化
，在该插话的时候插话
，其实这才是大模型的未来
。”

GPT-5可能还要难产一段时间
？

徐鹏介绍
，原生多模态有三个特点
：
一是端到端做训练
，二是实现了多模态的统一训练
，能读、能听、能说
，三是实现复杂推理
。“把图像、文字、语音、视频编码编到一个模型里
，在模型里它们有统一的表征
，这些数据一起送给模型训练
，模型就会学到各个模态
，只要它们的信息是相关的
，内部的表征实际上是非常接近的
，这样在生成时也会比较灵活
。”徐鹏表示
，内部表征已经融合
，所以GPT-4o可以最快的速度输出生成的语音
，实现低延时的丝滑交互
。“OpenAI的工程能力确实令人赞叹
，模态这么多
，输入Token数非常多
，还能够以两三百毫秒的延迟输出
，这在工程上是难得的进展
。”

对于此次GPT-4o模型
，目前
，OpenAI高管并未透露训练GPT-4o模型时使用了什么样的数据
，也未透露OpenAI能否利用较少的算力训练该模型
。

科技投资人、华创资本创始合伙人熊伟铭告诉澎湃科技
，尽管OpenAI在此次发布会上并未透露太多关于GPT-4o模型训练的技术细节
，但可以猜测出
，这类端到端的大模型技术的实现
，背后依赖了强大的算力支持
。“肯定是大力出奇迹
，这一点美国的算力市场确实成熟很多
，资本市场也支持大规模的算力投入
。”熊伟铭说
。

傅盛认为
，如果不计成本地叠加参数
，提高所谓的大模型能力
，这条路肯定会遇到困难
。他预计
，GPT-5可能还要难产一段时间
。

超级入口已经开启
？

OpenAI官网显示
，目前
，GPT-4o的文本和图像功能开始在ChatGPT中免费推出
，Plus用户可以享受到5倍的调用额度
。新版语音模式将在未来几周向Plus用户推出
，同时也将会在API（应用接口）中向小范围推出对GPT-4o的新音频和视频功能的支持
。

在熊伟铭看来
，OpenAI的产品策略一方面能够吸引免费的用户使用
，可以收集用户大量的数据投喂给模型训练
，有助于进一步改进产品
，“这样交互的大模型用户数据将会非常丰富
。”另一方面
，能够培养用户的付费意愿
，也是商业化的一种尝试
。

“我觉得OpenAI的这种尝试
，可能会改变国内一些用户使用软件的习惯
。大家可能会愿意付费在AI平台的使用上
。”熊伟铭说
。

徐鹏认为
，OpenAI免费为用户开放服务看中的是基于GPT-4o原生多模态的能力
，未来更多企业可以在GPT-4o的基础上开发出更自然的垂类交互产品
。

过去一周
，外媒不断有消息传出OpenAI将推出AI搜索产品
，虽然OpenAI没有推出搜索引擎
，但是徐鹏认为基于ChatGPT或GPT-4o
，未来人类获得信息的方式很可能会改变
，GPT-4o或为OpenAI开启了一个超级入口
，这可能会对谷歌带来影响
。接下来
，OpenAI需要判断的是在产品上的极致体验是否是刚需
。

信也科技副总裁、大数据及AI负责人陈磊告诉澎湃科技
，从技术上看
，GPT-4o的发布具有跨时代意义
，真正实现了多模态交互
，更需要关注的是后续商业化中究竟如何持续落地
。“语音识别、语音生成不是最难的
，最难的是推理归纳
。GPT-4o做题比以前做题难度更高了
。把算法调到一定程度是能实现交互流畅性的
，但像人一样思考、推理、归纳、总结
，这是更高智能的体现
。”

陈磊同时表示
，国内还在对标GPT-4时
，OpenAI推出了GPT-4o
。行业需要思考的是在持续追赶中如何差异化竞争
。“我们始终在追
，追到一定程度发现推出了新一代产品
，我们始终感觉在落后
，所以要调整心态
，寻找另外一条路
。”陈磊说
。

傅盛认为
，OpenAI发布GPT-4o模型应用
，正说明了大模型在应用层面大有可为
，大模型的能力会不断迭代
，但最终能把大模型用好的
，还是应用
。

网友看法

1、网友无奈解说员
：
普通人怎么使用没说[呲牙]

2、网友吾若兰羲
：
GPT-4o的发布具有跨时代意义
，真正实现了多模态交互
，更需要关注的是后续商业化中究竟如何持续落地
。

3、网友夺笋程序员
：
然而其实并没有什么智能
，相当于计算最短路径
，统计最常规答复
，人有这部分能力
，但人并不只有这部分能力
。单纯依靠计算的智能都是死路一条
。

4、网友梦语轻玹
：
现在的模式是漂亮国技术领先
，中国应用领先
，看你发展的越来越快
，漂亮国又要来制裁你！现在连来源的都要干预了
，漂亮国的自由真是无法定义的一个事！

5、网友加好友需说明理由
：
衣食住行玩的差不多了！它难道会成为全球经济支柱吗
？

6、网友用户6139981391277
：
对普通人有什么作用

7、网友广东省惠州鹏安发铝艺
：
AI离我们越来越近
， AI必将改变生活
，努力适应
。

8、网友猫乐乐7
：
不知道为什么
，上一次这么热门还是元宇宙
。

9、网友大海里的浪和花
：
像其他工具软件一样
，使用顺手后接踵而来的可能就是制裁

10、网友苦海-淇煜
：
迭代太快了
，国产厂商抄都跟不上节奏[捂脸]

11、网友华哥0878
：
就不能用中文标注吗[捂脸]

12、网友北京是首都
：
哪里可以下载
？

13、网友橘子红了
：
GTP-40开启模式你怎么看

14、网友千祥云集之434323
：
看不懂
，不感兴趣
，也不想知道
。

15、网友卿卿雨茫茫
：
高科技的发展又确实是一柄双刃剑
。

16、网友又取一个网名真难
：
内行看门道
，我就看个热闹
。

17、网友分秒必争鲸鱼Cs
：
迭代太快[赞][赞]

18、网友清风明月夜
：
这两年换几代了
？出了多少产品
，反正就是问答
，整理资料
，写报告和绘画
。

19、网友午个5
：
前途无量

20、网友好学湖泊0Mg
：
点赞点赞点赞[赞][赞][赞]