多模态 on 科技刺猬

谷歌反击了：Gemini 2.0 发布，主打"智能体"

Fri, 13 Dec 2024 00:00:00 +0000

OpenAI 的 12 天连发还没过半，谷歌先动手了。12 月 11 日，谷歌发布 Gemini 2.0，先行推出的是 2.0 Flash 实验版，供开发者和用户尝鲜。发布通篇的高频词不是"更强"，而是"智能体"（Agent）——谷歌把话说得很直白：2.0 是为智能体时代准备的模型。

2.0 Flash：先上桌的是快菜

这次的发布顺序有点意思。按惯例，新一代模型应该由最强的版本打头阵，谷歌却先放出了 Flash 版。Flash 系列一直主打轻量和速度，2.0 Flash 的定位是给开发者先用起来：响应快、成本低，还原生支持多模态输出——不光能看懂图片和音频，还能生成图片、把文字转成语音，用一个模型把"输入输出全模态"跑通。

这步棋的意图不难理解。智能体应用要调用模型成千上万次，速度和成本就是生命线；先把 Flash 铺出去，让开发者拿它搭建智能体产品，生态的先手比跑分的第一更重要。更强的版本按谷歌的节奏会在后面跟上，开发者可以先通过 AI Studio 和 API 免费尝鲜实验版。

多模态输出这件事，单独拎出来说一句。过去的多模态大多是"输入端"的：能看图、能听音频，回答还是文字。Gemini 2.0 强调的是双向的：同一段对话里，它可以一边和你说话一边生成图片给你看。交互形态一旦变成这样，AI 助手就不再是打字框，而更像一个能递东西给你看的搭档。对应用开发者来说，这意味着产品设计的想象空间一下被撑大了。

智能体三件套：Astra、Mariner 和 Jules

配合新模型，谷歌同步秀了几个智能体项目的进展：

Project Astra 是年初亮相过的通用 AI 助手原型，能通过手机摄像头"看"世界，实时对话、记忆上下文。这次它换上 Gemini 2.0 的内核，对话语言、记忆时长和响应延迟都有改进，离"随时能问的随身助手"又近了一步。

Mariner 是新面孔，一个能操作浏览器的智能体研究原型：它能理解网页内容，替你在浏览器里点击、填写、跳转，完成订票、购物、查资料这类多步骤任务。类似的还有面向开发者的 Jules，能直接接手 GitHub 上的编程任务。

这三个项目摆在一起看，分工其实很清晰：Astra 管"眼睛和耳朵"，负责理解你眼前的世界；Mariner 管"手"，负责在软件界面里替你操作；Jules 管垂直场景，先在编程这个最容易验证对错的领域练兵。谷歌不是在发布三个玩具，而是在给智能体拆零件——感知、执行、专业能力，各练各的，最后再拼成一个完整的助手。这种拆法，是大厂才玩得起的耐心活。

从今年 I/O 大会上 Gemini 的全面铺开到这次 2.0，谷歌的路线越来越清楚：搜索、安卓、浏览器、办公套件，它手里的入口每一个都在往智能体方向改造。

跑分之外，开发者生态才是主战场

发布后最忙的不是媒体，是开发者社区。2.0 Flash 实验版开放的第一时间，AI Studio 的访问量就被顶了上去。原因很现实：智能体应用的开发范式还没定型，谁的工具链顺手、文档齐全、价格友好，谁就能先圈走一批开发者。而开发者一旦在某个平台上搭好了产品，迁移成本会让他们留下来。

谷歌在这一点上有个天然优势：它同时握着模型、云平台和安卓生态。一个智能体从开发、部署到分发到手机端，全程不用出谷歌的门。这种全栈能力，是它和只做模型的对手之间最深的一道沟。

为什么都盯上了智能体

今年下半年，“智能体"成了各家的共识词。原因也不难理解：聊天机器人再聪明，也停留在"你问它答”；智能体要做的，是给它一个目标，它自己拆解步骤、调用工具、把事情办完。从订会议室到写完整段代码，想象空间比对话框大得多。

谷歌在这场竞赛里的优势是家底厚：安卓的十亿级设备、Chrome 的浏览器份额、搜索和地图的数据，都是智能体落地现成的土壤。这也是它敢把 2.0 的主题直接定成智能体的底气。当然，短板也明显——智能体的可靠性、出错了谁负责、隐私边界怎么算，这些问题目前谁都没有标准答案。

GPT-4o 来了：免费用户也能用上旗舰模型

Tue, 14 May 2024 00:00:00 +0000

5 月 13 日，OpenAI 开了一场不到半小时的春季发布会，主角只有一个：GPT-4o。名字里那个"o"来自 omni，意思是"全能"——文字、语音、图像不再是三个分开的模型接力处理，而是由同一个模型原生理解和生成。这是 ChatGPT 问世以来，交互方式变化最大的一次更新，而且它把大部分能力免费开放了。

语音对话，终于不像对讲机了

发布会现场演示里最出圈的一段，是研究人员和 ChatGPT 语音对话：它能被随时打断，能听出语气开玩笑，还能根据要求用不同的情绪讲故事、唱歌收尾。老版语音模式是"语音转文字—模型回答—文字转语音"的三段接力，每问一句都要等上两三秒，聊起来像发语音消息；GPT-4o 把这条链路捏成一体，官方称响应延迟大幅降低，已经接近真人对话的节奏。

这种"能打断、能接话"的体验差别，实际用过就知道有多大。对话感一旦成立，它就不只是问答工具了：练口语、给孩子讲睡前故事、开车路上动嘴不动手查东西，这些场景都会被重新打开。

免费用户这次是真的吃到肉了

另一个重磅消息是开放策略：GPT-4o 将向免费用户开放，包括此前只有付费版才有的能力，比如分析图片、读懂截图、联网搜索、上传文件分析，以及使用 GPT 商店里的各种定制助手。免费额度有用量上限，超了会退回到上一代小模型，但对绝大多数普通用户来说，日常问答、写稿、看图提问，已经实实在在用上了旗舰水平。

付费用户的价值则变成更高的用量上限和更早的新功能试用权。这一招对竞争对手压力很大：当免费 ChatGPT 都这么能打，其他厂商的付费订阅就得拿出更硬的差异化。

看图和翻译：多模态不只是噱头

演示中还有两个容易被语音抢风头的部分。其一是看图答疑：给它看一道手写的数学题，它不直接甩答案，而是一步一步引导你算，像个有耐心的家教；给它看一张图表，它能读出数据变化并用一句话总结趋势。图像理解从"能识别画面里有什么"，变成了"能基于画面跟你讨论"，这是 GPT-4o 的"o"真正落地的地方。

其二是实时翻译：现场两位演示者一个说英语一个说意大利语，GPT-4o 居中同声传译，语气还尽量贴近原说话人。跨国会议、出国旅行问路这类场景，过去要靠专门的翻译软件来回切换，之后很可能一句话的事。需要说明的是，这些流畅演示都发生在理想环境里，真实场景的准确率会打折，但方向已经摆明：多模态拼齐之后，AI 助手的可用半径明显变大了。

对学生和上班族来说，还有一个实用向的变化：它处理长文档、总结会议录音转写的速度更快了，配合免费额度的开放，以前要开会员才舍得用的"甩一份长文件让它总结"，现在可以先用免费版试试水。

桌面端应用：AI 住进电脑里

发布会还公布了 ChatGPT 的桌面端应用，先从 macOS 开始。演示里，它可以结合屏幕上的代码直接答疑，快捷键唤出后动动嘴就能问。对每天在电脑前工作的人来说，这比打开网页再粘贴截图的流程短了一大截。AI 助手从"一个要专门去访问的网站"，向"随叫随到的系统级工具"又迈了一步。

顺带一提，今年初 OpenAI 发布的文生视频模型 Sora 曾让我们写过AI 视频生成离普通人还有多远，而 GPT-4o 展示的是另一条线：先把"和 AI 说话"这件事做到自然，视频那边反而不是这次的重点。两条线放在一起看，OpenAI 今年的产品重心很明确——从炫技走向日常可用。

需要冷静看待的部分

现场演示是精心编排的。真实网络环境下语音延迟够不够稳、中文语音的语气自然度如何、免费额度在高峰期会不会排队，都要等全面推送后才知道。另外，发布会上那个能"看懂"摄像头画面的实时视频对话功能，当时并未同步上线，属于先画饼后兑现，大家按官方后续节奏等即可。

发布会上还有一个让我印象很深的演示：一位视障用户举着手机走在街上，GPT-4o 通过摄像头实时描述周围环境，帮他判断出租车的位置并招手拦车。无障碍一直是科技发布会里容易流于口号的部分，但当语音延迟足够低、看图足够准的时候，它就不再是口号了——对视障、对手脚不便的用户来说，一个能随时开口问的"眼睛"，改变的是独立出行的可能性。这类场景的价值，远比跑分榜上的名次实在。

怎么第一时间用上

桌面端和网页端会分批推送，手机 App 更新后留意模型选择里有没有 GPT-4o 就行，不用折腾任何设置。我的建议是：拿到之后先试语音模式，打断它一次、让它换个语气读段文字，你就能直观感受到这次更新的重点到底在哪。至于写稿、翻译、看图这些老本行，它的提升是稳健型的，别期待质变，日常效率倒是能再涨一截。

发布会最后还有个小花絮：这场更新赶在谷歌 I/O 大会的前一天。两家巨头贴身抢头条，AI 这一年的热闹，才刚刚开始。