GPT-4 发布：能看图的大模型，又往前迈了一步

Fri, 24 Mar 2023 00:00:00 +0000

3 月 14 日，OpenAI 发布了 GPT-4。距离上一代模型走红才过去几个月，新模型带来的变化却不只是"更聪明了一点"，而是补上了之前最受诟病的一块短板：它能看图了。

所谓多模态，意思是 GPT-4 不再只处理文字，还能理解图像内容。官方演示里最出圈的一个例子是：给它一张手绘的网页草图照片，它能直接生成对应的网页代码。还有人给它拍一道数学题、一张图表，让它解释和分析。虽然图像功能在发布初期还没有向所有人开放，但方向已经很清楚——大模型正在从"聊天框"变成能同时处理文字和画面的通用助手。

推理能力是第二处明显进步。上一代模型经常在需要多步推理的问题上掉链子，GPT-4 在这类任务上稳了不少：复杂的逻辑题、需要结合上下文的长篇分析、带约束条件的写作任务，完成度都更高。OpenAI 的说法是，它在各类模拟考试中的表现比上一代大幅提升。不过要注意，考试成绩好不等于日常使用零失误，碰到专业性强的问题，它依然可能一本正经地胡说八道。

第三处变化是"幻觉"变少了。幻觉指的是模型编造事实——人名、数据、引用张口就来。GPT-4 在这方面的表现有所改善，但并没有根除。官方自己的口径也很谨慎：它仍然可能出错，尤其是在冷门知识和实时信息上。所以拿它写东西，事实核查这一步还是省不掉。

另外两个值得知道的点：一是上下文更长了，开发者版本支持更长的输入，处理长文档、长对话更从容；二是知识截止时间仍然停留在 2021 年 9 月，问它这两年发生的事，它要么不知道，要么现编。

普通人现在怎么用上它？最直接的入口是 ChatGPT Plus 订阅，发布初期 Plus 用户已经可以用上 GPT-4；免费用户暂时还是上一代模型。开发者则需要排队等 API 开放。我的建议是：先从 Plus 的入口体验，重点试三类场景——读图理解（拍张图让它解释）、长文本处理（总结、改写、提炼要点）、复杂推理（带条件的规划和写作）。这三类最能体现它相对上一代的差距。

和 ChatGPT 走红背后的使用指南里讲的技巧一样，用 GPT-4 也讲究指令写法：背景给足、要求说清、让它分步骤输出，结果会可靠得多。只不过这一次，指令里还可以加上图片。

把能力拆开看，GPT-4 的进步主要在四个方面。第一是推理。需要多步推导的问题，比如"给定这些条件，帮我排一个可行的行程"，或者"这段合同条款对我有什么风险"，它的回答条理更清楚，中间步骤出错的概率更低。第二是代码。写函数、查 bug、解释一段看不懂的代码，都比上一代靠谱，程序员拿它当结对编程的搭子已经不算新鲜事。第三是长文本。一次读几十页的报告、再提炼出要点和结论，这类任务现在完成度明显更高。第四是考试表现。OpenAI 公布的模拟考试成绩显示，它在不少专业考试的模拟测试中都比上一代高出一大截，虽然考试成绩不能直接等同于实际工作能力，但至少说明它的知识整合能力上了一个台阶。

和上一代比，差距到底有多大？可以这样理解：上一代像一个知识面很广、但偶尔会把事情想岔的实习生；GPT-4 更像一个做事更稳、能处理更复杂任务的助手。它仍然会犯错，但犯低级错误的频率低了，回答的组织方式也更像"想过之后再说"。对普通用户来说，这个差距在日常闲聊里可能不明显，一旦涉及工作场景——写方案、做分析、处理长文档——感受会立刻放大。

开发者和普通用户的用法也不一样。普通用户通过 ChatGPT Plus 就能体验，重点试读图、长文本和复杂推理这三类场景。开发者则要关注 API 侧的变化：更长的上下文意味着可以把整份文档喂给它做分析；图像输入开放后，能做的产品形态也会多起来，比如拍照识题、看图生成描述、票据识别。不过 API 初期需要排队，成本也比上一代高，小团队可以先从小规模试用开始。

图像能力到底能干嘛，值得单独展开。发布初期图像输入还没有全面开放，但演示已经展示了几种典型用法：拍一张冰箱里的食材照片，让它推荐几道菜；拍一道数学题的手写照片，让它一步步讲出解法；给它一张图表，让它解读趋势并指出异常；甚至把手绘的网页草图变成可以运行的页面代码。这些场景的共同点是：文字描述不清楚、但一眼就能看明白的东西，现在可以直接"给它看"。对教育、设计、数据分析这些行业来说，这比单纯的文字升级更有想象空间。当然，图像理解同样会出错，比如认错图片里的细节、过度解读画面信息，重要的结论还是要人工复核。

再说说 Plus 订阅值不值。发布初期，GPT-4 主要通过 ChatGPT Plus 提供，免费用户继续用上一代模型。如果你只是偶尔聊天、写点日常文字，免费版完全够用；但如果你经常处理长文档、需要读图、或者工作对推理准确性要求比较高，升级带来的体验差距是能感知到的。一个实用的判断方法是：先用免费版跑你最常用的三个场景，再去试 Plus 的同款任务，对比一下结果质量和时间成本，值不值一目了然。

还有一个刚公布的消息值得关注：3 月 23 日，OpenAI 宣布了 ChatGPT 插件功能，允许模型联网检索实时信息、调用第三方服务，首批合作方包括订票、购物、查阅资料等场景。插件上线后，知识截止和实时信息这两块短板有望得到缓解，比如查最新新闻、订机票酒店、跑代码分析数据，都可以在对话里直接完成。不过插件初期同样需要排队，安全性和滥用问题也还在观察中。对普通用户来说，插件的意义在于，聊天机器人正在从"问答工具"变成"办事入口"，这个变化可能比模型本身的升级更值得期待。

它还做不到的事也要说清楚。首先是实时信息，知识截止在 2021 年 9 月，问它近两年的新闻、股价、新产品，它要么说不知道，要么一本正经地编。其次是事实准确性，幻觉只是减少了，不是消失了，涉及人名、地名、数据的回答一定要二次核对。最后是真正的"理解"，它仍然是在根据语言规律预测下一个词，而不是像人一样真正明白一件事——这句话听起来像泼冷水，但恰恰是安全使用它的前提。

GPT-4 on 科技刺猬

GPT-4 发布：能看图的大模型，又往前迈了一步