今天 OpenAI 宣布经过重大改进的 GPT-4 Turbo 版本即带有视觉功能的 GPT-4 Turbo with Visio 版将向 ChatGPT 用户开放,当然只有开通 ChatGPT Plus 的订阅用户才能在 ChatGPT 中使用。
不过 OpenAI 也宣布该版本面向部分使用 API 调用的开发者们开放,所以如果你已经有 OpenAI API 那么也可以通过 API 付费调用 Vision 版。
GPT-4 Turbo with Visio 继承了 GPT-4 Turbo 的所有特性,包括支持 128K 上下文窗口和截止到 2023 年 12 月的知识数据,与 Turbo 相比,Vision 带来了视觉理解功能,可以用来理解图像和视觉内容。
在推出 Visio 版之前开发者必须调用单独的文本和图像模型,而现在开发者调用一个模型即可处理内容,这可以大幅度简化开发者的内容处理流程,为开发者推出更多富有创意的用例打开了大门。
OpenAI 开发者团队也分享了一些使用该模型的用例,例如 AI 软件工程师助理 Devin 使用 GPT-4 Turbo with Visio 更好地协助编写代码,Make Real 使用 GPT-4 Turbo with Visio 将用户绘制的图片转换为一个可在线访问和交互的网站。
健康和健身应用 Healthift 使用带有 Vision 的 GPT-4 Turbo 来扫描用户膳食的照片,通过照片识别来提供营养见解。
API 费率方面 GPT-4 Turbo with Visio 的价格要比普通版本更高一些,开发者们可以通过 OpenAI 开发者平台查询最新支持文档和费率以及 API 调用的一些限制。
OpenAI 开发者支持文档:https://platform.openai.com/docs/models/gpt-4-turbo-and-gpt-4