OpenAI 今天为开发者们推出了批量处理 API,开发者们可以一次性将大量内容提交过去然后在 24 小时内获得结果。推出这种异步任务对 OpenAI 来说也有好处,那就是可以在非高峰期时处理这些请求,这样可以平衡服务器资源节省成本,所以 OpenAI 给这些异步任务 API 提供了半价优惠,开发者只需要支付 50% 的费用即可。
举个例子,当存在大量的文本、摘要、翻译或图像需要进行分类整理时,就可以使用异步任务,这些内容的分类整理对及时性要求并不高,开发者可以提交后等待 OpenAI 给出结果再处理就好。
这样对 OpenAI 和开发者来说是双赢,按照 OpenAI API 文档的说明,除了开发者可以获得半价折扣外,还可以获得更高的速率,也就是可以在每分钟内提交更多请求。
唯一要求是开发者需要通过 JSONL 文件格式进行传输,即将需要处理的所有请求放到一个 JSONL 文件里,然后将这个文件使用 batch 参数上传到服务器即可。
OpenAI 已经在 API 文档中罗列了详细使用方法,包括创建批处理、请求正文、检索等,有需要的开发者可以前往 OpenAI 查看调用示例:https://platform.openai.com/docs/api-reference/batch