AiPu.COM

Batch GPT是OpenAI提供的一种批处理API，它允许用户以异步方式发送请求组，特别适合处理不需要即时响应的任务。使用Batch GPT，你可以享受较低的成本（比标准API低50%）、更高的速率限制以及明确的24小时周转时间。

如何使用Batch GPT：

1. 准备请求文件：首先，你需要创建一个.jsonl文件，其中每行包含对API的单个请求的详细信息。每个请求都必须包含一个唯一的custom_id值，以便于后续引用结果。
2. 上传文件：通过Files API上传你的.jsonl文件，并指定purpose为batch。
3. 创建批处理：上传文件后，你可以使用文件对象的ID创建批处理。目前，完成窗口只能设置为24h。
4. 获取结果：批处理完成后，你可以通过Files API下载输出，方法是对批处理的output_file_id字段进行请求，并将结果写入到你机器上的文件。

进入expired状态，未完成的请求将在批处理中取消，并且将提供对已完成请求的响应，作为批处理的输出文件的一部分。你将为已完成的请求消耗的令牌付费。

关于Batch GPT的官方文档和使用方式，你可以通过以下网址获取详细信息：

1. OpenAI官方帮助文档：提供了关于GPT模型和Batch API的详细信息。

• 模型（Model） | OpenAI 官方帮助文档中文版

1. 批量API – OpenAI 中文文档：详细介绍了如何使用OpenAI的批处理API。

• 批量API – OpenAI 中文文档

1. gpt-batch：一个简单的工具，用于批量处理使用OpenAI的GPT模型的消息。

• gpt-batch

1. Azure OpenAI Service 的 Batch API 要点总结：提供了Azure OpenAI Service 的 Batch API 的关键信息。

• Azure OpenAI Service の Batch API 要点总结

1. GPT4All API Server：提供了一个本地API服务器，允许你通过HTTP API运行LLMs。

• GPT4All API Server – GPT4All

这些资源将帮助你了解Batch GPT的使用方法、API文档以及如何通过编程方式与API进行交互。