AiPu.COM

Petals AI 是一个由 BigScience Workshop 开发的创新性 AI 工具，它允许用户在家庭环境中运行大型语言模型（LLMs）。Petals AI 的核心特点是采用类似 BitTorrent 的分布式网络技术，使得用户可以只加载模型的一部分，然后通过网络与其他用户协作，共同运行整个模型。

Petals AI 的主要功能包括：

1. 分布式模型运行：用户可以加载模型的一小部分，并通过网络与其他用户共享其余部分，实现模型的完整运行。
2. 高效推理：对于 Llama 2（70B）模型，单批次推理速度可达每秒6个token，对于 Falcon（180B）模型，速度可达每秒4个token，这足以支持聊天机器人和交互式应用。
3. 灵活的微调：用户可以应用各种微调和采样方法，执行自定义路径通过模型，或查看其隐藏状态。
4. 协作网络：通过构建一个协作网络，Petals AI 实现了资源的共享和优化，降低了运行大型模型的门槛。
5. 支持多种大型模型：Petals AI 支持如 Llama 3.1、Mixtral、Falcon 和 BLOOM 等大型模型，并可根据任务需求进行微调。
6. 隐私保护：数据处理通过公共网络进行，用户可以设置私有网络以保护敏感数据。
7. 社区驱动：依赖社区用户共享 GPU 资源，用户可以贡献自己的 GPU 来增加 Petals 的计算能力。
8. 灵活的 API：提供类似 PyTorch 和 Transformers 的灵活 API，支持自定义路径和查看隐藏状态。

Petals AI 的网址是 https://github.com/bigscience-workshop/petals 。