Buzz自托管 · MIT 开源

多家模型服务,统一 API 入口

将 Buzz 部署在自己的服务器上,所有模型请求经由同一入口:服务商密钥集中管理,成员使用各自的 API Key,路由、额度与用量统一在后台配置。

Docker Compose · Postgres + Redis

协议兼容

兼容主流模型接口

客户端与服务商使用相同协议时,Buzz 原样转发请求;协议不同时,则转换受支持的内容。例如,你可以使用 OpenAI SDK 调用 Anthropic 模型。

  • OpenAI Chat Completions 和 Responses
  • Anthropic Messages、Gemini GenerateContent
  • 转换覆盖文本、图片、基础工具调用和文本流式输出,其他能力和限制见项目文档
协议请求地址
OpenAI Chat Completions/v1/chat/completions
OpenAI Responses/v1/responses
Anthropic Messages/v1/messages
Gemini GenerateContent/v1beta/models/{model}:generateContent
Gemini streaming/v1beta/models/{model}:streamGenerateContent

稳定可靠

多路由与自动切换

每个模型可配置多条路由,Buzz 按策略分配请求,并在出错时自动重试与切换。

  • 轮询或按权重分配,可设优先级
  • 出错时自动重试,将密钥置于冷却状态并切换到下一条路由
  • 遇到无效的 Key(400、401、403)自动停用并记录状态

团队与成本

成员密钥与额度管理

服务商密钥仅保存在 Buzz 中。成员登录后台管理各自的 API Key,管理员按成员设置额度。

  • 支持管理员和普通用户两种角色;普通用户只能查看仪表盘和自己的 API Key
  • 优先使用每周额度,耗尽后使用永久额度;两项额度均耗尽后拒绝新的请求
  • 按模型设置每百万 Token 消耗的 Credits,用量统计可细分到缓存命中和推理 Token

模型目录

模型目录统一管理

支持从预设批量添加模型,也可获取上游模型列表,并同步上下文长度、输出上限等参数。

  • 从预设添加,或获取上游模型
  • 同步上下文、最大输出和能力参数
  • Pudding 等客户端可以直接读取这些模型信息

一条命令部署

在服务器上运行安装脚本,即可同时启动 Buzz、Postgres 和 Redis。再次运行同一命令或执行 make upgrade 即可升级。

curl -fsSL https://raw.githubusercontent.com/teatak/buzz/main/install.sh | sh

然后打开 http://<服务器 IP>:9622/admin/

开始使用

快速接入

  1. 01

    部署

    运行安装命令,启动 Buzz 和所需的数据库。

  2. 02

    添加服务商

    首次打开后台时创建管理员账号,然后添加提供方和 API Key,设置要提供的模型。

  3. 03

    接入应用

    为成员生成访问密钥,在兼容的客户端中填写 Buzz 地址和对应密钥。

Buzz 提供模型额度吗?

不提供。你需要自己的服务商账号和 API Key,调用费用由服务商收取。

能限制每个人的用量吗?

可以。为每位用户设置每周额度和永久额度(Credits),调用时按模型单价扣减额度。额度耗尽后,新的请求会被拒绝;两项都设为 0 表示不限额。

必须搭配 Pudding 吗?

不需要。Buzz 可以独立使用,为任何兼容的客户端提供模型接口,也可以接入 Pudding。

可以自己部署和修改吗?

可以。Buzz 以 MIT 许可开源,安装说明、配置文档和完整许可证都在 GitHub 仓库里。

开始部署 Buzz

MIT 开源,使用 Docker Compose 部署在你自己的服务器上。