多家模型服务,统一 API 入口
将 Buzz 部署在自己的服务器上,所有模型请求经由同一入口:服务商密钥集中管理,成员使用各自的 API Key,路由、额度与用量统一在后台配置。
Docker Compose · Postgres + Redis
协议兼容
兼容主流模型接口
客户端与服务商使用相同协议时,Buzz 原样转发请求;协议不同时,则转换受支持的内容。例如,你可以使用 OpenAI SDK 调用 Anthropic 模型。
- OpenAI Chat Completions 和 Responses
- Anthropic Messages、Gemini GenerateContent
- 转换覆盖文本、图片、基础工具调用和文本流式输出,其他能力和限制见项目文档
| 协议 | 请求地址 |
|---|---|
| OpenAI Chat Completions | /v1/chat/completions |
| OpenAI Responses | /v1/responses |
| Anthropic Messages | /v1/messages |
| Gemini GenerateContent | /v1beta/models/{model}:generateContent |
| Gemini streaming | /v1beta/models/{model}:streamGenerateContent |
稳定可靠
多路由与自动切换
每个模型可配置多条路由,Buzz 按策略分配请求,并在出错时自动重试与切换。
- 轮询或按权重分配,可设优先级
- 出错时自动重试,将密钥置于冷却状态并切换到下一条路由
- 遇到无效的 Key(400、401、403)自动停用并记录状态
管理
- 仪表盘
- 我的 API Keys
- 用户
- 模型
- 提供方
claude-sonnet-5.5策略 · 轮询提供方上游模型优先级状态
Anthropic
claude-sonnet-5.510启用冷却至 14:32OpenRouter
anthropic/claude-sonnet-5.55启用一次请求的经过
POST /v1/messagesclaude-sonnet-5.5- Anthropic429 限流
- Key 冷却至 14:32,改走下一条路由
- OpenRouter200 1.4s
团队与成本
成员密钥与额度管理
服务商密钥仅保存在 Buzz 中。成员登录后台管理各自的 API Key,管理员按成员设置额度。
- 支持管理员和普通用户两种角色;普通用户只能查看仪表盘和自己的 API Key
- 优先使用每周额度,耗尽后使用永久额度;两项额度均耗尽后拒绝新的请求
- 按模型设置每百万 Token 消耗的 Credits,用量统计可细分到缓存命中和推理 Token
模型目录
模型目录统一管理
支持从预设批量添加模型,也可获取上游模型列表,并同步上下文长度、输出上限等参数。
- 从预设添加,或获取上游模型
- 同步上下文、最大输出和能力参数
- Pudding 等客户端可以直接读取这些模型信息
一条命令部署
在服务器上运行安装脚本,即可同时启动 Buzz、Postgres 和 Redis。再次运行同一命令或执行 make upgrade 即可升级。
curl -fsSL https://raw.githubusercontent.com/teatak/buzz/main/install.sh | sh然后打开 http://<服务器 IP>:9622/admin/
开始使用
快速接入
- 01
部署
运行安装命令,启动 Buzz 和所需的数据库。
- 02
添加服务商
首次打开后台时创建管理员账号,然后添加提供方和 API Key,设置要提供的模型。
- 03
接入应用
为成员生成访问密钥,在兼容的客户端中填写 Buzz 地址和对应密钥。
Buzz 提供模型额度吗?
不提供。你需要自己的服务商账号和 API Key,调用费用由服务商收取。
能限制每个人的用量吗?
可以。为每位用户设置每周额度和永久额度(Credits),调用时按模型单价扣减额度。额度耗尽后,新的请求会被拒绝;两项都设为 0 表示不限额。
必须搭配 Pudding 吗?
不需要。Buzz 可以独立使用,为任何兼容的客户端提供模型接口,也可以接入 Pudding。
可以自己部署和修改吗?
可以。Buzz 以 MIT 许可开源,安装说明、配置文档和完整许可证都在 GitHub 仓库里。