Buzz
自托管的模型 API 网关
功能
- 模型与路由
- 配置用户可见的模型名称，为每个模型安排上游提供方和路由。
- 用户与密钥
- 为用户创建独立的访问密钥，集中管理上游提供方的 API Key。
- 请求重试与故障切换
- 在同一模型配置的路由内重试、冷却和切换，处理上游服务的临时异常。
- 异常密钥处理
- 识别无效或被停用的上游密钥，自动停用异常 Key，并在后台查看状态。
- Web 管理后台
- 通过浏览器管理用户、模型、提供方和密钥，查看运行状态与请求统计。
- 部署在自己的服务器
- 使用 Docker Compose 部署，Postgres 保存配置数据，Redis 保存会话和短期运行状态。
支持的接口
| 协议 | 请求入口 |
|---|---|
| OpenAI Chat Completions | /v1/chat/completions |
| OpenAI Responses | /v1/responses |
| Anthropic Messages | /v1/messages |
| Gemini GenerateContent | /v1beta/models/{model}:generateContent |
| Gemini streaming | /v1beta/models/{model}:streamGenerateContent |
相同协议优先透传，不同协议按已支持的能力转换。普通文本、图片、基础工具调用和文本流式输出已覆盖；高级流式能力的范围请参阅项目文档。
开始使用
部署服务
按安装说明在服务器上启动 Buzz、Postgres 和 Redis。
配置上游
首次打开管理后台创建管理员，再添加提供方、上游密钥和模型路由。
连接应用
创建用户 API Key，将兼容客户端的 API 地址指向你的 Buzz 服务。