统一接入
标准化 DeepSeek、Kimi、GLM、Qwen 等主流模型接口，兼容 /v1/chat/completions、/v1/responses 与 Gemini generateContent 三种入站协议。
- OpenAI 兼容
- DeepSeek
- Kimi
- GLM
- Qwen
功能介绍
一个网关，管住多供应商大模型接入
统一协议接入、多维指标智能选路、分布式熔断与全链路可观测，四件事收在同一个控制面里，接入新供应商不再需要改客户端代码。
核心能力
从接入到可观测，一个网关全部覆盖
统一协议、智能选路、高可用防护与全链路追踪，无需在多个系统之间来回拼装。
智能路由
基于权重的负载均衡与可插拔路由架构，按渠道健康度、成功率、延迟 / TTFT / TPS、成本与 RPM / TPM 等多维指标加权选路。
- 权重分发
- 多维打分
- 自动切换
高可用防护
基于 Redis 的分布式熔断自动隔离故障渠道，RPM / TPM 多维限流保护上游，配合单渠道与批量多模型健康检测快速止损。
- 熔断隔离
- RPM / TPM
- 健康检测
全链路可观测
每次请求携带 xin_req_* Request ID 并关联上游供应商 Request ID，Token、延迟、费用与审计日志全程可查、可对账。
- Request ID
- Token 计量
- 审计日志
更多能力
控制台里的日常运维，也一并收好。
统一渠道管理
集中管理多家上游供应商渠道，配置、权重与状态一目了然。
API Key 管理
灵活的密钥分发与吊销，按需控制访问范围。
请求审计日志
按 Request ID、模型、渠道、状态与时间多维筛选，默认仅记录元数据。
运营看板
请求量、成功率、Token、费用与延迟趋势，以及模型与渠道调用排行。
工作原理
一次请求，四步走完网关链路
从鉴权到计量，每一步都留下可观测的轨迹。
- 01
接入鉴权
校验密钥并建立请求上下文
- 客户端请求
- 认证鉴权
- 请求上下文 · Request ID
- 02
路由选路
按多维指标加权决策
- 模型映射
- 健康度与延迟评分
- 成本与限流评分
- 03
渠道与供应商
转发到最优上游
- 渠道权重选择
- DeepSeek / Kimi / GLM / Qwen
- 熔断与限流保护
- 04
计量与观测
用量落库并进入看板
- 用量提取
- 计费与日志
- 控制台 Dashboard
xin_req_*上游 request id每一次请求都携带 xin_req_* Request ID，并关联上游供应商返回的 Request ID，从客户端到供应商双向可追溯，故障定位一查到底。