桌面 LLM 网关
装在桌面上的 LLM 网关。
Solidway 位于你的应用与模型服务之间。请求与响应按字节原样转发，故障转移、负载均衡、熔断与可观测性在转发之外完成。
v0.1.0 · Linux · Windows · macOS · AGPL-3.0
- 网关
- running · 127.0.0.1:6565
- 控制台
- 内置，已登录
- 托盘
- 常驻
路由
3
API Keys
5
今日请求
12,480
- 1
- 个安装包，网关与控制台在内
- 3
- 个平台：Linux / Windows / macOS
- 0
- 台需要单独部署的服务器
Solidway
Solidway 不要求你做的三件事
多数网关假定你有一台服务器和一个运维团队。Solidway 从你手边这台机器开始。
- 01不做
不强制要服务器
安装包同时带上网关与控制台，一台笔记本就能起步。团队需要共享时，同一个二进制可以作为 Linux 服务（deb/rpm + systemd）部署在你自己的服务器上。
- 02不做
不把你的账号交给别人
上游凭据用本机主密钥加密后存在你自己的磁盘上，运行期不连接任何外部控制面。
- 03不做
不隐藏发生过什么
请求数、Token、延迟、换号与 Provider 故障都按路由、API Key、provider、模型记录，可在内置控制台里查。
Linux · Windows · macOS
一个应用，就是一整套网关
Solidway 从桌面应用起步：一次安装，网关、控制台与账号池都在你自己的机器上；同一个二进制也能作为 Linux 服务部署，供团队共享。
一个安装包，整套组件
安装包里同时带着网关二进制与控制台。不需要服务器、不需要容器，也不用再补装服务包。
托盘常驻与开机自启
关闭窗口后网关继续在托盘里服务；开启开机自启，重启电脑后无需手动启动。
与服务端同一套引擎
账号池化、首字节前换号、用量归因与故障记录的行为完全一致，区别只在分发形态。
控制台内置在应用里
控制台在应用内打开，用进程级令牌自动登录；管理员口令是可选项，可以之后再设。
Features
转发路径之外运行的能力
转发是快路径。以下能力按请求逐次判定，不改变你发出的字节。
故障转移
可跨 provider、模型与密钥配置有序回退链。每次尝试使用独立的超时预算，上游变慢不会吃掉整个请求的时限。
failover
负载均衡
在密钥与端点之间按权重分配流量，健康评分依据实际观测到的延迟与错误率调整，而不是固定权重表。
load-balancing
熔断
当某个目标报告凭据、配额、权限或限流问题时，将其暂停轮转；待等待时间结束，再用一次探测确认是否可以继续服务。
circuit-breaking
桌面客户端
同一套网关也能作为 Linux / Windows / macOS 桌面应用运行：一个安装包同时带上网关与控制台，可开机自启、常驻托盘，不需要服务器。
desktop-app
可自托管
单个静态二进制，可用 deb/rpm 安装包或直接解包运行，部署在你自己的网络内；运行时不连接外部控制面。
self-hosted
数据统计与分析
按路由、API Key、provider、模型与归属人统计请求量、Token 与延迟，便于把用量归属到具体团队。
analytics
故障记录与告警
Provider 故障记录为 incident（含持续时长与尝试次数），并推送到 Webhook，带重试与按 Provider 的节流。
capacity-alerts
Architecture
透明的转发路径
请求路径分为三段，只有中间一段由我们处理。
client
客户端
你的应用，任意 SDK
gateway
rustSolidway
路由、计量、健康
- 选择目标
- 记录用量
- 判定健康
- 保留字节
主目标
上游 5xxprovider-a/gpt-6-astra
回退目标
返回响应provider-b/gpt-6-astra
当主目标失败时，请求由回退链中的下一个目标承接。
Rust
用 Rust 编写
单个静态链接的二进制。没有垃圾回收器，没有解释器，宿主机上也不需要安装运行时依赖。
没有垃圾回收
内存按确定时机释放，延迟分布的尾部不受回收停顿影响。
只需分发一个文件
构建产物是 x86-64 或 arm64 的单个二进制。没有运行时包、没有 sidecar，也不需要维护版本矩阵。
负载下内存占用平稳
吞吐随可用核心数变化，稳态内存由连接池配置决定，而不是由堆大小决定。
编译期内存安全
在安全 Rust 中，借用检查会在构建之前拦截缓冲区溢出、释放后使用这一类缺陷。
Observability
用量与故障
每个请求产生一条用量记录。记录可在控制台查询，保留策略由你配置。
统计面板（示例）
最近 24 小时- 请求数
- 1,284,930
- 错误率
- 0.31%
- p99 延迟
- 1.42s
- Token
- 48.2M
+4.1%
-0.12%
+0.04s
+6.3%
延迟分布
| 目标 | 流量占比 | 错误率 | 状态 |
|---|---|---|---|
| openai / gpt-6-sol | 52% | 0.18% | 服务中 |
| anthropic / claude-sonnet-5-5 | 31% | 0.24% | 服务中 |
| bedrock / claude-opus-5-5 | 14% | 1.10% | 降级 |
| azure / gpt-6-astra | 3% | — | 已暂停 |
示例数据，用于展示布局