统一 HTTP 接入
消费者直接调用 Fasten Share,服务端将请求和流式响应路由到生产者。
消费者直接调用 Fasten Share,服务端将请求和流式响应路由到生产者。
接入本地 Ollama、LM Studio、vLLM,或在线 OpenAI、Anthropic 等兼容接口(URL + APIKey),统一并入同一张网络。
同一个跨平台桌面程序内置两种角色:既能分享自己的模型算力,也能借用他人的算力进行推理。
生产者定时探活与额度探测,接口不可用或 Token 耗尽即自动摘除,消费者发现的永远是可用节点。
按模型协议或关键字匹配候选生产者,默认按延迟升序(越快越靠前),可切换按在线时长降序。
生产者只需建立出站连接,多台服务端通过 Redis Streams 协同路由。
生产者的上游 APIKey 保存在自己的设备上,不发送给服务端或消费者。
不会。生产者在本机注入上游密钥,密钥始终保存在生产者机器。
会。服务端负责转发、权威计量和结算,请始终使用受信任的 HTTPS 域名。
桌面端支持 Windows、macOS、Linux,同一程序内置生产者与消费者两种角色。
本地的 Ollama / LM Studio / vLLM,以及 OpenAI / Anthropic 等在线兼容接口。