相信大家都被免费的引流模型吸引过,也被免费的额度折腾过:限时优惠、三天两头失效、限速、人多挤爆。

每次找到新的免费模型,多个 Agent 就要重新配置一遍,稳定两天又不行了。免费模型我本来就不指望它输出多好的质量,但最起码的「能用」总该保证吧。

实在受够了「找免费模型 → 调一轮配置 → 失效再找」这个循环,于是我做了一个本地部署的 API 聚合工具:FreeRouter

所有 Agent 统一调这一个 API,背后的免费模型由路由层自动发现、筛选、切换。

仓库:https://github.com/markwaveio/FreeRouter

它解决的就是「多个 Agent 反复手动配置」这件事

你遇到的情况FreeRouter 怎么处理
某个免费模型下线刷新模型清单,把它移出候选池
某个平台限速自动切到下一个可用模型
多个 Agent 都要换配置Agent 只保留一个统一入口,你只维护一个 API
想固定用某个模型支持手动指定,比如 OX Alpha、DeepSeek 这类
想接入新平台加一份 Provider 配置、填 API Key 即可

遇到 429、超时、5xx 这类可重试错误时,FreeRouter 会去试候选模型、自动轮询,而不是直接把错误甩给你的 Agent。

它不是让免费模型变稳定,而是让模型失效不再迫使你重配所有 Agent。

效果演示

1. 24 家主流平台,可自定义新增

收录了市面上大部分主流平台的接口,注册拿到官方 API Key 填进配置即可。

FreeRouter 已接入的 24 家平台清单

2. 100+ 免费模型自动聚合

聚合多平台的免费模型。我当前接了 5 个平台、41 个模型在自动切换;仓库里自动生成的 catalog/FREE-MODELS.md 目前已收录 100 多个免费模型,平台配齐池子还能更大。

多平台免费模型聚合后的模型列表

3. OX Alpha、dots 等热门模型都在池子里

平台提供的免费开源模型,都可以通过这个聚合 API 统一调用。

池子里的 OX Alpha 与 dots 系列模型

4. 支持所有 Agent 接入

DeepSeek Harness、Codex、Claude 等 IDE 与命令行工具都能无缝接入,配置只有三行:

Base URL: http://127.0.0.1:4000/v1
API Key:  <.env 里的 LITELLM_MASTER_KEY>
Model:    free-router

free-router 这一个模型名,背后是所有已验证可用的免费模型,自动分流。另外还有两种写法备用:<平台>-free 只用某一个平台,fr/<平台>/<模型> 精确指定到具体模型。

5. 自动淘汰 / 自动上线

后台每 6 小时对着模型池跑一遍:平台上新的免费模型会被自动发现、探测、接入;连续失败的模型被移出池子,恢复了自动放回。全程热增删,不用重启,也不用你改配置。

探测也不烧额度——你的 Agent 平时的真实调用本身就在验证模型是否健康,所以稳态下每轮主动探测次数是 0,只有三种情况才会真的发探测请求:新发现的模型、隔离中等待恢复的模型、长时间零流量的健康模型。

失败原因还会分级处理,避免误伤:

返回判定处理
429 限流模型活着,只是挤不计失败
404 model not found模型下架了立刻隔离
402 余额不足额度用尽隔离,1 小时后重试(日额度会重置)
401 / 403Key 有问题计入失败
5xx / 超时临时抖动连续 3 次才隔离

6. 安装配置很简单

基于 LiteLLM Proxy 构建(用官方镜像,不复制它的源码),Docker Compose 三个容器,只监听 127.0.0.1

git clone https://github.com/markwaveio/FreeRouter.git
cd FreeRouter
make setup     # 生成 .env,把领到的 Key 填进去
make up        # 启动网关 + 刷新器
make verify    # 一条命令确认全链路可用,并打印客户端该填什么

填任意一个平台的 Key 就能跑起来,留空的自动跳过。一次手动配置,之后长期自动维护,省掉大量低效劳动。

FreeRouter 项目主页

除了自动轮询,也可以手动指定模型

某些平台会提供免费的 DeepSeek、OX Alpha 这类输出质量不错的模型。FreeRouter 支持手动选择模型,适配更多类型的工作任务。

手动指定具体模型

免费保护机制:多轮审核,避免调到付费模型

FreeRouter 不会因为「便宜」就把模型当免费。模型进池子有三种判定路径,各有各的依据:

  • 按价格判定(ZenMux、OpenRouter):目录返回的 prompt 与 completion 价格全部为 0,且输入输出都含 text、输出模态不含 audio/image/video;
  • 按清单判定(Groq、Gemini、ModelScope、硅基流动等):模型在平台实时列表里,且必须给出免费依据——要么写白名单,要么显式声明整个目录免费;
  • 按官方文档判定(智谱、千帆、百炼、DeepSeek、火山、Kimi 等):官方文档明确写了永久免费或赠送额度的模型清单。

后两条守卫都是被真实数据逼出来的:

  • OpenRouter 上有 token 价格为 0、但按生成秒数计费的音乐模型,纯看价格会被误判成免费;
  • B.AI 是聚合转售平台,同一个 /models 目录里既有活动免费的模型,也有 GPT-5.6 和 Claude Opus 5——清单模式如果默认信任整个目录,就会把 Claude Opus 5 当免费模型接进来。

有的平台会搞限时免费活动,这套机制能保证调用的永远是当前真正免费的模型;活动一结束,对应模型会被自动淘汰,不会继续调用产生费用。

边界必须跟你讲清楚

  1. 免费模型能力和稳定性有限,不建议扛生产。 免费模型质量参差不齐,平台也会设限额、限流,别把关键链路压在上面。
  2. 免费不等于无限额,也不等于绝对不会扣费。 建议单独申请一套 API Key 专供这里用,并在平台控制台设 0 额度或严格预算上限,给模型调用上一道保险锁。

进阶玩法

这个项目提供的是模型聚合的框架,不是只能用来聚合免费模型。

如果你已经搭了自己的 API 矩阵,也可以参考这套框架做一个统一聚合层,把「改一次配置要改 N 个 Agent」的活儿一次性收掉。

你目前用到最好用的免费模型是哪个?评论区说说。

#AI工作流 #Agent #免费模型 #模型路由