零成本搭建 LLM 轮询服务
方案概览 为了给 side project 提供稳定的 LLM 接口，可以将三款免费服务拼成一套“轻量后端”——数据库用 Aiven 免费 MySQL，推理服务部署在 Hugging Face Space，API 网关由开源的 gpt-load 负责。最终实现了多密钥轮询和降级控制，不再担心某个 Key 被限速。 整体架构： 客户端请求 │ ├─> Hugging Face Space (gpt-load Docker 容器) │ └─ 读取 Aiven MySQL 中的密钥池 └─< LLM 响应（轮询后的结果） 第一步：申请 Aiven MySQL https://aiven.io/ Aiven可以免费部署一台1核1G内存数据库 注册 Aiven 账号后，新建一个 MySQL 服务，免费套餐即可。 进入 Service 页面，记下主机、端口、用户名等连接信息。 这些连接信息建议整理进 .env 文件中的 DATABASE_DSN，容器启动时即可直接读取。 第二步：在 Hugging Face 部署 gpt-load https://huggingface.co/ https://github.com/tbphp/gpt-load 新建一个 Docker Space，镜像选择公共的 ghcr.io/tbphp/gpt-load:latest。 在仓库中上传自己的 Dockerfile 与启动脚本。 ...