客户遇到的问题
这是一支十来人的算法团队,要给行业模型做 LoRA 微调。自购一台 8 卡机器要三十多万,交期六周,还得自己找机房、拉电、配维保。而他们的训练是阶段性的:一个项目集中跑两三周,之后机器就闲着,折旧却一直在走。
我们做了什么
按"高峰期租、日常自持"的思路配置:先租 2 台 8 卡机型,48 小时内上架,预装 CUDA 和常用训练框架镜像,团队拿到就能跑。机器放在我们托管的高电机柜,配 IPMI 带外管理,训练中断可以远程重启不用等人到机房。结算方式按月,项目结束即可退租,需要扩容时提前两天说,临时加租一台不用重新采购。
结果
首轮微调 3 天跑完,比原计划提前一周出结果。相比自购方案,三年总成本下降 35%,也不再需要为闲置算力买单。团队后来把推理服务也放在同一批机器上,省掉一次额外的采购流程。