StableVicuna

StableVicuna 是 Stability AI（具体由其旗下的 CarperAI 团队）在 2023 年推出的一个开源对话模型，当时它被宣传成第一个用 RLHF（基于人类反馈的强化学习）训练过的大规模开源聊天机器人。它不是你注册就能用的 SaaS，而是一份需要自己下载权重、在当地或服务器上跑的模型，更像一个研究样品。

它的底子是 Vicuna v0 13B，而 Vicuna 本身又是 LLaMA 13B 做过指令微调的版本；StableVicuna 在这之上又叠了两段训练：先用 OpenAssistant、GPT4All、Alpaca 这类指令数据做监督微调，再走标准的 RLHF 三阶段（建奖励模型、拿人类偏好数据训练、最后用 PPO 强化），让回答更贴人类偏好。

由于底模 LLaMA 本身是非商用授权，StableVicuna 的权重只能以「差分」形式发布在 Hugging Face 上，协议是 CC BY-NC-SA-4.0，也就是说拿去商用要先想清楚授权问题。对想折腾开源大模型的开发者来说，它算是 RLHF 流程早期一个挺有代表性的可复现样本，今天更常用的往往是后续更新的模型了。