Evidently AI
简介
开源的 AI 评估与监控框架，按 Apache 2.0 协议发布，LLM 与机器学习模型都能测。
详细介绍
- 做 AI 产品常碰到一种尴尬：模型输出不确定，出了问题不知道从哪儿查。Evidently AI 把「评估」这件事做成了开源框架，代码按 Apache 2.0 协议发布，既测大模型和 RAG 应用，也测传统的预测类模型，一个库覆盖两套体系。
- 官网给出的社区数据：GitHub 星标 7500 多个，下载量超过 4000 万，社区成员 3000 余人。库内自带 100 多项指标，从幻觉与事实性、PII 泄露、检索质量，到数据漂移都能测，也允许用任意 prompt 或规则写自定义评估。跑完的结果生成可视化报告，可以挂进 CI/CD 流水线，也可以接实时看板持续盯漂移与回退。
- 落地案例在官网挂了不少：DeepL 的 MLOps 工程师提到团队每天用它查数据质量、监控生产环境漂移；Wise、Plaid、Realtor.com 等团队的反馈也在列。想先上手的话，照官方文档把开源库装到本地就能跑，遇到问题社区里有不少现成讨论。