优点
EvalCore 通过离线回放录制的模型行为，无需 API 密钥或易变的网络调用，使 LLM 回归测试感觉与 CI 兼容。
EvalCore 的点评
4.3
槽点
它的最佳适用场景很窄：如果你并不担心提示回归，它可能感觉像是为烤面包机设置的烟雾报警器。
介绍
EvalCore 是为构建 LLM 应用和代理的团队打造的实用测试运行器。它能录制实时模型行为，然后在 CI 中离线回放，使测试更稳定且无需 API 密钥。开发者可以通过 YAML 定义评估，比较模型，并在提示、模型或依赖变更发布前阻止回归。
EvalCore 最典型的应用场景是什么？
LLM 应用开发者可以在拉取请求 CI 中使用 EvalCore 离线回放已保存的模型行为，从而在不进行易变 API 调用的情况下捕获提示或模型回归。
EvalCore 的功能
用 YAML 定义评估套件和评分规则
录制实时模型调用并离线回放
使用本地磁带存储运行可重复的 CI 检查
测试 OpenAI 兼容、REST、shell 或 trace 目标
比较基线、试验和模型版本
EvalCore 的使用场景
为每个拉取请求添加 LLM 回归测试
无需实时 API 密钥或网络调用即可运行 CI 评估
在发布前检查提示或模型变更
针对保存的基线对代理行为进行快照测试
EvalCore 的价格信息
纯免费以下价格信息来自官网公开页面。
evalcore.cc 定价
Open source
$0
- Apache-2.0 open source
- in CI offline replay
- any language
- One small binary
- No telemetry
- No signup
- No server
上次检查于 Jul 24, 2026。请访问官网了解最新条款。