優點
EvalCore 透過離線重播已記錄的模型行為，讓 LLM 回歸測試感覺對 CI 友好，且無需 API 金鑰或不穩定的網路呼叫。
EvalCore 的點評
4.3
槽點
它的甜蜜點很窄：如果你原本就不擔心提示回歸，它可能感覺像是吐司機的煙霧警報器。
介紹
EvalCore 是為建置 LLM 應用程式和代理人的團隊提供的實用測試執行器。我喜歡它會記錄即時模型行為，然後在 CI 中離線重播，這樣測試就不會那麼不穩定，也不需要 API 金鑰。開發人員可以定義 YAML 評估、比較模型，並在提示、模型或相依性變更發佈前阻擋回歸。
EvalCore 最典型的應用場景是什麼？
LLM 應用程式開發人員可以在 pull request CI 中使用 EvalCore，離線重播已儲存的模型行為，並在沒有不穩定 API 呼叫的情況下捕捉提示或模型回歸。
EvalCore 的功能
以 YAML 定義評估套件和評分規則
記錄即時模型呼叫並將其離線重播
使用本地 cassette 儲存執行可重複的 CI 檢查
測試相容 OpenAI、REST、shell 或追蹤目標
比較基準、試驗和模型版本
EvalCore 的使用場景
將 LLM 回歸測試加入每個 pull request
在沒有即時 API 金鑰或網路呼叫的情況下執行 CI 評估
在發佈前檢查提示或模型變更
針對已儲存的基準對代理人行為進行快照測試
EvalCore 的價格資訊
純免費以下價格資訊來自官網公開頁面。
evalcore.cc 定價
Open source
$0
- Apache-2.0 open source
- in CI offline replay
- any language
- One small binary
- No telemetry
- No signup
- No server
上次檢查於 Jul 24, 2026。請造訪官網了解最新條款。