Point fort
EvalCore rend les tests de régression LLM compatibles avec le CI en rejouant hors ligne le comportement des modèles enregistrés sans clés API ni appels réseau instables.
Site web
evalcore.cc
Catégories
Avis sur EvalCore
4.3
Point faible
Son créneau est étroit : si vous ne craignez pas déjà les régressions de prompt, cela pourrait ressembler à une alarme anti-incendie pour un grille-pain.
Introduction
EvalCore est un exécuteur de tests pratique pour les équipes développant des applications et agents LLM. J'apprécie qu'il enregistre le comportement des modèles en direct, puis le rejoue hors ligne dans CI afin que les tests soient moins instables et ne nécessitent pas de clés API. Les développeurs peuvent définir des évaluations YAML, comparer des modèles et bloquer les régressions avant que les modifications de prompt, de modèle ou de dépendances ne soient déployées.
Quel est le scénario d'application le plus typique de EvalCore ?
Un développeur d'applications LLM peut utiliser EvalCore dans le CI des demandes de fusion pour rejouer hors ligne le comportement des modèles sauvegardés et détecter les régressions de prompt ou de modèle sans appels API instables.
Fonctionnalités de EvalCore
Définir des suites d'évaluation et des règles de notation en YAML
Enregistrer les appels de modèles en direct et les rejouer hors ligne
Exécuter des vérifications CI reproductibles avec stockage local de cassettes
Tester des cibles compatibles OpenAI, REST, shell ou trace
Comparer des baselines, des essais et des versions de modèles
Cas d'utilisation pour EvalCore
Ajouter des tests de régression LLM à chaque demande de fusion
Exécuter des évaluations CI sans clés API ni appels réseau en direct
Vérifier les changements de prompt ou de modèle avant la sortie
Tester en snapshot le comportement des agents par rapport à des baselines sauvegardées
Informations tarifaires de EvalCore
FreeInformations tarifaires publiques collectées sur le site officiel.
Tarifs evalcore.cc
Open source
$0
- Apache-2.0 open source
- in CI offline replay
- any language
- One small binary
- No telemetry
- No signup
- No server
Dernière vérification le Jul 24, 2026. Consultez le site officiel pour les conditions à jour.