Плюс
EvalCore делает регрессионное тестирование LLM совместимым с CI, воспроизводя записанное поведение модели оффлайн без API-ключей или flaky сетевых вызовов.
Сайт
evalcore.cc
Категории
Обзор EvalCore
4.3
Минус
Его ниша узкая: если вы не боитесь регрессий промптов, это может показаться пожарной сигнализацией для тостера.
Введение
EvalCore — практичный тестовый раннер для команд, разрабатывающих LLM-приложения и агенты. Мне нравится, что он записывает поведение модели в реальном времени, а затем воспроизводит его оффлайн в CI, благодаря чему тесты становятся менее flaky и не требуют API-ключей. Разработчики могут определять YAML-эвалы, сравнивать модели и блокировать регрессии перед выпуском изменений в промптах, моделях или зависимостях.
Какой самый типичный сценарий применения EvalCore?
Разработчик LLM-приложений может использовать EvalCore в CI pull request'ов для воспроизведения сохранённого поведения модели оффлайн и выявления регрессий промптов или моделей без flaky API-вызовов.
Функции EvalCore
Определяйте наборы эвалов и правила скоринга в YAML
Записывайте вызовы моделей в реальном времени и воспроизводите их оффлайн
Запускайте повторяемые проверки CI с локальным хранилищем кассет
Тестируйте цели, совместимые с OpenAI, REST, shell или trace
Сравнивайте базовые линии, испытания и версии моделей
Сценарии использования EvalCore
Добавляйте регрессионные тесты LLM в каждый pull request
Запускайте эвалы в CI без живых API-ключей или сетевых вызовов
Проверяйте изменения промптов или моделей перед релизом
Тестируйте поведение агентов с помощью снимков по сравнению с сохранёнными базовыми линиями
Информация о ценах EvalCore
FreeПубличная информация о ценах, собранная с официального сайта.
Цены evalcore.cc
Open source
$0
- Apache-2.0 open source
- in CI offline replay
- any language
- One small binary
- No telemetry
- No signup
- No server
Последняя проверка: Jul 24, 2026. Посетите официальный сайт для актуальных условий.