Artı
EvalCore, kaydedilmiş model davranışını API anahtarları veya kararsız ağ çağrıları olmadan çevrimdışı tekrar oynatarak LLM regresyon testini CI dostu hale getiriyor.
Web sitesi
evalcore.cc
Kategoriler
EvalCore için yorumlar
4.3
Eksi
En iyi kullanım alanı dar: Eğer prompt regresyonlarından zaten korkmuyorsanız, bir tost makinesi için duman alarmı gibi gelebilir.
Giriş
EvalCore, LLM uygulamaları ve ajanlar geliştiren ekipler için pratik bir test çalıştırıcısıdır. Canlı model davranışını kaydetmesi ve ardından CI'da çevrimdışı olarak tekrar oynatması sayesinde testlerin daha az kararsız olmasını ve API anahtarlarına ihtiyaç duymamasını seviyorum. Geliştiriciler YAML evals tanımlayabilir, modelleri karşılaştırabilir ve prompt, model veya bağımlılık değişiklikleri yayınlanmadan önce regresyonları engelleyebilir.
EvalCore için en tipik kullanım senaryosu nedir?
Bir LLM uygulama geliştiricisi, EvalCore'u pull request CI'sinde kaydedilmiş model davranışını çevrimdışı olarak tekrar oynatmak ve kararsız API çağrıları olmadan prompt veya model regresyonlarını yakalamak için kullanabilir.
EvalCore özellikleri
YAML ile eval paketleri ve puanlama kuralları tanımlayın
Canlı model çağrılarını kaydedin ve çevrimdışı olarak tekrar oynatın
Yerel kaset depolaması ile tekrarlanabilir CI kontrolleri çalıştırın
OpenAI uyumlu, REST, kabuk veya izleme hedeflerini test edin
Temel çizgileri, denemeleri ve model sürümlerini karşılaştırın
EvalCore için kullanım alanları
Her pull request'e LLM regresyon testleri ekleyin
Canlı API anahtarları veya ağ çağrıları olmadan CI evals çalıştırın
Yayın öncesi prompt veya model değişikliklerini kontrol edin
Agent davranışını kaydedilmiş temel çizgilere karşı anlık test edin
EvalCore fiyat bilgileri
FreeResmi web sitesinden toplanan kamuya açık fiyat bilgileri.
evalcore.cc fiyatlandırması
Open source
$0
- Apache-2.0 open source
- in CI offline replay
- any language
- One small binary
- No telemetry
- No signup
- No server
Son kontrol: Jul 24, 2026. Güncel şartlar için resmi web sitesini ziyaret edin.