إيجابي
EvalCore يجعل اختبار انحدار LLM يبدو صديقًا لـ CI من خلال إعادة تشغيل سلوك النموذج المسجل دون اتصال بدون مفاتيح API أو استدعاءات شبكة متقلبة.
الموقع
evalcore.cc
الفئات
مراجعات EvalCore
4.3
سلبي
نطاقه الملائم ضيق: إذا لم تخشَ انحدارات الـ prompt بالفعل، قد يبدو كمنبه دخان لمحمصة خبز.
مقدمة
EvalCore هو مشغل اختبارات عملي للفرق التي تبني تطبيقات ووكلاء LLM. يعجبني أنه يسجل سلوك النموذج المباشر، ثم يعيد تشغيله دون اتصال في CI حتى تكون الاختبارات أقل تقلبًا ولا تحتاج إلى مفاتيح API. يمكن للمطورين تعريف تقييمات YAML، ومقارنة النماذج، ومنع الانحدارات قبل شحن تغييرات الـ prompt أو النموذج أو التبعيات.
ما هو سيناريو الاستخدام الأكثر شيوعًا لـ EvalCore؟
يمكن لمطور تطبيقات LLM استخدام EvalCore في CI لطلبات السحب لإعادة تشغيل سلوك النموذج المحفوظ دون اتصال واكتشاف انحدارات الـ prompt أو النموذج بدون استدعاءات API متقلبة.
ميزات EvalCore
تعريف مجموعات التقييم وقواعد التسجيل في YAML
تسجيل استدعاءات النموذج المباشرة وإعادة تشغيلها دون اتصال
تشغيل فحوصات CI قابلة للتكرار مع تخزين الكاسيت المحلي
اختبار أهداف متوافقة مع OpenAI أو REST أو shell أو trace
مقارنة الخطوط الأساسية والتجارب وإصدارات النماذج
حالات استخدام EvalCore
إضافة اختبارات انحدار LLM إلى كل طلب سحب
تشغيل تقييمات CI دون مفاتيح API مباشرة أو استدعاءات شبكة
التحقق من تغييرات الـ prompt أو النموذج قبل الإصدار
اختبار لقطات سلوك الوكيل مقابل الخطوط الأساسية المحفوظة
معلومات التسعير لـ EvalCore
Freeمعلومات تسعير عامة تم جمعها من الموقع الرسمي.
تسعير evalcore.cc
Open source
$0
- Apache-2.0 open source
- in CI offline replay
- any language
- One small binary
- No telemetry
- No signup
- No server
آخر فحص: Jul 24, 2026. قم بزيارة الموقع الرسمي للاطلاع على أحدث الشروط.