Điểm cộng
EvalCore làm cho việc kiểm thử hồi quy LLM trở nên thân thiện với CI bằng cách phát lại hành vi mô hình đã ghi ngoại tuyến mà không cần khóa API hoặc lệnh gọi mạng dễ biến động.
Website
evalcore.cc
Danh mục
Đánh giá về EvalCore
4.3
Điểm trừ
Điểm mạnh của nó khá hẹp: nếu bạn chưa lo sợ về hồi quy prompt, nó có thể giống như chuông báo khói cho một chiếc máy nướng bánh.
Giới thiệu
EvalCore là một trình chạy kiểm thử thực tế cho các đội ngũ xây dựng ứng dụng và tác nhân LLM. Tôi thích cách nó ghi lại hành vi mô hình trực tiếp, sau đó phát lại ngoại tuyến trong CI để các bài kiểm thử ít biến động hơn và không cần khóa API. Nhà phát triển có thể định nghĩa các đánh giá YAML, so sánh mô hình và chặn hồi quy trước khi các thay đổi prompt, mô hình hoặc phụ thuộc được phát hành.
Kịch bản ứng dụng điển hình nhất của EvalCore là gì?
Một nhà phát triển ứng dụng LLM có thể sử dụng EvalCore trong CI của pull request để phát lại hành vi mô hình đã lưu ngoại tuyến và phát hiện hồi quy prompt hoặc mô hình mà không cần các lệnh gọi API dễ biến động.
Tính năng của EvalCore
Định nghĩa bộ đánh giá và quy tắc chấm điểm trong YAML
Ghi lại các lệnh gọi mô hình trực tiếp và phát lại ngoại tuyến
Chạy các kiểm tra CI lặp lại với lưu trữ cassette cục bộ
Kiểm thử các mục tiêu tương thích OpenAI, REST, shell hoặc trace
So sánh baselines, trials và phiên bản mô hình
Trường hợp sử dụng cho EvalCore
Thêm kiểm thử hồi quy LLM vào mọi pull request
Chạy đánh giá CI mà không cần khóa API hoặc lệnh gọi mạng trực tiếp
Kiểm tra thay đổi prompt hoặc mô hình trước khi phát hành
Kiểm thử snapshot hành vi tác nhân dựa trên baselines đã lưu
Thông tin giá của EvalCore
FreeThông tin giá công khai được thu thập từ trang web chính thức.
Giá evalcore.cc
Open source
$0
- Apache-2.0 open source
- in CI offline replay
- any language
- One small binary
- No telemetry
- No signup
- No server
Kiểm tra lần cuối: Jul 24, 2026. Truy cập trang web chính thức để xem điều khoản mới nhất.