Детализированный фреймворк оценки для ранжирования, выбора и отслеживания результатов работы AI-агентов без дообучения.
Ранжируйте кандидатские результаты агентов и контролируйте ход выполнения с помощью моделей оценки на основе логпробабилитетов.
LLM-as-a-Verifier — это Python-фреймворк, использующий оценку распределения logprob для оценки и ранжирования траекторий AI-агентов. Он подходит разработчикам агентских воркфлоу, которым нужны масштабирование во время инференса, выбор результатов и пошаговое отслеживание прогресса без тонкой настройки новых моделей. Исследователи в области медицинского AI могут использовать его для ранжирования траекторий клинических агентов на бенчмарках вроде MedAgentBench.
Инструмент оценивает многошаговые траектории агентов с помощью парных моделей вознаграждения, одношагового отслеживания прогресса и турниров с вероятностными опорными точками (Probabilistic Pivot Tournaments). Он вычисляет детализированные ожидания оценок на основе LLM logprob по пользовательским критериям оценки. Вы можете использовать более слабые модели, такие как DeepSeek V4.1 Flash, для верификации траекторий, сгенерированных более крупными системами.
Этот инструмент подходит AI-разработчикам и исследователям медицинской информатики, которые создают многошаговые агентские системы и нуждаются в автоматической верификации во время инференса. Он идеален для команд, запускающих бенчмарки агентов вроде MedAgentBench или SWE-Bench Verified. Он не предназначен для конечного клинического принятия решений без интеграции в более широкий воркфлоу разработчика.
Ранжирует N траекторий агента, используя сокращенные парные сравнения вместо полных матриц по круговой системе.
Вычисляет ожидаемые оценки по всему распределению logprob токенов оценки для выбора кандидатов.
Контролирует выполнение шагов агента в прямом эфире с помощью ProgressTracker для раннего выявления неудачных запусков.
Принимает определенные пользователем словари критериев для оценки таких областей, как клиническое рассуждение или исправление кода.
LLM-as-a-Verifier бесплатен и имеет открытый исходный код под лицензией MIT. Основные затраты приходятся на использование токенов API моделей или запуск собственного GPU-сервера для генерации logprob.
877 открытых удалённых вакансий по обучению ИИ, обновлено 16 ноября 2026 г.; в большинстве оплата $20–$175 в час. Из них 2 — для носителей русского языка. Zekai публикует их бесплатно; отклик уходит на платформу работодателя.
Да, вы можете подключить ее к совместимому с OpenAI серверу, например vllm serve, при условии, что он возвращает logprob токенов.
Инструмент использует турнир с вероятностными опорными точками для ранжирования кандидатов за O(Nk) сравнений вместо полных проверок по круговой системе O(N^2).
Да, бенчмарки в README показывают, что меньшие верификаторы, такие как DeepSeek V4.1 Flash, успешно ранжируют генерации от более крупных моделей, таких как Claude Opus.
Zekai первым в Google