ИИ-инструменты с оценкой для вашей профессии
Заработок с ИИ
🤝 Вы в библиотеке «Бесплатно и Open Source» — инструменты от сообщества, которыми можно пользоваться бесплатно. Это другой формат, чем наш оценённый каталог ИИ.
Главная › Бесплатно и Open Source › Медицина › llm-as-a-verifier
✦ Бесплатно и open sourceМедицина

llm-as-a-verifier

Детализированный фреймворк оценки для ранжирования, выбора и отслеживания результатов работы AI-агентов без дообучения.

Детализированная верификация агентов и пошаговая оценка

Ранжируйте кандидатские результаты агентов и контролируйте ход выполнения с помощью моделей оценки на основе логпробабилитетов.

Бесплатно навсегда · open source · MIT
✓ Light setup✓ В браузере✓ Совместная работа в реальном времени
7.8
ZEKAI
Верификатор траекторий агентов.
Бесплатно и open source · Медицина
Простота настройки6
Полезность8
Поддержка9.5
Сообщество7.5
★ 3,322
GITHUB
Oct 2026
ОБНОВЛЕНО
MIT
ЛИЦЕНЗИЯ
🛠 Не хотите размещать сами? Мы настроим за вас →
⚡ Быстрый ответ

LLM-as-a-Verifier — это Python-фреймворк, использующий оценку распределения logprob для оценки и ранжирования траекторий AI-агентов. Он подходит разработчикам агентских воркфлоу, которым нужны масштабирование во время инференса, выбор результатов и пошаговое отслеживание прогресса без тонкой настройки новых моделей. Исследователи в области медицинского AI могут использовать его для ранжирования траекторий клинических агентов на бенчмарках вроде MedAgentBench.

Работает на
Cross-platform
Хостинг
Self-host
Языки
Python
Лицензия
MIT

Что это

Инструмент оценивает многошаговые траектории агентов с помощью парных моделей вознаграждения, одношагового отслеживания прогресса и турниров с вероятностными опорными точками (Probabilistic Pivot Tournaments). Он вычисляет детализированные ожидания оценок на основе LLM logprob по пользовательским критериям оценки. Вы можете использовать более слабые модели, такие как DeepSeek V4.1 Flash, для верификации траекторий, сгенерированных более крупными системами.

Для кого

Этот инструмент подходит AI-разработчикам и исследователям медицинской информатики, которые создают многошаговые агентские системы и нуждаются в автоматической верификации во время инференса. Он идеален для команд, запускающих бенчмарки агентов вроде MedAgentBench или SWE-Bench Verified. Он не предназначен для конечного клинического принятия решений без интеграции в более широкий воркфлоу разработчика.

Ключевые возможности

Турнир с вероятностными опорными точками

Ранжирует N траекторий агента, используя сокращенные парные сравнения вместо полных матриц по круговой системе.

Детализированный Logprob-скоринг

Вычисляет ожидаемые оценки по всему распределению logprob токенов оценки для выбора кандидатов.

Отслеживание прогресса в реальном времени

Контролирует выполнение шагов агента в прямом эфире с помощью ProgressTracker для раннего выявления неудачных запусков.

Оценка по пользовательским критериям

Принимает определенные пользователем словари критериев для оценки таких областей, как клиническое рассуждение или исправление кода.

Как начать

Готово за 3 шага

1
Установите пакет через pip с помощью команды 'pip install llm-verifier'.
2
Настройте свои ключи API или запустите локальный vLLM сервер, который возвращает logprob токенов.
3
Вызовите 'llm_verifier.select()' с описанием вашей проблемы, траекториями кандидатов и критериями.
Честно

Наш честный вердикт

Плюсы

  • Эффективно ранжирует траектории агентов, используя парные сравнения O(Nk).
  • Предоставляет живое пошаговое отслеживание для ранней остановки неудачных генераций агента.
  • Работает с проприетарными API моделей и self-host vLLM эндпоинтами.
  • Не требует дополнительного обучения или тонкой настройки моделей-верификаторов.

Минусы

  • Требует доступа к внешним API моделей или локальным настройкам GPU, возвращающим logprob токенов.
  • Повторные оценки кандидатов влекут за собой значительное использование токенов API или вычислительные накладные расходы.
  • Требует написания кода на Python для интеграции воркфлоу скоринга в существующие агентские пайплайны.
Стоимость

Цены и лицензия

LLM-as-a-Verifier бесплатен и имеет открытый исходный код под лицензией MIT. Основные затраты приходятся на использование токенов API моделей или запуск собственного GPU-сервера для генерации logprob.

Оплачиваемая работа

Вакансии для носителей русского языка

877 открытых удалённых вакансий по обучению ИИ, обновлено 16 ноября 2026 г.; в большинстве оплата $20–$175 в час. Из них 2 — для носителей русского языка. Zekai публикует их бесплатно; отклик уходит на платформу работодателя.

Все открытые вакансии →
Сравнить

Альтернативы

🎁 Бесплатные и open-source альтернативы
Больше

Используйте сами или мы всё настроим

📄 Бесплатный PDF: llm-as-a-verifier для Медицина
Простое руководство для первого результата. Придёт на вашу почту.
🔔 64 человек хотят полный видеоурок — добавьте свой голос
🛠 Не хотите настраивать сами?
Мы установим, разместим и настроим llm-as-a-verifier за вас — и обучим вашу команду.
Доверьте это нам ↗
Вопросы

Вопросы

Могу ли я запустить это с локально хостящейся LLM?

Да, вы можете подключить ее к совместимому с OpenAI серверу, например vllm serve, при условии, что он возвращает logprob токенов.

Как это снижает затраты на оценку для выбора best-of-N?

Инструмент использует турнир с вероятностными опорными точками для ранжирования кандидатов за O(Nk) сравнений вместо полных проверок по круговой системе O(N^2).

Может ли меньшая модель верифицировать вывод большей модели?

Да, бенчмарки в README показывают, что меньшие верификаторы, такие как DeepSeek V4.1 Flash, успешно ранжируют генерации от более крупных моделей, таких как Claude Opus.

Радар

Свежие новости ИИ

✉️ Еженедельный бесплатный набор
Лучшие новые бесплатные и open-source инструменты для Медицина — короткое письмо раз в неделю, на вашем языке.
Бесплатно · 1 письмо/неделю · отписка в любой момент
Заработок на обучении ИИ →

Zekai первым в Google