Feingranulares Evaluierungs-Framework zum Bewerten, Auswählen und Verfolgen von KI-Agenten-Ausgaben ohne Neutraining.
Ranglisten für Kandidaten-Agentenausgaben erstellen und den Ausführungsfortschritt mithilfe von Logprob-basierten Bewertungsmodellen überwachen.
LLM-as-a-Verifier ist ein Python-Framework, das Logprob-Verteilungs-Scores verwendet, um KI-Agenten-Trajektorien zu evaluieren und zu bewerten. Es eignet sich für Entwickler, die agentenbasierte Workflows erstellen und Test-Time-Skalierung, Ausgabeauswahl sowie eine schrittweise Fortschrittsverfolgung ohne Feinabstimmung neuer Modelle benötigen. Forscher im Bereich der medizinischen KI können es nutzen, um klinische Agenten-Trajektorien in Benchmarks wie MedAgentBench zu bewerten.
Das Tool evaluiert mehrstufige Agenten-Trajektorien mithilfe von paarweisen Belohnungsmodellen, einstufiger Fortschrittsverfolgung und probabilistischen Pivot-Turnieren. Es berechnet feingranulare Erwartungswerte aus LLM-Logprobs anhand benutzerdefinierter Evaluierungskriterien. Sie können schwächere Modelle wie DeepSeek V4.1 Flash verwenden, um Trajektorien zu verifizieren, die von größeren Systemen generiert wurden.
Dieses Tool richtet sich an KI-Entwickler und Forscher der medizinischen Informatik, die mehrstufige Agentensysteme entwickeln und eine automatisierte Test-Time-Verifizierung wünschen. Es ist ideal für Teams, die Agenten-Benchmarks wie MedAgentBench oder SWE-Bench Verified ausführen. Es ist nicht für die klinische Entscheidungsunterstützung von Endbenutzern ohne Integration in einen größeren Entwickler-Workflow gedacht.
Rankt N Agenten-Trajektorien mithilfe reduzierter paarweiser Vergleiche anstelle vollständiger Round-Robin-Matrizen.
Berechnet Erwartungswerte über die gesamte Logprob-Verteilung der Evaluierungs-Token für die Kandidatenauswahl.
Überwacht Agenten-Schrittausführungen live mit dem ProgressTracker, um fehlgeschlagene Läufe frühzeitig zu erkennen.
Akzeptiert benutzerdefinierte Kriterien-Wörterbücher, um Domänen wie klinisches Denken oder Code-Korrekturen zu evaluieren.
LLM-as-a-Verifier ist kostenlos und unter der MIT-Lizenz Open Source. Die Hauptkosten entstehen durch die Nutzung von Modell-API-Token oder das Betreiben eines eigenen GPU-Servers zum Generieren von Logprobs.
877 offene Remote-Stellen im KI-Training, aktualisiert am 16. November 2026; die meisten zahlen $20–$175 pro Stunde. 12 davon suchen Deutschsprachige. Zekai listet sie kostenlos; die Bewerbung läuft über die Plattform des Arbeitgebers.
Ja, Sie können es mit einem OpenAI-kompatiblen Server wie vllm serve verbinden, vorausgesetzt, dieser gibt Token-Logprobs zurück.
Es verwendet ein probabilistisches Pivot-Turnier, um Kandidaten in O(Nk)-Vergleichen anstelle vollständiger O(N^2)-Round-Robin-Prüfungen zu ranken.
Ja, Benchmarks in der README zeigen, dass kleinere Verifizierer wie DeepSeek V4.1 Flash erfolgreich Rollouts von größeren Modellen wie Claude Opus ranken.
Zekai zuerst in Google sehen