KI-Tools, bewertet für deinen Beruf
Bezahlte KI-Jobs
🤝 Du bist in der Frei-&-Open-Source-Bibliothek — von der Community entwickelte Tools, die du kostenlos nutzen kannst. Ein anderes Konzept als unser bewertetes KI-Verzeichnis.
Start › Frei & Open Source › Medizin › llm-as-a-verifier
✦ Frei & Open SourceMedizin

llm-as-a-verifier

Feingranulares Evaluierungs-Framework zum Bewerten, Auswählen und Verfolgen von KI-Agenten-Ausgaben ohne Neutraining.

Feingranulare Agenten-Verifizierung und schrittweise Evaluierung

Ranglisten für Kandidaten-Agentenausgaben erstellen und den Ausführungsfortschritt mithilfe von Logprob-basierten Bewertungsmodellen überwachen.

Für immer kostenlos · Open Source · MIT
✓ Light setup✓ Im Browser✓ Echtzeit-Zusammenarbeit
7.8
ZEKAI
Agenten-Trajektorien-Verifizierer.
Frei & Open Source · Medizin
Einfache Einrichtung6
Nützlichkeit8
Wartung9.5
Community7.5
★ 3,322
GITHUB
Oct 2026
AKTUALISIERT
MIT
LIZENZ
🛠 Keine Lust auf Self-Hosting? Wir richten es ein →
⚡ Schnelle Antwort

LLM-as-a-Verifier ist ein Python-Framework, das Logprob-Verteilungs-Scores verwendet, um KI-Agenten-Trajektorien zu evaluieren und zu bewerten. Es eignet sich für Entwickler, die agentenbasierte Workflows erstellen und Test-Time-Skalierung, Ausgabeauswahl sowie eine schrittweise Fortschrittsverfolgung ohne Feinabstimmung neuer Modelle benötigen. Forscher im Bereich der medizinischen KI können es nutzen, um klinische Agenten-Trajektorien in Benchmarks wie MedAgentBench zu bewerten.

Läuft auf
Cross-platform
Hosting
Self-host
Sprachen
Python
Lizenz
MIT

Was es ist

Das Tool evaluiert mehrstufige Agenten-Trajektorien mithilfe von paarweisen Belohnungsmodellen, einstufiger Fortschrittsverfolgung und probabilistischen Pivot-Turnieren. Es berechnet feingranulare Erwartungswerte aus LLM-Logprobs anhand benutzerdefinierter Evaluierungskriterien. Sie können schwächere Modelle wie DeepSeek V4.1 Flash verwenden, um Trajektorien zu verifizieren, die von größeren Systemen generiert wurden.

Für wen

Dieses Tool richtet sich an KI-Entwickler und Forscher der medizinischen Informatik, die mehrstufige Agentensysteme entwickeln und eine automatisierte Test-Time-Verifizierung wünschen. Es ist ideal für Teams, die Agenten-Benchmarks wie MedAgentBench oder SWE-Bench Verified ausführen. Es ist nicht für die klinische Entscheidungsunterstützung von Endbenutzern ohne Integration in einen größeren Entwickler-Workflow gedacht.

Wichtige Funktionen

Probabilistic Pivot Tournament

Rankt N Agenten-Trajektorien mithilfe reduzierter paarweiser Vergleiche anstelle vollständiger Round-Robin-Matrizen.

Fine-grained Logprob Scoring

Berechnet Erwartungswerte über die gesamte Logprob-Verteilung der Evaluierungs-Token für die Kandidatenauswahl.

Real-time Progress Tracking

Überwacht Agenten-Schrittausführungen live mit dem ProgressTracker, um fehlgeschlagene Läufe frühzeitig zu erkennen.

Custom Criteria Evaluation

Akzeptiert benutzerdefinierte Kriterien-Wörterbücher, um Domänen wie klinisches Denken oder Code-Korrekturen zu evaluieren.

Erste Schritte

Startklar in 3 Schritten

1
Installieren Sie das Paket über pip mit 'pip install llm-verifier'.
2
Konfigurieren Sie Ihre API-Keys oder starten Sie einen lokalen vLLM-Server, der Token-Logprobs zurückgibt.
3
Rufen Sie 'llm_verifier.select()' mit Ihrer Problemstellung, den Kandidaten-Trajektorien und den Kriterien auf.
Klartext

Unser ehrliches Fazit

Stärken

  • Rankt Agenten-Trajektorien effizient mittels O(Nk) paarweiser Vergleiche.
  • Bietet Live-Schritt-für-Schritt-Tracking, um fehlschlagende Agenten-Rollouts frühzeitig zu stoppen.
  • Funktioniert über proprietäre Modell-APIs und self-host vLLM-Endpunkte hinweg.
  • Erfordert kein zusätzliches Training oder Finetuning von Verifizierermodellen.

Schwächen

  • Erfordert Zugriff auf externe Modell-APIs oder lokale GPU-Setups, die Token-Logprobs zurückgeben.
  • Wiederholte Kandidaten-Evaluierungen verursachen signifikanten API-Token-Verbrauch oder Rechenaufwand.
  • Erfordert Python-Coding, um Scoring-Workflows in bestehende Agenten-Pipelines zu integrieren.
Kosten

Preise & Lizenz

LLM-as-a-Verifier ist kostenlos und unter der MIT-Lizenz Open Source. Die Hauptkosten entstehen durch die Nutzung von Modell-API-Token oder das Betreiben eines eigenen GPU-Servers zum Generieren von Logprobs.

Bezahlte Arbeit

Stellen für Deutschsprachige

877 offene Remote-Stellen im KI-Training, aktualisiert am 16. November 2026; die meisten zahlen $20–$175 pro Stunde. 12 davon suchen Deutschsprachige. Zekai listet sie kostenlos; die Bewerbung läuft über die Plattform des Arbeitgebers.

Alle offenen Stellen ansehen →
Vergleich

Alternativen

🎁 Freie & Open-Source-Alternativen
Mehr

Nutze es, oder lass es uns einrichten

📄 Kostenloses PDF: llm-as-a-verifier für Medizin
Ein verständlicher Leitfaden für dein erstes Ergebnis. Direkt in dein Postfach.
🔔 64 Personen wünschen sich ein komplettes Video-Tutorial — stimme ab
🛠 Keine Lust auf eigene Einrichtung?
Wir installieren, hosten & konfigurieren llm-as-a-verifier für dich — und schulen dein Team.
Erledigen lassen ↗
Fragen

FAQ

Kann ich dies mit einem lokal gehosteten LLM ausführen?

Ja, Sie können es mit einem OpenAI-kompatiblen Server wie vllm serve verbinden, vorausgesetzt, dieser gibt Token-Logprobs zurück.

Wie reduziert es die Evaluierungskosten für die Best-of-N-Auswahl?

Es verwendet ein probabilistisches Pivot-Turnier, um Kandidaten in O(Nk)-Vergleichen anstelle vollständiger O(N^2)-Round-Robin-Prüfungen zu ranken.

Kann ein kleineres Modell die Ausgabe eines größeren Modells verifizieren?

Ja, Benchmarks in der README zeigen, dass kleinere Verifizierer wie DeepSeek V4.1 Flash erfolgreich Rollouts von größeren Modellen wie Claude Opus ranken.

Radar

Neueste KI-News

✉️ Das wöchentliche kostenlose Toolkit
Die besten neuen freien & Open-Source-Tools für Medizin — eine kurze E-Mail pro Woche, in deiner Sprache.
Kostenlos · 1 E-Mail/Woche · jederzeit abbestellbar
Mit KI-Training Geld verdienen →

Zekai zuerst in Google sehen