Mesleğiniz için puanlanmış YZ araçları
YZ eğiterek kazan
🤝 Ücretsiz & Açık Kaynak kütüphanesindesiniz — toplulukça geliştirilen, ücret ödemeden kullanabileceğiniz araçlar. Puanlı AI dizinimizden farklı bir kavram.
Ana sayfa › Ücretsiz & Açık Kaynak › Tıp & Doktor › llm-as-a-verifier
✦ Ücretsiz & açık kaynakTıp & Doktor

llm-as-a-verifier

Yeniden eğitme gerekmeden yapay zeka aracı çıktılarını puanlamak, seçmek ve izlemek için ayrıntılı değerlendirme çerçevesi.

Ayrıntılı aracı doğrulaması ve adım adım değerlendirme

Logprob tabanlı puanlama modellerini kullanarak aday aracı çıktılarını sıralayın ve yürütme ilerlemesini izleyin.

Sonsuza dek ücretsiz · açık kaynak · MIT
✓ Light setup✓ Tarayıcıda çalışır✓ Gerçek zamanlı işbirliği
7.8
ZEKAI
Aracı yörünge doğrulayıcısı.
Ücretsiz & açık kaynak · Tıp & Doktor
Kurulum kolaylığı6
Yararlılık8
Bakım9.5
Topluluk7.5
★ 3,322
GITHUB
Oct 2026
GÜNCELLENDİ
MIT
LİSANS
🛠 Kendiniz barındırmak istemiyor musunuz? Sizin için kurabiliriz →
⚡ Hızlı yanıt

LLM-as-a-Verifier, yapay zeka aracı yörüngelerini değerlendirmek ve sıralamak için logprob dağılımı puanlamasını kullanan bir Python çerçevesidir. Yeni modelleri ince ayardan geçirmeden test süresi ölçeklendirmesi, çıktı seçimi ve adım adım ilerleme takibine ihtiyaç duyan, aracı iş akışları oluşturan geliştiricilere uygundur. Tıbbi yapay zeka araştırmacıları bunu MedAgentBench gibi kıyaslamalarda klinik aracı yörüngelerini sıralamak için kullanabilir.

Çalıştığı yer
Cross-platform
Barındırma
Self-host
Diller
Python
Lisans
MIT

Nedir

Araç, ikili ödül modelleri, tek adımlı ilerleme takibi ve Olasılıksal Pivot Turnuvaları kullanarak çok adımlı aracı yörüngelerini değerlendirir. Özel değerlendirme ölçütleri genelinde LLM logprob'larından ayrıntılı puan beklentileri hesaplar. Daha büyük sistemler tarafından oluşturulan yörüngeleri doğrulamak için DeepSeek V4.1 Flash gibi daha zayıf modelleri kullanabilirsiniz.

Kimler için

Bu araç, çok adımlı aracı sistemleri oluşturan ve otomatik test süresi doğrulaması isteyen yapay zeka geliştiricilerine ve tıbbi bilişim araştırmacılarına uygundur. MedAgentBench veya SWE-Bench Verified gibi aracı kıyaslamaları çalıştırан ekipler için idealdir. Daha geniş bir geliştirici iş akışına entegre edilmeden son kullanıcı klinik karar desteği olarak tasarlanmamıştır.

Temel özellikler

Olasılıksal Pivot Turnuvası

Tam turnuva matrisleri yerine azaltılmış ikili karşılaştırmalar kullanarak N aracı yörüngesini sıralar.

Ayrıntılı Logprob Puanlaması

Aday seçimi için değerlendirme token'larının tüm logprob dağılımı üzerinden beklenti puanları hesaplar.

Gerçek Zamanlı İlerleme Takibi

Başarısız çalıştırmaları erken tespit etmek için ProgressTracker ile aracı adım yürütmelerini canlı olarak izler.

Özel Kriter Değerlendirmesi

Klinik akıl yürütme veya kod düzeltmeleri gibi alanları değerlendirmek için kullanıcı tanımlı kriter sözlüklerini kabul eder.

Nasıl başlanır

3 adımda hazır

1
'pip install llm-verifier' kullanarak paketi pip ile yükleyin.
2
API anahtarlarınızı yapılandırın veya token logprob'ları döndüren yerel bir vLLM sunucusu çalıştırın.
3
Problem ifadeniz, aday yörüngeleriniz ve kriterlerinizle 'llm_verifier.select()' fonksiyonunu çağırın.
Açıkçası

Dürüst kararımız

Artıları

  • O(Nk) ikili karşılaştırmaları kullanarak aracı yörüngelerini verimli bir şekilde sıralar.
  • Başarısız aracı çıktılarını erken durdurmak için canlı adım adım takip sağlar.
  • Tescilli model API'lerinde ve self-host vLLM uç noktalarında çalışır.
  • Doğrulayıcı modellerin ek bir eğitimini veya ince ayarını gerektirmez.

Eksileri

  • Token logprob'ları döndüren harici model API'lerine veya yerel GPU kurulumlarına erişim gerektirir.
  • Tekrarlanan aday değerlendirmeleri, önemli ölçüde API token kullanımı veya hesaplama yükü getirir.
  • Puanlama iş akışlarını mevcut aracı boru hatlarına entegre etmek için Python kodlaması gerektirir.
Maliyet

Fiyatlar & lisans

LLM-as-a-Verifier, MIT lisansı altında ücretsiz ve open source bir yazılımdır. Birincil maliyet, model API token kullanımından veya logprob üretmek için kendi GPU sunucunuzu çalıştırmaktan kaynaklanır.

Ücretli iş

Türkçe konuşanlar için işler

877 açık uzaktan yapay zeka eğitimi işi, 16 Kasım 2026 tarihinde güncellendi; çoğu saatlik $20–$175 ödüyor. Bunların 2 tanesi Türkçe konuşanlar için. Zekai ücretsiz listeler; başvuru işverenin platformunda yapılır.

Tüm açık rolleri gör →
Karşılaştır

Alternatifler

🎁 Ücretsiz & açık kaynak alternatifler
Daha fazlası

Kullanın ya da biz kuralım

📄 Ücretsiz PDF: Tıp & Doktor için llm-as-a-verifier
İlk sonucunuza ulaşmanız için sade bir rehber. E-postanıza gönderilir.
🔔 64 kişi tam bir video eğitimi istiyor — oyunuzu ekleyin
🛠 Kendiniz kurmak istemiyor musunuz?
llm-as-a-verifier aracını sizin için kurar, barındırır ve yapılandırırız — ekibinizi de eğitiriz.
Sizin için yapalım ↗
Sorular

SSS

Bunu yerel olarak barındırılan bir LLM ile çalıştırabilir miyim?

Evet, token logprob'ları döndürmesi şartıyla vllm serve gibi OpenAI uyumlu bir sunucuya bağlayabilirsiniz.

En iyi N seçimi için değerlendirme maliyetlerini nasıl azaltır?

Tam O(N^2) turnuva kontrolleri yerine adayları O(Nk) karşılaştırmalarında sıralamak için Olasılıksal Pivot Turnuvası kullanır.

Daha küçük bir model, daha büyük bir modelin çıktısını doğrulayabilir mi?

Evet, README'deki kıyaslamalar, DeepSeek V4.1 Flash gibi daha küçük doğrulayıcıların Claude Opus gibi daha büyük modellerden gelen çıktıları başarıyla sıraladığını göstermektedir.

Radar

Son AI haberleri

✉️ Haftalık ücretsiz araç seti
Tıp & Doktor için en iyi yeni ücretsiz & açık kaynak araçlar — haftada bir kısa e-posta, kendi dilinizde.
Ücretsiz · haftada 1 e-posta · istediğinizde çıkın
Yapay zekayı eğit, para kazan →

Google'da önce Zekai'yi gör