Yeniden eğitme gerekmeden yapay zeka aracı çıktılarını puanlamak, seçmek ve izlemek için ayrıntılı değerlendirme çerçevesi.
Logprob tabanlı puanlama modellerini kullanarak aday aracı çıktılarını sıralayın ve yürütme ilerlemesini izleyin.
LLM-as-a-Verifier, yapay zeka aracı yörüngelerini değerlendirmek ve sıralamak için logprob dağılımı puanlamasını kullanan bir Python çerçevesidir. Yeni modelleri ince ayardan geçirmeden test süresi ölçeklendirmesi, çıktı seçimi ve adım adım ilerleme takibine ihtiyaç duyan, aracı iş akışları oluşturan geliştiricilere uygundur. Tıbbi yapay zeka araştırmacıları bunu MedAgentBench gibi kıyaslamalarda klinik aracı yörüngelerini sıralamak için kullanabilir.
Araç, ikili ödül modelleri, tek adımlı ilerleme takibi ve Olasılıksal Pivot Turnuvaları kullanarak çok adımlı aracı yörüngelerini değerlendirir. Özel değerlendirme ölçütleri genelinde LLM logprob'larından ayrıntılı puan beklentileri hesaplar. Daha büyük sistemler tarafından oluşturulan yörüngeleri doğrulamak için DeepSeek V4.1 Flash gibi daha zayıf modelleri kullanabilirsiniz.
Bu araç, çok adımlı aracı sistemleri oluşturan ve otomatik test süresi doğrulaması isteyen yapay zeka geliştiricilerine ve tıbbi bilişim araştırmacılarına uygundur. MedAgentBench veya SWE-Bench Verified gibi aracı kıyaslamaları çalıştırан ekipler için idealdir. Daha geniş bir geliştirici iş akışına entegre edilmeden son kullanıcı klinik karar desteği olarak tasarlanmamıştır.
Tam turnuva matrisleri yerine azaltılmış ikili karşılaştırmalar kullanarak N aracı yörüngesini sıralar.
Aday seçimi için değerlendirme token'larının tüm logprob dağılımı üzerinden beklenti puanları hesaplar.
Başarısız çalıştırmaları erken tespit etmek için ProgressTracker ile aracı adım yürütmelerini canlı olarak izler.
Klinik akıl yürütme veya kod düzeltmeleri gibi alanları değerlendirmek için kullanıcı tanımlı kriter sözlüklerini kabul eder.
LLM-as-a-Verifier, MIT lisansı altında ücretsiz ve open source bir yazılımdır. Birincil maliyet, model API token kullanımından veya logprob üretmek için kendi GPU sunucunuzu çalıştırmaktan kaynaklanır.
877 açık uzaktan yapay zeka eğitimi işi, 16 Kasım 2026 tarihinde güncellendi; çoğu saatlik $20–$175 ödüyor. Bunların 2 tanesi Türkçe konuşanlar için. Zekai ücretsiz listeler; başvuru işverenin platformunda yapılır.
Evet, token logprob'ları döndürmesi şartıyla vllm serve gibi OpenAI uyumlu bir sunucuya bağlayabilirsiniz.
Tam O(N^2) turnuva kontrolleri yerine adayları O(Nk) karşılaştırmalarında sıralamak için Olasılıksal Pivot Turnuvası kullanır.
Evet, README'deki kıyaslamalar, DeepSeek V4.1 Flash gibi daha küçük doğrulayıcıların Claude Opus gibi daha büyük modellerden gelen çıktıları başarıyla sıraladığını göstermektedir.
Google'da önce Zekai'yi gör