Dil modeli kıyaslama puanlarını, bağlam penceresi sınırlarını ve sağlayıcı fiyatlandırmasını haritalandıran yapılandırılmış açık bir veri seti.
Performans metriklerini, sağlayıcı maliyetlerini ve model yeteneklerini karşılaştıran yapılandırılmış JSON veri setlerine erişin.
Bu depo, büyük dil modellerini değerlendirmek için yapılandırılmış bir JSON veri seti sağlar. İçerik stratejistleri ve pazarlamacılar, uygun maliyetli modelleri seçmek için model bağlam pencerelerini, performans puanlarını ve API fiyatlandırmasını inceleyebilir. Bu projenin resmi olarak kullanım dışı bırakıldığını ve artık aktif güncellemeler almadığını unutmayın.
Şema doğrulamalı JSON dosyaları içinde performans kıyaslama sonuçlarını (MMLU, GPQA ve MATH gibi), parametre sayılarını, bağlam sınırlarını ve sağlayıcı fiyatlandırmasını toplar. Veri seti; modeller, sağlayıcılar ve kıyaslamalar için ayrılmış dizinler genelinde kayıtları düzenler. Özel karşılaştırma araçları oluşturmak veya model verimliliğini analiz etmek için bu dosyaları doğrudan inceleyebilirsiniz.
Model performansını API maliyetleriyle karşılaştırmak için ham geçmiş verilerine ihtiyaç duyan teknik içerik oluşturuculara, komut mühendislerine ve pazarlama operasyonları uzmanlarına uygundur. Anahtar teslim bir SaaS platformu arayan teknik olmayan kullanıcılara veya canlı, otomatik güncellenen kıyaslama akışlarına ihtiyaç duyan ekiplere uygun değildir.
Model meta verileri, kıyaslama sonuçları ve fiyatlandırma ayrıntıları temiz, şema doğrulamalı JSON dizinlerinde depolanır.
Belirli dil modellerini sağlayıcı fiyatlandırması, bağlam penceresi parametreleri ve donanım yapılandırmalarıyla ilişkilendirir.
MMLU, GPQA, HumanEval ve MATH dahil olmak üzere kurulmuş endüstri kıyaslamaları genelinde model puanlarını kaydeder.
Veri girişi şemaları, gönderilen tüm performans metrikleri için doğrulanabilir alıntı bağlantılarını teşvik eder.
Depo içeriğini indirmek ve incelemek ücretsizdir. İlgili tek maliyet, kendi özel ayrıştırma betiklerinizi veya web görüntüleyicilerinizi çalıştırmak için gereken zaman ve barındırma altyapısıdır.
877 açık uzaktan yapay zeka eğitimi işi, 16 Kasım 2026 tarihinde güncellendi; çoğu saatlik $20–$175 ödüyor. Bunların 2 tanesi Türkçe konuşanlar için. Zekai ücretsiz listeler; başvuru işverenin platformunda yapılır.
Hayır, depo resmi olarak kullanım dışı bırakılmıştır. Veri düzeltmeleri artık llm-stats topluluk bölümüne yönlendirilmektedir.
Uzun biçimli metin üretimi için doğru LLM'yi seçmek üzere bağlam penceresi boyutlarını ve fiyatlandırmayı kıyaslama puanlarına karşı karşılaştırabilirsiniz.
Google'da önce Zekai'yi gör