Структурированный открытый набор данных, сопоставляющий баллы бенчмарков языковых моделей, ограничения контекстного окна и цены провайдеров.
Получите доступ к структурированным наборам данных в формате JSON, сравнивающим показатели производительности, затраты провайдеров и возможности моделей.
Этот репозиторий предоставляет структурированный набор данных JSON для оценки больших языковых моделей. Контент-стратеги и маркетологи могут изучать контекстные окна моделей, показатели производительности и цены API для выбора экономически эффективных моделей. Обратите внимание, что этот проект официально устарел и больше не обновляется активно.
Он агрегирует результаты тестов производительности (таких как MMLU, GPQA и MATH), количество параметров, ограничения контекста и цены вендоров внутри файлов JSON с проверенной схемой. Набор данных организует записи по выделенным директориям для моделей, провайдеров и бенчмарков. Вы можете напрямую изучать эти файлы для создания пользовательских инструментов сравнения или анализа эффективности моделей.
Он подходит техническим контент-мейкерам, промпт-инженерам и специалистам по маркетинговым операциям, которым нужны исходные исторические данные для сравнения производительности моделей с затратами на API. Он не подходит нетехническим пользователям, ищущим готовую SaaS-платформу, или командам, которым требуются живые, автоматически обновляемые ленты бенчмарков.
Метаданные моделей, результаты бенчмарков и детали ценообразования хранятся в чистых директориях JSON с проверенной схемой.
Связывает конкретные языковые модели с ценами провайдеров, параметрами контекстного окна и конфигурациями оборудования.
Записывает баллы моделей по устоявшимся отраслевым бенчмаркам, включая MMLU, GPQA, HumanEval и MATH.
Схемы ввода данных поощряют проверяемые ссылки на цитирование для всех отправленных метрик производительности.
Содержимое репозитория бесплатно для скачивания и просмотра. Единственные затраты — это время и хостинг-инфраструктура, необходимые для запуска собственных пользовательских скриптов синтаксического анализа или веб-просмотрщиков.
877 открытых удалённых вакансий по обучению ИИ, обновлено 16 ноября 2026 г.; в большинстве оплата $20–$175 в час. Из них 2 — для носителей русского языка. Zekai публикует их бесплатно; отклик уходит на платформу работодателя.
Нет, репозиторий официально устарел. Исправления данных теперь направляются в раздел сообщества llm-stats.
Вы можете сравнить размеры контекстного окна и цены с баллами бенчмарков, чтобы выбрать правильную LLM для генерации длинного контента.
Zekai первым в Google