Базовые принципы
AIKraft — независимый ресурс. Мы не берём плату за место в рейтинге и не двигаем модели вверх по запросу вендоров. Любой балл должен быть воспроизводим: если мы не можем сослаться на источник или повторить замер, значение помечается как предварительное.
- Открытость источников. У каждой метрики указано, откуда взято значение и когда сверено.
- Разделение факта и оценки. Замеры бенчмарков отделены от нашего редакторского мнения.
- RU-контекст. Отдельно проверяем доступность из России, способы оплаты и качество на русском языке.
Как считается AIKraft Index
AIKraft Index — взвешенная композиция нормированных результатов модели по пяти направлениям. Каждый результат приводится к шкале 0–100, затем складывается с весом направления:
| Направление | Вес | Базовые метрики |
|---|---|---|
| Знания | 25% | MMLU-Pro, GPQA (knowledge subset) |
| Рассуждения | 25% | GPQA-Diamond, ARC-AGI, логические задачи |
| Кодинг | 20% | SWE-bench Verified, LiveCodeBench |
| Математика | 15% | AIME, MATH-500 |
| Русский язык | 15% | MERA, собственный RU-набор AIKraft |
Нормировка — относительно лучшей и худшей модели в актуальной выборке, поэтому Index показывает положение модели относительно поля, а не абсолютную «правду». При смене состава выборки баллы могут сдвинуться даже без нового релиза.
Тематические рейтинги (например «Лучшие для русского» или «Самые дешёвые») используют свою главную метрику, а не общий Index — её формула указана на странице каждого рейтинга.
Источники и частота сверки
Мы агрегируем данные из нескольких типов источников и обновляем их с разной частотой — то, что меняется чаще, и сверяется чаще:
| Метрика | Источник | Как проверяем | Частота |
|---|---|---|---|
| Баллы бенчмарков | Официальные model cards, публичные лидерборды (LMArena, open evals) | Сверяем минимум 2 независимых источника; спорные — перепроверяем сами | еженедельно |
| Цена API | Прайс-листы вендоров и прокси-провайдеров | Парсинг + ручная проверка курса ₽ на дату сверки | ежедневно |
| Скорость (t/s) | Собственные замеры + данные провайдеров | Усреднение по серии запросов на стандартном промпте | еженедельно |
| Доступность из РФ | Проверка провайдеров, способов оплаты | Ручная проверка редакцией | по изменениям |
| Русский язык | MERA + внутренний набор AIKraft | Прогон на фиксированном наборе задач | при релизе модели |
| Состав каталога | Анонсы вендоров, релизы | Добавляем после подтверждённого публичного доступа | по мере релизов |
Бейджи: verified и provisional
Рядом со значениями в рейтингах стоит бейдж достоверности. Он показывает, насколько мы уверены в конкретной цифре:
Значение подтверждено двумя независимыми источниками или воспроизведено нами. На таком бейдже можно строить решения.
Предварительное значение: один источник или заявление вендора, которое мы ещё не перепроверили. Может измениться после сверки.
Дисклеймер. Provisional-значения приведены для ориентира и не являются окончательными. Бенчмарки измеряют узкие задачи и не гарантируют качество на вашем сценарии — перед внедрением проверяйте модель на собственных данных.
Ошибки и правки
Нашли расхождение с первоисточником? Напишите нам — мы проверим и поправим, а в спорных случаях оставим пометку о разнице источников. Контакты на странице контактов.