Какая модель
лучше на русском
Собственные прогоны языковых моделей на реальных бизнес-задачах: баллы за качество, цена вызова, где модели ломаются. Обновляется после каждого теста.
Шкала судьи
загружаемКакая модель учит лучше
Каждая модель пишет полный урок по бизнес-теме — от структуры до формул и примеров. Судья оценивает глубину темы, практическую ценность, точность и русский язык.
| Сведения | # | Пример ответа |
|---|
Как мы оцениваем модели
Внутри прогона — одинаковые задания и единая рубрика. Судью, режим рассуждений и цену проверяем по данным конкретного прогона.
Одинаковое задание
Каждая модель пишет полный урок по бизнес-теме: маркетинг, финансы, логистика, HR, ценообразование. Единый промпт для всех, темы и рубрика не меняются внутри версии теста.
Один судья в прогоне
В новом протоколе все ответы оценивает ведущий агент текущего чата (root-агент). Его модель и режим записаны в метаданных прогона. В исторических прогонах судьи могли отличаться. Повторный замер одной модели гуляет в пределах двух баллов, поэтому модели с разницей до трёх баллов делят место.
Реальная цена
Стоимость вызова считаем по тарифу, который в момент теста реально списывает OpenRouter — со скидками и по самому дешёвому эндпоинту в стандартном классе.
Value Score
Бесплатные модели получают максимум за цену, дорогие штрафуются нелинейно. Так дешёвая модель на 92 балла может обойти дорогую на 93.
Value = 70% × Quality + 30% × Cost (log)Тест продаж
Во вкладке «Продажи» модель — продавец: ведёт диалог с несколькими персонажами- покупателями, у каждого своя лестница возражений и своё давление на цену.
Своя рубрика
Судья смотрит на выявление потребности, отработку возражений, честность и доведение до следующего шага. Балл сопоставим с обучением по шкале, но не по смыслу.
- 01Семантика
глубина понимания, логика, связность
- 02Практика
применимость, конкретные примеры
- 03Соответствие
следование промпту и структуре
- 04Галлюцинации
нет вымышленных фактов и ссылок
- 05Структура
иерархия, корректный Markdown
- 06Визуализация
форматирование и читаемость
Период, выборка и ограничения
Это собственный сравнительный тест AiDevTeam, а не универсальный рейтинг моделей. Ниже — условия, при которых числа можно воспроизвести и корректно использовать.
- Период
- 20.10.2026
Текущий срез на 20 октября 2026 г.; данные обновляются после каждого нового прогона, без передеплоя страницы.
- Выборка
- 90 · 25 · 9
90 моделей от 25 провайдеров, 9 бизнес-тем и 608 сгенерированных уроков.
- Baseline
- одна версия теста
Модели сравниваются только внутри одинакового testVersion: единый промпт, темы и рубрика. Внешний отраслевой benchmark не заявляется.
- Формула
- 70 / 30
Value = 70% × нормализованный Quality Score + 30% × Cost Score по логарифмической шкале.
- Предпочтения судьи могут влиять на баллы. В новом протоколе судит только root-агент; его модель и режим записаны в метаданных прогона. В исторических прогонах судьи могли отличаться.
- Модели, тарифы и ответы провайдеров меняются; учитывайте дату, версию теста и параметры прогона. Одинаковая версия рубрики не означает одинаковый режим рассуждений.
- Результаты русскоязычных учебных и sales-задач не доказывают качество модели в другом домене.
Опубликованные результаты тестов AiDevTeam доступны по лицензии CC BY 4.0. Их можно копировать, распространять и перерабатывать, в том числе в коммерческих целях. Указывайте AiDevTeam, ссылку на исходную страницу и лицензию, отмечайте внесённые изменения.
Данные доступны бесплатно для предварительного выбора моделей. Перед закупкой или внедрением повторите тест на собственных сценариях, проверьте актуальные тарифы и проведите человеческую оценку.
Скачать панель из 25 AI Search prompts · CSVЧто цифры значат для проекта
Тест LLM в октябре 2026 заставил перепроверить фаворитов
GLM долго была моим фаворитом, но в новом прогоне получила 64 балла за уроки. Luna прошла пять тем ровнее остальных. Разбираю ошибки моделей и отдельно проверяю Haiku, у которой рассуждения съели лимит ответа.
8 мин чтения
Тест языковой модели под задачу меняет порядок моделей
В сентябре я проверил модели на русских учебных текстах и симуляции продаж. Одни набирали больше баллов за уроки, другие — за разговоры; дешёвый быстрый ответ тоже мог придумать цифры. Показываю, что можно вынести из трёх волн и почему смена оценки между ними сама по себе не доказывает деградацию.
6 мин чтения
Model Compass: сравнение моделей по цене, качеству и скорости
Собрал Model Compass, чтобы выбирать модель под конкретную работу. Показываю, как читать цену, качество и скорость, выбирать оркестратора и воркера и сравнивать две 3D-карты от Sol и Opus.
7 мин чтения
Опишите задачу — решение покажем до звонка.
Описать задачу