Какая модель
лучше на русском
Собственные прогоны языковых моделей на реальных бизнес-задачах: баллы за качество, цена вызова, где модели ломаются. Обновляется после каждого теста.
Шкала судьи
загружаемКакая модель учит лучше
Каждая модель пишет полный урок по бизнес-теме — от структуры до формул и примеров. Claude-судья оценивает глубину темы, практическую ценность, точность и русский язык.
| # | Модель | Версия теста | Провайдер | Тир | Claude Score | $/1M | $/call | $/100k симв. | Скорость | Value |
|---|
Как мы оцениваем модели
Один и тот же промпт, один и тот же судья, цена по реальному тарифу. Всё остальное — арифметика.
Одинаковое задание
Каждая модель пишет полный урок по бизнес-теме: маркетинг, финансы, логистика, HR, ценообразование. Единый промпт для всех, темы и рубрика не меняются внутри версии теста.
Один судья
Claude читает урок и ставит баллы по шести критериям. Повторный замер одной модели гуляет в пределах двух баллов, поэтому модели с разницей до трёх баллов делят место.
Реальная цена
Стоимость вызова считаем по тарифу, который в момент теста реально списывает OpenRouter — со скидками и по самому дешёвому эндпоинту в стандартном классе.
Value Score
Бесплатные модели получают максимум за цену, дорогие штрафуются нелинейно. Так дешёвая модель на 92 балла может обойти дорогую на 93.
Value = 70% × Quality + 30% × Cost (log)Тест продаж
Во вкладке «Продажи» модель — продавец: ведёт диалог с несколькими персонажами- покупателями, у каждого своя лестница возражений и своё давление на цену.
Своя рубрика
Судья смотрит на выявление потребности, отработку возражений, честность и доведение до следующего шага. Балл сопоставим с обучением по шкале, но не по смыслу.
- 01Семантика
глубина понимания, логика, связность
- 02Практика
применимость, конкретные примеры
- 03Соответствие
следование промпту и структуре
- 04Галлюцинации
нет вымышленных фактов и ссылок
- 05Структура
иерархия, корректный Markdown
- 06Визуализация
форматирование и читаемость
Период, выборка и ограничения
Это собственный сравнительный тест AiDevTeam, а не универсальный рейтинг моделей. Ниже — условия, при которых числа можно воспроизвести и корректно использовать.
- Период
- 14.09.2026
Текущий срез на 14 сентября 2026 г.; данные обновляются после каждого нового прогона, без передеплоя страницы.
- Выборка
- 77 · 23 · 9
77 моделей от 23 провайдеров, 9 бизнес-тем и 496 сгенерированных уроков.
- Baseline
- одна версия теста
Модели сравниваются только внутри одинакового testVersion: единый промпт, темы и рубрика. Внешний отраслевой benchmark не заявляется.
- Формула
- 70 / 30
Value = 70% × нормализованный Quality Score + 30% × Cost Score по логарифмической шкале.
- Claude — единственный судья, поэтому его предпочтения могут влиять на баллы.
- Модели, тарифы и ответы провайдеров меняются; сравнивать срезы можно только с учётом даты и testVersion.
- Результаты русскоязычных учебных и sales-задач не доказывают качество модели в другом домене.
Данные доступны бесплатно для предварительного выбора моделей. Перед закупкой или внедрением повторите тест на собственных сценариях, проверьте актуальные тарифы и проведите человеческую оценку.
Скачать панель из 25 AI Search prompts · CSVЧто цифры значат для проекта
Стоит ли обновлять модель ИИ, когда вышла новая версия
DeepSeek выпустил новую сборку флагманской модели после четырёх месяцев превью. Мы перегнали старую версию на той же шкале и получили 83 против 82 – ничью. Единственное измеримое улучшение оказалось не в качестве. Разбираем и второй повод сменить модель, который тоже ничего не значит.
6 мин чтения
Как выбрать LLM для проекта и не переплатить в сорок раз
Прогнали восемь моделей через две реальные задачи на русском — генерацию обучающего контента и продающие диалоги. Самая дорогая модель когорты оказалась хуже самой дешёвой почти в пятьдесят раз по цене и на девять баллов по качеству. Разбираю, как выбирать модель под проект: почему у одной модели одиннадцать разных цен, что показывает разброс вместо среднего балла и почему англоязычный рейтинг ничего не говорит о работе на русском.
15 мин чтения
Qwen 3.8 Max: стоит ли брать новинку Alibaba в проект
Alibaba выпустила Qwen 3.8 Max: 2,4 триллиона параметров, миллион контекста и первое место в медицинской категории Arena. Разбираю, что из этого проверяемо, сколько модель стоит на самом деле и почему клиент, требовавший самую дорогую модель на рынке, передумал за один разговор.
8 мин чтения