8 материалов по теме
GLM долго была моим фаворитом, но в новом прогоне получила 64 балла за уроки. Luna прошла пять тем ровнее остальных. Разбираю ошибки моделей и отдельно проверяю Haiku, у которой рассуждения съели лимит ответа.
В сентябре я проверил модели на русских учебных текстах и симуляции продаж. Одни набирали больше баллов за уроки, другие — за разговоры; дешёвый быстрый ответ тоже мог придумать цифры. Показываю, что можно вынести из трёх волн и почему смена оценки между ними сама по себе не доказывает деградацию.
Собрал Model Compass, чтобы выбирать модель под конкретную работу. Показываю, как читать цену, качество и скорость, выбирать оркестратора и воркера и сравнивать две 3D-карты от Sol и Opus.
OpenAI выпустила GPT-6 Sol и Luna и пообещала вдвое меньше ошибок. Мы прогнали обе модели через свои задачи и повторили замер. Sol стала лучшей в генерации курсов. Luna 6 оказалась хуже предыдущей Luna 5.6 – и в текстах, и особенно в продажах.
DeepSeek выпустил новую сборку флагманской модели после четырёх месяцев превью. Мы перегнали старую версию на той же шкале и получили 83 против 82 – ничью. Единственное измеримое улучшение оказалось не в качестве. Разбираем и второй повод сменить модель, который тоже ничего не значит.
Прогнали восемь моделей через две реальные задачи на русском — генерацию обучающего контента и продающие диалоги. Самая дорогая модель когорты оказалась хуже самой дешёвой почти в пятьдесят раз по цене и на девять баллов по качеству. Разбираю, как выбирать модель под проект: почему у одной модели одиннадцать разных цен, что показывает разброс вместо среднего балла и почему англоязычный рейтинг ничего не говорит о работе на русском.
Alibaba выпустила Qwen 3.8 Max: 2,4 триллиона параметров, миллион контекста и первое место в медицинской категории Arena. Разбираю, что из этого проверяемо, сколько модель стоит на самом деле и почему клиент, требовавший самую дорогую модель на рынке, передумал за один разговор.
Я прогнал десять языковых моделей через живой B2B-диалог с жёстким клиентом. Одна выдумала клиентский кейс под торгом, другая восемь раз повторила свой ответ. Разбираю, что из этого следует заказчику ИИ-бота для продаж.
