4 материала по теме
Посмотрел большое интервью главы Vercel Гильермо Рауха про работу с кодовыми агентами, кайфанул и собрал семь его советов с простыми примерами. Зачем проверять модели в пустой папке, почему агент вместо домика строит дворец и на каком сканере уходят тысячи долларов.
Наш продающий ассистент приписал креслу сетчатую спинку, которой нет в каталоге. Пошли чинить – и нашли часть галлюцинации в собственном коде. Разбираю на замере четырёх моделей, что проверять кодом, что мерить и что записать в ТЗ подрядчику.
Проверять работу ИИ второй моделью можно, и это дешевле любой ручной выборки. Ломается такой контроль не там, где боятся: не от глупости модели, а от того, что проверяющему можно подсказать, что проверяющих становится много и что проверку строят под слабость конкретной версии.
Пилот почти всегда получается: бот отвечает, отчёт собирается, демо проходит. А через квартал показатели стоят на месте. Разбираю, почему так выходит, где именно теряется ответственность за результат и что зафиксировать до старта, чтобы эффект было с чем сравнивать.
