4 материала по теме
Голосовые сообщения бот расшифровывает меньше чем за два цента в минуту и делает это сегодня. А живой разговор упирается в задержку, и в нашем продовом замере 82% её создаёт не наш код.
Счёт за нейросеть можно уменьшить в разы, не меняя модель. Мы прогнали 400 запросов и посчитали, сколько стоит каждая настройка: провайдер, класс обслуживания, кэш, длина контекста. На боте с двумя сотнями обращений в день разница вышла в 439 раз.
Проверять работу ИИ второй моделью можно, и это дешевле любой ручной выборки. Ломается такой контроль не там, где боятся: не от глупости модели, а от того, что проверяющему можно подсказать, что проверяющих становится много и что проверку строят под слабость конкретной версии.
Пилот почти всегда получается: бот отвечает, отчёт собирается, демо проходит. А через квартал показатели стоят на месте. Разбираю, почему так выходит, где именно теряется ответственность за результат и что зафиксировать до старта, чтобы эффект было с чем сравнивать.