← Все заметки

Заметка 05 · Процесс

Пилот рядом с процессом: как понять, что модель работает

Модель, которая отлично выглядит на демо, может провалиться на реальном потоке. Модель, которая выглядит скромно, может сэкономить отделу недели работы. Разницу показывает только правильно поставленный пилот.


Коротко

  • Качество проверяют на отложенной выборке из реальных данных, которую модель никогда не видела.
  • Пилот идёт параллельно с текущим процессом на части потока – так есть с чем сравнивать.
  • После запуска качество продолжают мерить постоянно: данные меняются, а модель – нет.

Почему демо ничего не доказывает

Для демо выбирают удачные примеры – часто неосознанно. Документы почище, вопросы попроще, кадры посветлее. Модель на них работает отлично, и у всех складывается ощущение, что задача решена.

Реальный поток устроен иначе: в нём есть редкие случаи, плохие исходные данные и ситуации, о которых никто не подумал. Поэтому между прототипом и продакшеном у нас стоят две проверки: отложенная выборка и пилот.

Шаг первый: отложенная выборка

Ещё до разработки мы откладываем часть реальных данных заказчика – документы, обращения, записи разговоров, кадры с камер – и размечаем их вручную. Эта выборка не участвует в настройке модели. На ней меряется качество прототипа, и только эта цифра считается честной.

Выборка должна быть похожа на поток: те же пропорции типов, те же плохие случаи, те же сезонные особенности. Если в жизни заметная доля документов – мятые сканы, они должны быть и в выборке.

Шаг второй: пилот рядом с процессом

Пилот у нас обычно идёт с шестой по двенадцатую неделю проекта. Главное правило: модель работает параллельно с текущим процессом, а не вместо него. На части потока результат модели и результат людей появляются одновременно, и их можно сравнить на одних и тех же случаях.

Это снимает два риска сразу. Бизнес не останавливается, если модель ошибается, а у команды появляются данные, которые не получить на тестовой выборке: как модель ведёт себя в реальном темпе, с реальными задержками и исключениями.

Сравнивать нужно метрики процесса, а не впечатления от модели.

Что меряем на пилоте

  • Качество на реальном потоке – по тем же метрикам, что и на отложенной выборке, чтобы увидеть разрыв.
  • Долю автоматической обработки: что модель уверенно сделала сама, а что передала человеку.
  • Время процесса целиком, а не только время работы модели.
  • Стоимость одной операции с учётом инфраструктуры и ручной проверки.
  • Ошибки, которые дошли бы до клиента, – отдельно, с разбором каждой.

В конце пилота эти цифры сравниваются со стоп-критериями, о которых договорились на этапе гипотезы, – подробнее о них в заметке об экономике ИИ-проекта. Решение «запускаем», «дорабатываем» или «останавливаем» принимается по ним.

После запуска: мониторинг качества

Продакшен – не финиш. Данные со временем меняются: появляются новые типы документов, обновляется ассортимент, клиенты начинают спрашивать о другом. Модель, которая отлично работала в день запуска, через полгода может тихо деградировать.

Поэтому модель уходит в продакшен вместе с мониторингом: регулярная проверка выборки результатов, оповещения при падении уверенности или росте доли ручной обработки, понятный регламент отката на предыдущую версию. И с передачей команде заказчика – чтобы система не зависела от одного подрядчика.

Когда мониторинг и есть продукт

Иногда мониторинг становится самим продуктом. В проекте Monitor компьютерное зрение следит за залом и кухней ресторана по обычным камерам, и нарушение попадает в ленту в ту же минуту, а не в отчёт за месяц. Принцип тот же, что и для контроля самих моделей: важно не раз в квартал узнать, что что-то пошло не так, а увидеть это, пока ещё можно исправить

Кейс · Контроль качества · CV

Monitor

Мониторинг процессов компьютерным зрением: отклонения видны в реальном времени

Ещё заметки

Контакты

Пилот прошёл, а запускать страшно?

Расскажите, на каком этапе проект и какие цифры уже есть. Поможем поставить проверку так, чтобы решение принималось по данным

Оставить заявку