Вы заказываете у подрядчика систему, которая по видео что-то считает на линии. Риск не в цене. Вам покажут демо на удачных кадрах, вы подпишете акт, а в цехе всё развалится. Я участвую в таких пилотах и расскажу на одном из них, что я бы теперь прописывал в приёмке заранее. Все цифры ниже из протоколов проверки на видео заказчика.

Линия упаковки. Коробки собирают вручную, в каждой должно лежать заданное число пачек. Недовложение уходит покупателю, лишняя пачка — прямой убыток, а выборочный пересчёт находит ошибку, когда партия уже уехала. Нужно было по видео с рабочего места определять про каждую коробку: норма, недостача или перебор.

Первый прогон: 0 из 26. Три ролика с линии заказчика, 26 коробок, ни одна не посчитана верно. Готовая модель училась на чужих фотографиях, а здесь пачки уложены иначе, чем на тех снимках. Если бы в договоре стояло «показать работу на тестовых изображениях», мы бы закрыли этап с блестящим результатом и узнали правду уже на линии. Отсюда первое требование: проверка идёт на записях вашей линии, а не на картинках подрядчика.

Подсчёт доработали под реальную укладку. Второй прогон дал 28 из 28, и вот тут я прошу читать внимательно. Каждый ролик считали модели, которые его раньше не видели, но правила подсчёта подбирались на этих же 28 коробках. Проверка выходит не независимой: она показывает, что на разобранных примерах доработка сработала. Это не то же самое, что работа на новых коробках. В нашем протоколе эта оговорка стоит прямо рядом с цифрой, и я бы требовал её от любого подрядчика.

Третий прогон — настоящий. 56 коробок, записи с линии, поданные как видеопотоки, то есть так, как система будет жить на камере. Верный итог по 52, две коробки посчитаны неверно, по двум сигнала не было. Это 92,9 процента, но на процент я смотрю в последнюю очередь. Мне важно, какие две коробки ушли в ошибку. Пропущенное недовложение и забракованная нормальная коробка стоят вам по-разному, а в протоколе, на который я опираюсь, такой разбивки нет. В вашем договоре она должна быть обязательной строкой. С отсутствием сигнала то же самое: сам по себе он коробку не остановит, кто-то должен пересчитать её руками. Это моё предложение для договора, а не процедура, которая уже работает на нашей линии.

Скорость ответа замерена по коробкам, по которым сигнал пришёл: медиана 2,0 с, максимум среди измеренных 3,1 с. Замер сделан не на оборудовании линии, там он ещё впереди. Заранее запишите, от какого события идёт отсчёт, от появления коробки или от конца укладки. Одна и та же цифра в этих двух вариантах означает разное.

Что я бы вписал в техзадание пилота.

Критерий приёмки — число коробок с верным итогом на записях заказчика, которые подрядчик при настройке не видел.

Порог. У нас 52 из 56 — результат проверки, а не заранее согласованная норма, выдавать его за норму я не буду. Порог разумно выбирать от допустимого числа пропусков и от цены ручного пересчёта на вашей линии.

Ошибки считаются раздельно: отсутствие сигнала отдельно, а внутри неверных итогов — пропущенное недовложение отдельно от ложной браковки. Общий процент все эти случаи смешивает.

Время ответа в секундах, медиана и максимум, с указанием места замера и события отсчёта.

Результат на данных, по которым подбирались правила, в приёмку не идёт. Подрядчику он нужен для работы, а подписывать акт по нему не стоит.

Пока это пилот, а не внедрение. Следующий шаг — замер на оборудовании линии и проверка на новых видео, и до него говорить, что система работает в цехе, рано.

Разбор пилота с таблицей по этапам на сайте Visor Group: https://visor-group.ru/cases/podschet-pachek-v-korobke/?utm_source=in-scale&utm_medium=article&utm_campaign=goal5000_inscale

Антон Савельев, ведущий специалист по компьютерному зрению, Visor Group.