Необходимо реализовать пилотную версию системы с CV (детекция + сегментация) для обнаружения нарушений на изображениях из кафе и ресторанов.
Цель системы:
Для существующего бизнеса необходима система с CV для автоматизации ручного труда.
В данный момент есть чек-лист с нарушениями, по которому менеджеры выявляют нарушения на поступающих изображениях с камер и фиксируют их сами.
Краткое описание предстоящей задачи:
В пилотной версии необходимо будет сделать ручную загрузку изображения с последующим его анализом на предмет нарушений.
Определяем около 10 нарушений.
Собираем по нарушениям датасет и делаем разметку (обучающую и проверочную выборки).
Обучаем модельки в Google.collab.
Экспериментируем с настройками для достижения 60-70% успешных определений нарушений.
Делаем бота для ТГ через который будем взаимодействовать с системой.
Разворачиваем все на сервере.
Пример нарушения во вложении задачи.
Касательно данных для формирования датасета:Данные есть, но они не структурированы, просто изображение с описанием нарушения на нем. Кол-во имеющихся изображений достаточно много.
Предполагаемый стек:
CV на Ultralytics с YOLOv8
Разметку на SAM
Бэк на Python, Django или FastAPI, FAISS
Фронт в виде бота в Telegram
Будущее планы:
Улучшаем % успешных определений нарушений + добавляем новые (чек-лист достаточно большой). Далее, интегрируемся с существующей ИТ-инфраструктурой чтобы получать на автомате изображения с камер, обрабатывать входящие видео (делить их на кадры), выгружать полученный результат в CRM и т.д.
