Сегментация самосвалов и оценка объёма руды

Пайплайн компьютерного зрения, который по видеоданным определяет самосвал и оценивает объём руды в кузове. Решение строилось на ограниченном количестве размеченных данных и дополнялось автоматической разметкой.

Контекст

Размеченных кадров было мало, а разметка вручную под такую задачу дорога: нужно аккуратно выделять и кузов, и его содержимое.

Часть обучающей выборки поэтому размечалась автоматически готовыми моделями, а человек проверял её выборочно.

схема

От кадра к объёму

Камера стоит над трассой, поэтому видна площадь груза, а не высота навала: объём получается из доли заполнения и известной геометрии кузова. На другую модель самосвала оценка переносится пересчётом параметров – переобучать с нуля не нужно.

из проекта

Что видит модель

Кадр с реального объекта: модель нашла самосвал и выделила содержимое кузова. Камера смотрит сверху, поэтому измеряется доля площади кузова, занятая грузом, а объём считается уже по его известной геометрии.

Что входило в задачи

Обучающую выборку размечали моделиразмеченных кадров было мало, а вручную выделять и кузов, и содержимое дорого – человек проверял результат выборочно

Кадры для обученияподготовка видеоданных с реального объекта
Детекция самосваламодель находит машину в кадре на ходу
Кузов и грузсегментируются отдельно: камера смотрит сверху, поэтому наблюдается площадь
Оценка объёмадоля заполнения плюс известная геометрия кузова
Отчётностьагрегированная статистика по загрузке за период

Стек проекта

PythonPyTorchOpenCVсегментационные моделиPostgreSQL

дальше

Смежные кейсы

Данные, ML и компьютерное зрение · сегментация в потокеДетекция угольной фракции на конвейереДанные, ML и компьютерное зрение · измерение по видеоОпределение расхода электрода по видеоданным

← Ко всем компетенциям и кейсам