Распознавание сорняков для точечного внесения гербицида
Модель компьютерного зрения, которая по видеопотоку выделяет растительность, отбирает среди неё участки под обработку и отдаёт их координаты системе внесения.
17 кадров/стемп обработки на стенде; допустимая скорость машины считается из него, ширины захвата и задержки форсунок
Контекст
Сплошное внесение гербицида расходует химикаты на всю площадь, включая участки без сорняков.
Главное ограничение здесь – задержка. Координаты нужны раньше, чем машина проедет участок, так что модель проектировалась под бюджет времени на кадр.
Задача делится надвое, и это разные по сложности половины: выделить растительность на фоне почвы и отделить сорняк от культуры. Первая решается уверенно, вторая упирается в то, насколько культура и сорняк различимы на конкретном поле и в конкретной фазе роста.
схема
Пайплайн обработки кадра
из проекта
Что видит модель
Что входило в задачи
- Съёмка в полесбор и подготовка видеоданных с камер на движущейся технике
- Сегментация растительностиотделение зелени от почвы на кадре
- Участки под обработкувыделение среди растительности того, что подлежит внесению
- Координаты центровмодель отдаёт список точек, к которым открываются форсунки
- Бюджет времени на кадркоординаты нужны раньше, чем машина проедет участок
- Передача в управлениеданные уходят в систему внесения с поправкой на скорость движения
Стек проекта
PythonPyTorchOpenCVONNXинференс на краю