Обнаружение фруктов в сельском хозяйстве. Аннотирование ограничивающих рамок.
Как компания Shaip разработала точную аннотацию ограничивающих рамок для каждого видимого яблока на изображениях сада — охватывающую полный цикл роста, многоракурсную съемку и атрибуты состояния в 3 слоях — и создала набор данных производственного уровня для оценки урожайности, роботизированной уборки урожая и искусственного интеллекта для оценки состояния сельскохозяйственных культур.
Обзор проекта
Поскольку точное земледелие все больше переходит к сбору урожая и прогнозированию урожайности с помощью ИИ, клиенту потребовался конвейер аннотирования, способный обнаруживать отдельные плоды в больших масштабах на плотных, естественно загроможденных изображениях садов, охватывающих все стадии роста от цветения до сбора урожая.
Компания Shaip разработала комплексный конвейер аннотирования, охватывающий точное размещение ограничивающих рамок для каждого плода, многоатрибутную маркировку условий, обработку изображений с разных ракурсов и двухуровневый контроль качества, что позволило создать готовые к использованию наборы данных для точного земледелия с применением ИИ в масштабах предприятия.
Основная статистика
Порог точности
99%
Стадии роста
Полный цикл
Слои атрибутов
3
Perspectives
Земля + дрон
Задачи
- Аннотирование каждое видимое яблоко в изображениях густых садов — сотни кадров в кадре.
- Покрытие полный цикл роста — цветение, мелкие зеленые плоды, полностью созревшие яблоки
- Управляемость многоракурсные изображения — вид с земли, с дрона сверху, крупный план ветки
- отличительный плоды из листвы когда цвета смешиваются на ранних стадиях роста
- Управление окклюдированный, частичный и подверженный бликам фрукты без ущерба для точности
Решение
Размещение ограничивающей рамки для каждого фрукта
Аннотаторы обводили узкими рамками каждое видимое яблоко на каждом изображении, независимо от размера, стадии цветения или положения в кадре. Даже в плотных скоплениях, где десятки плодов перекрывали друг друга, каждый из них был индивидуально помечен для поддержки последующего подсчета плодов и моделей оценки урожайности.
Полное покрытие цикла роста
Аннотирование охватывало яблоки на всех стадиях роста — от раннего цветения и мелких зеленых плодов до полностью созревших красных и желтых яблок. Такое полное покрытие цикла гарантирует, что обученная модель сможет обнаруживать плоды на любом этапе сельскохозяйственного цикла, а не только во время сбора урожая.
Многоракурсные изображения
В набор данных вошли изображения, полученные с уровня земли в рядах фруктовых садов, аэрофотоснимки, сделанные с помощью дронов, и фотографии ветвей крупным планом, что сделало набор данных очень разнообразным и репрезентативным для реальных условий эксплуатации. Для каждого ракурса были разработаны специальные рекомендации по аннотированию.
Трехуровневая классификация атрибутов
Каждое аннотированное яблоко дополнительно классифицировалось по признакам, охватывающим стадию зрелости (незрелое, полузрелое, полностью зрелое), состояние видимости (полностью видимое, частично скрытое, сильно скрытое) и состояние плода (здоровый, поврежденный, больной). Такой многоатрибутный подход позволяет обученной модели оценивать готовность к сбору урожая и состояние здоровья растений наряду с обнаружением плодов.
Обработка крайних случаев
Аннотаторы строго следовали указаниям относительно яблок, частично выходящих за пределы кадра, яблок на земле, отражающих или глянцевых поверхностей фруктов, вызывающих блики, и мелких фруктов на расстоянии, требующих идентификации на уровне увеличения. Изменчивость освещения — особенно тени от кроны деревьев — обрабатывалась с помощью правил аннотирования, учитывающих перспективу.
Объем проекта
| Тип набора данных | цель | Стадии роста | Perspectives | Атрибуты | Точность подачи |
|---|---|---|---|---|---|
| Обнаружение сельскохозяйственных фруктов | Яблоки | Полный цикл (цветение → созревание) | Земля + дрон + крупный план | Степень зрелости, видимость, состояние | 99% |
Результаты
- Создал конвейер ограничивающей рамки густого фруктового сада способный обнаружить каждый видимый фрукт
- Стандартизированный полное покрытие аннотаций цикла роста от цветения до сбора урожая
- Сдан 3-уровневая классификация атрибутов по степени зрелости, видимости и состоянию
- Поддерживается 99% точность ворот посредством двухуровневого контроля качества на основе изображений с разных ракурсов.
- Включено для клиента Оценка урожайности, роботизированная уборка урожая, состояние сельскохозяйственных культур и наблюдение с помощью дронов. AI
В целом, компания Shaip помогла преобразовать задачу обнаружения плодов в масштабах целого сада в структурированный, готовый к внедрению конвейер аннотирования, способный поддерживать точное земледелие, роботизированную уборку урожая, прогнозирование урожайности и мониторинг состояния растений с помощью ИИ в различных условиях садов и циклах роста.
Шаип снабдил яблоки аннотациями, которые на некоторых снимках мы даже не могли отличить от листьев. Информация об их стадии роста и состоянии напрямую использовалась в наших моделях оценки урожайности и планирования сбора урожая.
