CLASS ONTOLOGY OF COLOURED IMAGES OF GRAIN CROPS DURING VEGETATION FOR TRAINING AND TESTING NEURAL NETWORK MODELS
CLASS ONTOLOGY OF COLOURED IMAGES OF GRAIN CROPS DURING VEGETATION FOR TRAINING AND TESTING NEURAL NETWORK MODELS
Abstract
Research relevance. The development of digital information technologies, artificial intelligence methods, and artificial neural networks has led to their practical application in various sectors of the economy, including agriculture.
Research object. The object of the study is colour images of winter grain crops during vegetation (tillering phase) and expert analytical analysis of infographic signs of deviations and defects in their development.
Materials and methods. High-resolution colour images obtained using 4K cameras were used to generate training, test and verification samples. The description of the classes is based on typical signs of growth and development of winter wheat in one of the critical growth phases (tillering), as well as colour characteristics identified during expert analysis of the available set of images.
Results and conclusions. During the study, an ontology of RGB image classes of winter wheat crops was formed for training AI models (taking into account signs of developmental defects), including the following classes: optimal development (‘optimal plants’), local compensatory development (‘local compensatory development’), weakened, oppressed plants and/or their partial absence (‘oppressed plants’).
1. Введение
Развитие цифровых информационных технологий, методов искусственного интеллекта (ИИ) и искусственных нейронных сетей (ИНС) обуславливает возможность их прикладного применения в различных отраслях народного хозяйства, в том числе сельском. В Российской Федерации реализуется целый ряд государственных программ для развития современного высокоэффективного сельского хозяйства, в частности, ключевой задачей является переход к цифровому сельскому хозяйству, точному земледелию, активному использованию интеллектуальных технологий в АПК. Согласно посланию Президента Российской Федерации Федеральному Собранию от 29.02.2024 «В современных условиях повышение эффективности всех сфер производительности труда неразрывно связано с цифровизацией, с использованием технологий искусственного интеллекта» и национального проекта «Экономика данных» важнейшим вектором развития и интенсификации сельскохозяйственного производства является разработка и внедрение систем искусственного интеллекта все отрасли народного хозяйства, в том числе сельского , , .
Проблемы повышения продуктивности агрофитоценозов с использованием методов ИИ и цифровых технологий рассмотрены в работах ведущих исследователей, в том числе академиков и член-корреспондентов РАН А.И. Иванова , , В.В. Бородычева , , Д.А. Иванова , , В.В. Якушева , , В.Е. Щедрина проф. И.М. Михайленко , В.И. Трухачева , а также других отечественных и зарубежных ученых. Несмотря на широкое освещение рассматриваемой проблемы, дополнительного обоснования требует практическая реализация интеллектуальных технологий оперативного мониторинга роста и развития агрофитоценозов с применением БПЛА в условиях рискованного земледелия с применением ИНС.
В отечественном растениеводстве задачи дистанционного мониторинга состояния посевов полевых культур с применением БПЛА различного типа приобретают все большее значение для оперативного выявления проблемных (имеющих отклонения развития) участков различного происхождения и принятия своевременных управленческих решений по организации агротехнологических мероприятий. Использование моделей ИИ, в том числе нейронных сетей, для анализа данных дистанционного мониторинга по цветным или мультиспектральным изображениям посевов является весьма эффективным методом оперативного контроля роста и развития агрокультур, особенно в критические фазы развития, однако требует формирования качественных и структурированных наборов данных (обучающих и валидационных выборок).
В работах , представлено обоснование эффективности применения онтологического подхода в некоторых предметных областях. В то же время, вопросы применение онтологического подхода для решения задач оптимизации различных систем, требуют дальнейшего решения.
Качество и разнообразие обучающих данных напрямую влияют на эффективность обучения моделей ИИ, в том числе нейронных сетей. Для успешного обучения моделей искусственных нейронных сетей, способных решать задачи классификации, обнаружения и сегментации объектов на изображениях посевов полевых однолетних культур, получаемых с БПЛА, необходимо сформировать определенные классы, отражающие различные состояния растений, а также понимать их иерархию и взаимосвязи.
2. Материалы и методы
Для формирования обучающей, тестовой и проверочной выборок использовались цветные изображения высокого разрешения, полученные с использованием камер 4К. Типовые изображения посевов озимой пшеницы (фаза кущение), формируемого набора данных представлены на рисунке 1.
Рисунок 1 - Типовые изображения посевов озимой пшеницы на опытных участках УНПЦ «Горная поляна»
Рисунок 2 - Алгоритм формирования набора данных для обучения моделей ИИ, применяемых в растениеводстве
В таблице 1 представлены выделенные классы RGB-изображений посевов озимой пшеницы, предназначенные для формирования обучающей и валидационной выборок. Описание классов базируется на типовых признаках роста и развития озимой пшеницы в одну из критических фаз роста (кущение), а также цветоколористических признаках, идентифицированных в ходе экспертно-аналитического анализа имеющегося набора изображений.
Таблица 1 - Формируемые классы RGB-изображений посевов озимой пшеницы для обучения моделей ИИ (на основе признаков роста и развития)
Формируемый класс | Типовые признаки роста и развития | Атрибут | Цветоколористические признаки |
Оптимальное развитие («optimal plants») | Здоровое развитие растения в критическое фазе роста (кущение, выход в трубку) | Цвет листьев: зеленый (оттенки); Текстура листьев: гладкая Форма растения: характерная для фазы кущения; Наличие признаков заболеваний: отсутствуют; Наличие вредителей: отсутствуют; Наличие признаков угнетения: отсутствуют; Наличие признаков угнетения: отсутствуют. | Равномерные, густые всходы, хорошо выраженное кущение, однородный зелёный цвет. |
Локальное компенсаторное развитие («local compensatory development») | Участки, демонстрирующие более активное развитие (увеличенное число побегов или плотность стеблей) за счёт меньшей конкуренции — компенсация прорех или разреженных участков. | Цвет листьев: зеленый (оттенки); Текстура листьев: гладкая; Форма растения: характерная для фазы кущения, неравномерного кущения; Наличие признаков дефицита питания: отсутствуют; Наличие признаков угнетения: присутствуют. | Сгущение побегов на небольших участках (1–3 м²), чаще на границах между хорошо развитыми и разреженными зонами, местами осветлённая окраска листьев, локально равномерный зеленый цвет |
Ослабленные, угнетенные растения и/или их частичное отсутствие («Oppressed plants») | Ослабленные, редкие всходы, местами прорехи, разная степень развития кущений, или его отсутствие, варьирующаяся плотность
| Цвет листьев: зеленый (оттенки); Текстура листьев: гладкая; Форма растения: характерная для фазы кущения, неравномерного кущения; Наличие признаков дефицита питания: отсутствуют; Наличие признаков стресса/угнетения: присутствуют. | Редкие всходы, осветлённая окраска листьев, слабое кущение или его отсутствие, полностью оголённые участки между рядами или в рядах. |
В наиболее общем виде, онтологию можно записать в виде , :
O = <К, R, Ф>
где:
К — множество концептов предметной области;
R — множество отношений между концептами;
Ф — множество интерпретирующих функций.
Ограничениями на компоненты онтологии являются – конечность и не пустота множества К, при этом множества R и Ф в частных случаях могут быть и пустыми.
Таблица 2 - Типовые аннотированные изображения посевов озимой пшеницы (стадия кущение) формируемого набора данных
Рисунок 3 - Концептуальная модель базы данных хранения исходных и аннотированных изображений
1. Таблица «Группы зерновых культур» (яровая, озимая пшеница, ячмень и др.) хранит информацию о группах культур, включая - «id» — уникальный идентификатор вида культуры; - «culture_name» — название зерновой культуры.
2. Таблица «Фазы вегетации» определяет периоды вегетации и фазы роста культуры, включая: «id» — уникальный идентификатор фазы вегетации; «vegetation period» — фазы вегетации.
3. Таблица «Сезон (период съемки)» — хранит информацию о сезонах и периодах аэрофотосъемки, включая: «id» — идентификатор уникальный идентификатор»; - «season_name» — название сезона; «period_name» — название периода.
4. Таблица «Изображения посевов» — хранит информацию об изображениях посевов однолетних полевых культур, включая: «id» — уникальный идентификатор изображения; «directory» — путь к изображению, а также внешние ключи на все остальные таблицы.
5. Таблица размеченных (аннотированных) изображений — хранит детальную информацию о частях изображений, включая специализированные поля (выделенные классы): «optimal plants» — оптимальные растения, «oppressed plants» — угнетенные растения, «local compensatory development» — местное компенсаторное развитие, «other object» — другие объекты и др.
Таким образом, сформирована онтология классов RGB-изображений посевов зерновых культур в критические фазы роста, которую можно использовать для обучения и тестирования нейросетевых моделей, ориентированных на распознавание состояния всходов растение озимых культур после перезимовки.
3. Заключение
Проведенные исследования позволили сделать следующие результаты:
1. На основе применения системного подхода выявлены основные классы, характеризующие состояние озимых зерновых культур, которые необходимо учитывать при построении и оптимизации интеллектуальной системы.
2. Сформирована системная онтология классов RGB-изображений посевов озимых зерновых культур в процессе вегетации (включающая критические фазы роста), которую можно использовать для обучения и тестирования нейросетевых моделей, ориентированных на распознавание состояния всходов растение озимых культур после перезимовки.
3. Сформированная системная онтология классов цветных изображений посевов озимой пшеницы, позволяет реализовать интеллектуальную систему мультиклассового распознавания агромелиоративного состояния посевов по изображениям, получаемым с БПЛА.