In my Master’s Thesis titled “Monitoring Crop Health Using UAV Imagery,” I implemented four Deep Learning models. The third one, ACRNN-VSS (ACRNN stands for Attentive Convolutional Recurrent Neural Network), is a hybrid architecture designed to model the phenological trajectory of crops by combining spatial feature extraction with temporal sequence learning. Its primary objective is to differentiate seasonal growth patterns from the onset of physiological stress by explicitly learning the relationships between the three acquisition dates (May, June, July). Architectural Phases: 1. Phase 1 - Per-Date Feature Extraction: Uses a Visual State Space (VSS)-inspired backbone (implemented here as a depthwise-convolutional proxy) to independently extract spatial features from the 6-band data of each acquisition date. This block achieves linear computational complexity (O(N)), making it efficient for high-resolution images while capturing both localized details and global canopy patterns. 2. Phase 2 - Temporal Aggregation: The extracted spatial features from the three dates are stacked and fed into a Bidirectional Long Short-Term Memory (Bi-LSTM) network. This recurrent structure allows the model to learn the full “contextual history” of the growing season, recognizing critical transitions such as the rapid NDVI greening in May-June and the stress-onset signal (a thermal rise combined with an NDVI plateau) in June-July. 3. Phase 3 - Joint Multi-Task Output Heads: The temporal context from the Bi-LSTM is passed to two specialized heads: - Head A: Produces a 5-class semantic segmentation map for the July (reference) acquisition date. - Head B: Generates a 4-class Semantic Change Detection (SCD) map, classifying the temporal dynamics into categories like “Greening” or “Stress-Onset”.
В рамках моей магистерской диссертации на тему “Мониторинг состояния сельскохозяйственных культур с помощью изображений, полученных с БПЛА” я внедрил четыре модели глубокого обучения. Третья из них — ACRNN-VSS (ACRNN расшифровывается как Внимательная свёрточно-рекуррентная нейронная сеть) — представляет собой гибридную архитектуру, предназначенную для моделирования фенологической траектории развития культур путём объединения пространственного извлечения признаков с обучением на временных последовательностях. Её основная задача — отличать сезонные закономерности роста от возникновения физиологического стресса за счёт явного обучения взаимосвязям между тремя датами съёмки (май, июнь, июль). Этапы архитектуры: 1. Этап 1 — Извлечение признаков по датам: Используется бэкбон, вдохновлённый Visual State Space (VSS, визуальное пространство состояний) (в данной реализации — прокси на основе глубинно-разделимой свёртки), который независимо извлекает пространственные признаки из 6-канальных данных для каждой даты съёмки. Этот блок обеспечивает линейную вычислительную сложность (O(N)), что делает его эффективным для обработки изображений высокого разрешения, сохраняя при этом как локальные детали, так и глобальные паттерны полога. 2. Этап 2 — Временная агрегация: Извлечённые пространственные признаки с трёх дат объединяются и подаются в двунаправленную сеть долгой краткосрочной памяти (Bi-LSTM). Такая рекуррентная структура позволяет модели усваивать полный «контекстный фон» вегетационного сезона, распознавая критические переходы: например, быстрое «озеленение» по NDVI в мае–июне и сигнал начала стресса (рост температуры на фоне плато NDVI) в июне–июле. 3. Этап 3 — Совместные многозадачные выходные головы: Временной контекст, полученный от Bi-LSTM, передаётся в две специализированные головы: - Голова A: формирует карту семантической сегментации с 5 классами для съёмки в июле (опорная дата). - Голова B: генерирует карту семантического обнаружения изменений (SCD) с 4 классами, классифицируя временну́ю динамику по категориям, таким как “озеленение” или “возникновение стресса”. Мой канал в телеграмме: Modern Artificial Intelligence Мой LinkedIn #AI #ML #DL #CV #DataScience #MonitoringCrop
