Методы и алгоритмы идентификации особых точек на снимках, полученных с бортового фотовидеорегистратора беспилотного летательного аппарата

Цель исследования ‒ развитие методов управления беспилотными летательными аппаратами на основе анализа данных, поступающих из видеопотока.
Методы. Беспилотный летательный аппарат может потерять связь со спутниковой системой навигации, поэтому актуальной становится задача обеспечения его ориентирования с помощью бортового фотовидеорегистратора с обработкой данных на борту. Для этого используют особые точки на местности, при идентификации которых на снимке можно восстановить ориентирование летательного аппарата. Для поиска особых точек типа блоб на снимке предложен метод трансформации исходного изображения в изображение критериев, после пороговой обработки которого получают координаты блобов. Разработан метод трансформации исходного изображения в изображение критериев, заключающийся в определении корреляционных изображений. Для каждого корреляционного изображения определяется скалярный критерий идентификации блоба, позволяющий определять координаты особой точки на снимках, полученных с бортового фотовидеорегистратора.
Результаты. Для повышения точности определения координат блобов на снимках использовался агрегированный блоб из трех особых точек. Исследован алгоритм двухступенчатой идентификации координат агрегированного блоба, на первой ступени которого определяются координаты особых точек, наиболее близкие координатам вершин агрегированного блоба, а на второй ступени определяются координаты вершин треугольника, центр тяжести которого наиболее близок к центру тяжести агрегированного блоба. Алгоритмы поиска особых точек показали свою работоспособность при высоком уровне помех, моделируемых на изображении посредством гауссова шума и помех, связанных с отклонением летательного аппарата от заданного курса.
Заключение. Формирование агрегированного блоба с последующей многоступенчатой идентификацией позволяет повысить точность определения его координат, а также дает возможность фиксировать отклонение от курса летательного аппарата на участке двух смежных снимков и вводить соответствующие поправки в систему навигации.

1. Лунев Е. М. Исследование сходимости нового алгоритма определения навигационных параметров беспилотного летательного аппарата на базе фотоизображения // Труды МАИ. 2011. № 45. С. 46.

2. Автоматические классификаторы сложно структурируемых изображений на основе мультиметодных технологий многокритериального выбора / М. В. Дюдин, И. В. Зуев, С. А. Филист, С. М. Чудинов // Вопросы радиоэлектроники. 2015. № 1. С. 130‒140.

3. Automated system for classifying images of video streams for timely detection of fires / S. М. Filist, Riad Taha Al-Kasasbeh, R. A. Tomakova, Osama M. Al-Habahbeh, A’kif Al-Fugara, O. Shatalova, N. A. Korenevskiy, I. N. Gorbachev, A. Shaqadan, M. Ilyash // International Journal of Remote Sensing. 2024. Vol. 45, P. 8157‒8180. https://doi.org/10.1080/01431161.2024.2398818

4. Khan A., Gupta S., Gupta S. K. Multi-hazard disaster studies: Monitoring, detection, recovery, and management, based on emerging technologies and optimal techniques // International Journal of Disaster Risk Reduction. 2020. N 47(4). P.101642.

5. Клеточные процессоры в классификаторах многоканальных изображений / С. А. Филист, Р. А. Томакова, А. Н. Брежнева, И. А. Малютина, В. А. Алексеев // Радиопромышленность. 2019. Т. 29, № 1. С. 45‒52.

6. Горитов А. Н., Бодрухин А. А. Сравнение методов выделения особых точек объектов на изображениях рабочей сцены робота-манипулятора // Доклады ТУСУР. 2019. Т. 22, № 3. С. 61‒66.

7. Андриянов Н. А., Дементьев В. Е., Ташлинский А. Г. Обнаружение объектов на изображении: от критериев Байеса и Неймана – Пирсона к детекторам на базе нейронных сетей EfficientDet // Компьютерная оптика. 2022. Т. 46, № 1. С. 139‒159. https://doi.org/10.18287/2412-6179-CO-922

8. Метод каскадной сегментации рентгенограмм молочной железы / С. А. Филист, А. Р. Дабагов, Р. А. Томакова, И. А. Малютина, Д. С. Кондрашов // Известия Юго-Западного государственного университета. Серия: Управление, вычислительная техника, информатика. Медицинское приборостроение. 2019. Т. 9, № 1. С. 49‒61.

9. Зубов И. Г. Метод автоматического определения ключевых точек объекта на изображении // Известия вузов России. Радиоэлектроника. 2020. Т. 23, № 6. С. 6−16. https://doi.org/10.32603/1993-8985-2020-23-6-6-16

10. Kumar A. SURF feature descriptor for image analysis // Imaging and Radiation Research. 2023. Vol. 6, is. 1. P. 5643. https://doi.org/10.24294/irr.v6i1.5643

11. David G. Lowe. Distinctive image features from scale-invariant keypoints // International Journal of Computer Vision. 2004. N 60 (2). P. 91‒110.

12. Метод классификации сложноструктурируемых изображений на основе самоорганизующихся нейросетевых структур / С. А. Филист, Р. А. Томакова, О. В. Шаталова, А. А. Кузьмин, К. Д. А. Кассим // Радиопромышленность. 2016. № 4. С. 57‒65.

13. Hui Kong, Hatice Cinar Akakin, Sanjay E. Sarma. A Generalized Laplacian of Gaussian Filter for Blob Detection and Its Applications // IEEE Transactions on Cybernetics. 2013. Vol. 43 (6). P. 1719‒1733.

14. Многослойные морфологические операторы для сегментации сложноструктурируемых растровых полутоновых изображений / С. А. Филист, А. Р. Дабагов, Р. А. Томакова, И. А. Малютина, Д. С. Кондрашов // Известия Юго-Западного государственного университета. Серия: Управление, вычислительная техника, информатика. Медицинское приборостроение. 2019. Т. 9, № 3. С. 44‒63.

15. Lindeberg T., Garding J. Shape-adapted smoothing in estimation of 3-D shape cues from affine deformations of local 2-D brightness structure // Image Vis. Comput. 1997. Vol. 15, N 6. P. 415–434.

16. Денисов А. А., Новиков А. И. Анализ методов детектирования, описания и сопоставления ключевых точек изображений // Вестник РГРТУ. 2024. № 89. C. 104‒116. https://doi.org/10.21667/1995-4565-2024-89-104-116

17. D2-Net: A Trainable CNN for Joint Description and Detection of Local Features / M. Dusmanu, I. Rocco, T. Pajdla, M. Pollefeys, J. Sivic, A. Torii, T. Sattler. URL: https://arXiv:1905.03561v1 (дата обращения: 17.12.2024).

18. An unmanned aerial vehicle autonomous flight trajectory planning method and algorithm for the early detection of the ignition source during fire monitoring, International / S. Filist, R. T. Al-Kasasbeh, R. A. Tomakova, A’kif Al-Fugara, O. M. Al-Habahbeh, O. Shatalova, N. A. Korenevskiy, I. N. Gorbachev, A. Shaqadan, M. Ilyash // Journal of Remote Sensing. 2024. N 45(12). Р. 4178‒4197. https://doi.org/10.1080/01431161.2024.2358451

19. Краснобаев Е. А., Чистобаев Д. В., Малышев А. Л. Сравнение бинарных дескрипторов особых точек изображений в условиях искажений // Компьютерная оптика. 2019. Т. 43, № 3. С. 434‒445. https://doi.org/10.18287/2412-6179-2019-43-3-434-445

20. Михайлов А. П., Чибуничев А. Г. Фотограмметрия / под общей редакцией А. Г. Чибуничева. М.: Издательство МИИГаик, 2016. 294 с.

21. Автоматизированная система для классификации снимков видеoпотоков / С. А. Филист, М. В. Шевцов, В. А. Белозеров, Д. С. Кондрашов, И. Н. Горбачев, Н. А. Корсунский // Известия Юго-Западного государственного университета. Серия: Управление, вычислительная техника, информатика. Медицинское приборостроение. 2021. Т. 11, № 4. С. 85‒105.