Автоматизированная система для классификации снимков видеoпотоков

Цель исследования - разработка автоматизированной системы мониторинга пожарной обстановки на основе анализа информации полученных с RGB-камер, установленных на борту дронов, посредством автономных интеллектуальных агентов (АИА) и моделей машинного обучения.

Методы. Метод классификации аэроснимков видеоряда при мониторинге пожарной обстановки в автономной территориальной единице предполагает их сегментацию на одинаковые прямоугольные сегменты заданного размера и отнесение их к одному из трех классов: дым, пламя, индифферентный класс. Для классификации сегментов используются «сильные» и «слабые» классификаторы. Для формирования дескрипторов для «слабых» классификаторов использовалось преобразование Уолша-Адамара. Дескрипторы вычисляются для трех «слабых» классификаторов. Сначала вычисляется преобразование Уолша-Адамара для окна всего сегмента, его спектральные коэффициенты используются для первого «слабого» классификатора. Затем вычисляются дескрипторы по двум окнам, размеры которых в два и в четыре раза меньше размеров исходного окна.

Результаты. Своевременное обнаружение очага пожара в стадии его развития позволяет снизить как материальные, так и людские потери. Поэтому разработка моделей, методов и алгоритмов управления системой мониторинга пожарной и медико-экологической безопасности, обеспечивающих повышение его эффективности за счет анализа видеоданных с беспилотных летательных аппаратов, является актуальной задачей. Классификатор состоит из трех независимо обучаемых нейронных сетей - «слабых» классификаторов. Для объединения выходов нейронных сетей используется простой блок усреднения по ансамблю. Разработано программное обеспечение для классификации аэроснимков, позволяющее формировать базу данных сегментов классов «дым» и «пламя», определять двумерный спектр Уолша-Адамара сегментов аэроснимков, обучать полносвязные нейронные сети и проводить разведочный анализ по исследованию релевантности двумерных спектральных коэффициентов.

Вывод. Экспериментальные исследования по классификации видеоданных, содержащих пламя и дым, показали среднее значение точности обнаружения дыма 86 %, а пламени - 89,5 %. Ошибки второго рода при обнаружении дыма в среднем составили 13 %, а при обнаружении пламени - 4,5%. Для настройки и валидизации классификаторов использовались реальные данные с камер видеонаблюдения на открытых пространствах.

1. Anna V. Pyataeva and Oleg E. Bandeev. Video Based Flame and Smoke Detection // Journal of Siberian Federal University. Engineering & Technologies. 2019. Vol. 12(5). P. 542554.

2. Томакова Р. А., Емельянов С. Г., Филист С. А. Интеллектуальные технологии сегментации и классификации биомедицинских изображений: монография / Юго-Зап. гос. ун-т. Курск, 2012. 222 с.

3. Автоматические классификаторы сложно структурируемых изображений на основе мультиметодных технологий многокритериального выбора / М. В. Дюдин, И. В. Зуев, С. М. Чудинов [и др.] // Вопросы радиоэлектроники. Серия: Системы и средства отображения информации и управления спецтехникой (СОИУ). 2015. Вып. 1. С.130-141.

4. Автоматизированная система для классификации заболеваний молочной железы по рентгеновским маммографическим снимкам / А. Р. Дабагов, И. А. Малютина, Д. С. Кондрашов [и др.] // Прикаспийский журнал: управление и высокие технологии. 2019. № 4 (48). С. 10-24.

5. Филист С. А., Шаталова О. В., Ефремов М. А. Гибридная нейронная сеть с макрослоями для медицинских приложений // Нейрокомпьютеры. Разработка, применение. 2014. № 6. С. 35-39.

6. An Automated System for Classification of Radiographs of the Breast / A. R. Dabagov, V. A. Gorbunov, S. A. Filist, I. A. Malyutina, D. S. Kondrashov // Biomedical Engineering. 2020. Vol. 53, no. 6. P. 425-428. https://doi.org/10.1007%2Fs10527-020-09957-7.

7. Метод классификации сложноструктурируемых изображений на основе самоорганизующихся нейросетевых структур / О. В. Шаталова, А. А. Кузьмин, К. Д. А. Кассим [и др.] // Радиопромышленность. 2016. № 4. С. 57-65.

8. Hybrid Intelligent Models for Chest X-Ray Image Segmentation / S. A. Filist, R. A. Tomakova, S. V. Degtyarev, A. F. Rybochkin // Biomedical Engineering. 2018. Vol. 51, no. 5. P. 358-363. https://doi.org/article/10.1007/s10527-018-9748-5.

9. Многослойные морфологические операторы для сегментации сложноструктурируемых растровых полутоновых изображений / А. Р. Дабагов, И. А. Малютина, Д. С. Кондрашов [и др.] // Известия Юго-Западного государственного университета. Серия: Управление, вычислительная техника, информатика, медицинское приборостроение. 2019. Т. 9, № 3. С. 44-63.

10. Метод каскадной сегментации рентгенограмм молочной железы / С. А. Филист, А. Р. Дабагов, Р. А. Томакова, И. А. Малютина, Д. С. Кондрашов // Известия ЮгоЗападного государственного университета. Серия: Управление, вычислительная техника, информатика. Медицинское приборостроение. 2019. Т. 9, № 1 (30). С. 49-61.

11. Малютина И. А., Кузьмин А. А., Шаталова О. В. Методы и алгоритмы анализа рентгенограмм грудной клетки, использующие локальные окна в задачах обнаружения патологий // Прикаспийский журнал: управление и высокие технологии. 2017. № 3(39). С. 131-138.

12. Моделирование морфологических образований на рентгенограммах грудной клетки в интеллектуальных диагностических системах медицинского назначения / П. С. Кудрявцев, А. А. Кузьмин, Д. Ю. Савинов, С. А. Филист, О. В. Шаталова // Прикаспийский журнал: управление и высокие технологии. 2017. № 3 (39). С. 109-120.

13. Формирование признакового пространства для задач классификации сложноструктурируемых изображений на основе спектральных окон и нейросетевых структур / К. Д. А. Кассим, А. А. Кузьмин, О. В. Шаталова [и др.] // Известия Юго-Западного государственного университета. 2016. № 4(67). С. 56-68.

14. Томакова Р. А., Филист С. А., Дураков И. В. Программное обеспечение автоматической классификации рентгенограмм грудной клетки на основе гибридных классификаторов // Экология человека. 2018. № 6. С. 59-64.

15. Bilkent database // Bilkent SPG. URL: http://signal.ee.bilkent.edu.tr/Visi-Fire/Demo/FireClips/ (дата обращения: 10.09.2021).