Интеллектуальная система обработки изображений, получаемых с беспилотных летательных аппаратов

Цель исследований. Своевременное обнаружение очага пожара на стадии его развития позволяет снизить как материальные, так и человеческие потери. Поэтому целью исследований явилась разработка моделей, методов и алгоритмов управления системой мониторинга пожарной и медико-экологической безопасности, обеспечивающих повышение ее эффективности за счет анализа видеоданных с беспилотных летательных аппаратов.

Методы. Способ классификации аэрофотоснимков видеоряда при мониторинге пожарной обстановки предполагает их декомпозицию на прямоугольные сегменты заданного размера и отнесение их к одному из трех классов: дым, пламя, индифферентный класс. Для классификации сегментов используются «сильные» и «слабые» классификаторы. Преобразование Уолша-Адамара использовалось для формирования дескрипторов для «слабых» классификаторов. Дескрипторы рассчитываются для трех «слабых» классификаторов. Сначала вычисляется преобразование Уолша-Адамара для окна всего сегмента, и его спектральные коэффициенты используются для первого «слабого» классификатора. Затем вычисляются дескрипторы для двух окон, размеры которых в два и четыре раза меньше размеров исходного окна.

Результаты. Классификатор состоит из трех независимо обученных нейронных сетей - «слабых» классификаторов. Простой блок усреднения по ансамблю используется для объединения выходных данных нейронных сетей. Разработано программное обеспечение для классификации аэрофотоснимков, которое позволяет формировать базу данных сегментов классов «дым» и «пламя», определять двумерный спектр Уолша-Адамара сегментов аэрофотоснимков, обучать полностью подключенные нейронные сети и проводить исследовательский анализ для изучения релевантности двумерные спектральные коэффициенты.

Заключение. Экспериментальные исследования по классификации видеоданных, содержащих пламя и дым, показали среднее значение точности обнаружения дыма в 86%, а пламени - 89,5%. Ошибки типа II составляли в среднем 13% при обнаружении дыма и 4,5% при обнаружении пламени. Для настройки и проверки классификаторов мы использовали реальные данные с камер видеонаблюдения на открытых пространствах.

1. Chunyu Yu, Zhibin Mei, Xi Zhang. A Real-time Video Fire Flame and Smoke Detection Algorithm // Procedia Engineering. 2013. Vol. 62. P. 891-898.

2. Gubbi J., Marusic S., Palaniswami M. Smoke detection in video using wavelets and support vector machines // Fire Safety Journal. 2009. Vol. 44. P. 1-6.

3. Rakkammal S., Surendar R. Forest Fire Detection and Protection Based on Convolutional Neural Network Using Deep learning Models. URL: https://ijcrt.org/papers/IJCRT_195726.pdf (дата обращения: 02.08.2022).

4. Zhang Li, DiDi Wu. Forest fire recognition based on dynamic feature similarity of multi-view images. URL: https://www.preprints.org/manuscript/202104.0736/v2/download (дата обращения: 11.08.2022).

5. Pu Li, Wangda Zhao. Image fire detection algorithms based on convolutional neural networks // Case Studies in Thermal Engineering. 2020. N 19. P. 1-11.

6. Khan Muhammad, Jamil Ahmad, Irfan Mehmood, Seungmin Rho, Sung Wook Baik. Convolutional Neural Networks based Fire Detection in Surveillance Videos // IEEE Access. 2018. Vol. 6. P. 18174-18183.

7. Chongyuan Tao, Jian Zhang, Pan Wang. Smoke Detection Based on Deep Convolutional Neural Networks // International Conference on Industrial Informatics - Computing Technology, Intelligent Technology, Industrial Information Integration. China, 2016.

8. Çeşmeci D., Gullu M. K. Phase-correlation-based hyperspectral image classification using multiple class representatives obtained with k-means clustering // International Journal of Remote Sensing. 2009. N 30 (14). P. 3827-3834.

9. Borges J. S., Bioucas-Dias J. M., Marcal A. R. S. Bayesian Hyperspectral Image Segmentation With Discriminative Class Learning // IEEE Transactions on Geoscience and Remote Sensing. 2011. Vol. 49, N 6. P. 2151-2164. https://doi.org/10.1109/TGRS.2010.2097268.

10. Prabhpreet Kaur, Gurvinder Singh, Parminder Kaur. Intellectual detection and validation of automated mammogram breast cancer images by multi-class SVM using deep learning classification // Informatics in Medicine Unlocked. 2019. Vol. 16. P. 100151.

11. Разработка нейросетевой модели для прогнозирования состояния сердца и сердечно-сосудистой системы с использованием биоэлектрической обработки сигналов / С. Филист, Р. Т. Алкасасбе, О. Шаталова, А. Айкеева, Н. Кореневский, А. Шакадан [и др.] // Вычислительные методы Biomech Biomed Engin. 2021. P. 1-14.

12. Применение нечеткой нейросетевой модели и анализа тока-напряжения биологически активных точек для прогнозирования послеоперационных рисков / О. Шаталова, С. Филист, Н. Кореневская, Р. Т. Аль-касасбех, А. Шакадан, З. Протасова [и др.] // Вычислительные методы Biomech Biomed Engin. 2021. № 24 (13). P. 1504-1516.

13. Автоматизированная система классификации рентгенограмм молочной железы / А. Р. Дабагов, В. А. Горбунов, С. А. Филист, И. А. Малютина, Д. С. Кондрашов // Биомедицинская инженерия. 2020. Т. 53, № 6. С. 425-428. https://doi.org/10.1007%2Fs10527-020-09957-7.

14. Bilkent database. URL: http://signal.ee.bilkent.edu.tr/VisiFire/Demo/FireClips/ (дата обращения: 10.08.2022).

15. Bakhshiev A. V., Gundelakh F. V. Application the Spiking Neuron Model with Structural Adaptation to Describe Neuromorphic Systems // Procedia Computer Science. 2017. Vol. 103. P. 190-197.

16. Томакова Р. А., Филист С. А., Дураков И. В. Программное обеспечение для автоматической классификации рентгенограмм грудной клетки на основе гибридных классификаторов // Экология человека. 2018. № 6. С. 59-64.

17. Mici L., Parisi G. I., Wermter S. A self-organizing neural network architecture for learning human-object interactions // Neurocomputing. 2018. Vol. 307. P. 14-24.

18. Гибридные интеллектуальные модели для сегментации рентгеновских изображений грудной клетки / С. А. Филист, Р. А. Томакова, С. В. Дегтярев, А. Ф. Рыбочкин // Биомедицинская инженерия. 2018. Т. 51, № 5. С. 358-363. https://doi.org/article/10.1007/s10527-018-9748-5.

19. Graphics Recognition Techniques Handbook of Document Image Processing and Recognition, 2014, Josep Llados, Marçal Rusinol.

20. Deep learning for chest X-ray analysis: A survey / Erdi Qalli, Ecem Sogancioglu, Bram van Ginneken, Kicky G. van Leeuwen, Keelin Murphy // Medical Image Analysis. 2021. Vol. 72. P. 102125.

21. Формирование пространства признаков для задач классификации сложных структурированных изображений на основе спектральных окон и структур нейронных сетей / С. А. Филист, К. Д. Али Кассим, А. А. Кузьмин, О. В. Шаталова, Е. А. Алябьев // Известия Юго-Западного государственного университета. 2016. № 4 (67). С. 56-68.

22. Comparing deep learning-based automatic segmentation of breast masses to expert interobserver variability in ultrasound imaging / Jeremy M. Webb, Shaheeda A. Adusei, Yi-nong Wang, Naziya Samreen, Kalie Adler, Duane D. Meixner, Robert T. Fazzio, Mostafa Fatemi, Azra Alizad // Computers in Biology and Medicine. 2021. Vol. 139. P. 104966.

23. Моделирование морфологических образований на рентгенограммах грудной клетки в интеллектуальных диагностических системах медицинского назначения / П. С. Кудрявцев, А. А. Кузьмин, Д. Ю. Савинов, С. А. Филист, О. В. Шаталова // Каспийский журнал: Менеджмент и высокие технологии. 2017. № 3 (39). С. 109-120.