uprinmatusИзвестия Юго-Западного государственного университета. Серия: Управление, вычислительная техника, информатика. Медицинское приборостроениеProceedings of the Southwest State University. Series: IT Management, Computer Science, Computer Engineering. Medical Equipment Engineering2223-1536Юго-Западный государственный университет10.21869/2223-1536-2024-14-4-98-115uprinmatus-236Research ArticleРАСПОЗНАВАНИЕ И ОБРАБОТКА ИЗОБРАЖЕНИЙIMAGE RECOGNITION AND PROCESSINGСинтез технологий виртуальной реальности и компьютерного зрения в симуляторе промышленной радиографииSynthesis of virtual reality and computer vision technologies in industrial radiography simulatorhttps://orcid.org/0009-0003-1773-0085КорчагинВ. Д.KorchaginV. D.

Корчагин Валерий Дмитриевич, аспирант

Миусская пл., д. 9/1, г. Москва 125047

Valerii D. Korchagin, Post-Graduate Student

9/1 Miusskaya sq., Moscow 125047

vladia58@mail.ruhttps://orcid.org/0000-0002-2565-2510КувшинниковВ. С.KuvshinnikovV. S.

Кувшинников Владимир Сергеевич, кандидат технических наук, старший научный сотрудник

Алтуфьевское ш., д. 43/2, г. Москва 127410

Vladimir S. Kuvshinnikov, Candidate of Sciences (Engineering), Senior Researcher

43/2 Altufievskoe highway, Moscow 127410

KuvshinnikovVS@atomrus.ruhttps://orcid.org/0000-0003-4758-1730КовшовЕ. Е.KovshovE. E.

Ковшов Евгений Евгеньевич, доктор технических наук, профессор, начальник лаборатории

Алтуфьевское ш., д. 43/2, г. Москва 127410

Researcher ID: B-1077-2016

Evgeny E. Kovshov, Doctor of Sciences (Engineering), Professor, Head of Laboratory

43/2 Altufievskoe highway, Moscow 127410

KovshovEE@atomrus.ruРоссийский химико-технологический университет имени Д. И. МенделееваРоссияDmitry Mendeleev University of Chemical Technology of RussiaRussian FederationНаучно-исследовательский и конструкторский институт монтажной технологии – АтомстройРоссияJoint Stock Company Research and Design Institute of Installation Technology – AtomstroyRussian Federation20242402202514498115Copyright © Корчагин В.Д., Кувшинников В.С., Ковшов Е.Е., 20252025Корчагин В.Д., Кувшинников В.С., Ковшов Е.Е.Korchagin V.D., Kuvshinnikov V.S., Kovshov E.E.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://uprinmatus.elpub.ru/jour/article/view/236Цель исследования

Цель исследования. В настоящее время цифровизация производства рассматривается как важнейший аспект технологического роста для повышения конкурентоспособности предприятий. Предложен инновационный подход, объединяющий технологии виртуальной реальности и компьютерного зрения в единый инструмент, призванный совершенствовать качество практико-ориентированного обучения в сфере промышленной радиографии. В рамках статьи проведено исследование эффективных моделей искусственных нейронных сетей в приложении к задаче детекции дефектных участков сварных соединений металла на радиографических изображениях. Проведен детальный анализ архитектуры YOLOv8 в отношении обнаружения мелкоразмерных дефектов. Описан метод синтеза технологий виртуальной реальности и компьютерного зрения в едином образовательном инструменте промышленной радиографии.

Методы

Методы. В работе использовались методы эмпирического исследования, системного анализа и синтеза смежных информационных технологий.

Результаты

Результаты. В результате эмпирического исследования была выявлена ограниченная эффективность модели YOLOv10 применительно к обобщению признаков объектов малой размерности и низкой контрастности. YOLOv8 показала более практико-применимые результаты и большую стабильность при обобщении контурной составляющей дефектов. В процессе системного анализ архитектуры YOLOv8 была выявлена потеря пространственной информации при использовании последовательных сверточных операций, предшествующих повышающей дискретизации. Выполнена модификация базовой архитектуры YOLOv8 с целью улучшения обобщающей способности дефектов малой размерности и низкой контрастности. Представлена методика синтеза технологий виртуальной реальности и компьютерного зрения в форме интеллектуального ассистента для интеллектуализации процесса неразрушающего контроля.

Заключение

Заключение. Интеграция вышеописанного метода синтеза в единый программный продукт позволит повысить качество подготовки специалистов и открыть доступ к инновационным методам совершенствования профессиональных навыков на каждом этапе профессиональной карьеры.

Purpose of research

Purpose of research. Nowadays, the digitalization of production is considered as the most important aspect of technological growth to improve the competitiveness of enterprises. An innovative approach combining virtual reality and computer vision technologies into a single tool designed to improve the quality of practice-oriented training in the field of industrial radiography is proposed. Within the framework of the article the research of the most effective models of artificial neural networks in application to the task of detection of defective areas of welded metal joints on radiographic images is carried out. A detailed analysis of the YOLOv8 architecture with respect to the detection of small-sized defects is carried out. A method for synthesizing virtual reality and computer vision technologies in a single educational tool for industrial radiography is described.

Methods

Methods. Methods of empirical research, system analysis and synthesis of related information technologies were used in this work.

Results

Results. The empirical study revealed the limited effectiveness of the YOLOv10 model as applied to the generalization of features of objects of small dimensionality and low contrast. YOLOv8 showed more practical results and greater stability when generalizing the contour component of defects. In the process of system analysis of YOLOv8 architecture the loss of spatial information when using sequential convolutional operations preceding upsampling was revealed. Modification of the basic YOLOv8 architecture was performed in order to improve the generalization ability of lowdimensional and low-contrast defects. The methodology of synthesis of virtual reality and computer vision technologies in the form of an intelligent assistant for intellectualization of nondestructive testing process is presented.

Conclusion

Conclusion. The integration of the above synthesis method into a single software product will improve the quality of specialist training and open access to innovative methods of improving professional skills at every stage of a professional career.

виртуальная реальностьцифровые и информационные технологиикомпьютерное зрениепрограммный симуляторрентгеновское изображениеvirtual realitydigital and information technologiescomputer visionx-ray imagesoftware simulatorReferencesБлагодетелева Н. К. Тенденции и перспективы использования современных VR-технологий в иноязычном образовании в системе высшего образования России // Мир науки, культуры, образования. 2023. № 3 (100). С. 109–113.Blagodeteleva N.K. Trends and prospects of using modern VR technologies in foreign language education in the Russian higher education system. Mir nauki, kul'tury, obrazovaniya = The World of Science, Culture, and Education. 2023; (3):109–113. (In Russ.)Миргородская О. Н. Исследование опыта использования иммерсивных технологий в маркетинговой деятельности предприятий розничной торговли // Предпринимательство, маркетинг и логистика в цифровой экономике: материалы II Всероссийской конференции / Орловский государственный университет имени И. С. Тургенева. Орёл, 2024. С. 183–190.Mirgorodskaya O.N. A study of the experience of using immersive technologies in the marketing activities of retail enterprises. In: Predprinimatel'stvo, marketing i logistika v tsifrovoi ekonomike: materialy II Vserossiiskoi konferentsii = Entrepreneurship, marketing and logistics in the digital economy: Proceedings of the II All-Russian Conference. Orel: Orlovskii gosudarstvennyi universitet imeni I.S. Turgeneva; 2024. P. 183–190. (In Russ.)Рысбай Н. Машинное обучение в передовых исследованиях. процессы разработки // Вестник науки. 2023. Т. 3, № 5 (62). С. 604–611.Rysbai N. Machine learning in advanced research. development processes. Vestnik nauki = Bulletin of Science. 2023;3(5):604–611. (In Russ.)Оздамиров Р. В. Влияние технологий виртуальной реальности на обучение в цифровой образовательной среде // Перспективы развития высшей школы: материалы I Международной научно-практической конференции / отв. ред. М. В. Баделина. Тюмень: Тюменский индустриальный университет, 2020. С. 250–255.Ozdamirov R.V. The influence of virtual reality technologies on learning in a digital educational environment. In: Badelina M.V. (ed.) Perspektivy razvitiya vysshei shkoly: materialy I Mezhdunarodnoi nauchno-prakticheskoi konferentsii = Prospects for the development of higher education: Materials of the I International Scientific and Practical Conference. Tyumen: Tyumen Industrial University; 2020. P. 250–255. (In Russ.)Гараев А. И. Развитие образовательных VR-технологий в цифровой среде // Конкурентоспособность субъектов хозяйствования в условиях новых вызовов внешней среды: проблемы и пути их решения: сборник материалов Международной научно-практической конференции / под общ. ред. Н. В. Мальцева. Екатеринбург: Изд-во Уральского государственного горного университета, 2020. С. 20.Garaev A.I. Development of educational VR technologies in the digital environment. In: Maltsev N.V. (ed.) Konkurentosposobnost' sub"ektov khozyaistvovaniya v usloviyakh novykh vyzovov vneshnei sredy: problemy i puti ikh resheniya: Sbornik materialov Mezhdunarodnoi nauchno-prakticheskoi konferentsii = Competitiveness of business entities in the context of new challenges of the external environment: problems and ways to solve them: A collection of materials of the International scientific and practical conference. Yekaterinburg: Izdatel'stvo Ural'skogo gosudarstvennogo gornogo universiteta; 2020. P. 20. (In Russ.)Сурай Н. М., Теплая Н. А. Современные тренды в области применения цифровых технологий в российском ретейле // Экономика. Профессия. Бизнес. 2024. № 2. С. 94– 104.Surai N.M., Teplaya N.A. Modern trends in the application of digital technologies in Russian retail. Ekonomika. Professiya. Biznes = Economy. Profession. Business. 2024;(2):94– 104. (In Russ.)Гусакова А. А., Кальвинковская В. Д., Байбардина Т. Н. Перспективы использования технологий машинного обучения и искусственного интеллекта в маркетинге. URL: http://lib.i-bteu.by/bitstream/handle/22092014/6382/Гусакова%20А.А._Кальвинковская%20В.Д.%20Перспективы.pdf?sequence=1&isAllowed=y (дата обращения: 11.09.2024).Gusakova A.A., Kalvinkovskaya V.D., Baibardina T.N. Prospects of using machine learning and artificial intelligence technologies in marketing. (In Russ.) Available at: http://lib.i-bteu.by/bitstream/handle/22092014/6382/Гусакова%20А.А._Кальвинковская%20B.D.%20Perspectives.pdf?sequence=1&isAllowed=y (accessed 09.11.2024).Технологии виртуальной и дополненной реальности в образовательном процессе / И. И. Полевода [и др.] // Вестник Университета гражданской защиты МЧС Беларуси. 2022. Т. 6, № 1. С. 119–142.Polevoda I.I., et al. Virtual and augmented reality technologies in the educational process. Vestnik Universiteta grazhdanskoi zashchity MChS Belarusi = Bulletin of the University of Civil Protection of the Ministry of Emergency Situations of Belarus. 2022;6(1);119–142. (In Russ.)Trampus P. Symbiosis of industry 4.0 and non-destructive evaluation // Buletin Stiintific. Kishinev, 2023. P. 43‒51.Trampus P. Symbiosis of industry 4.0 and non-destructive evaluation. In: Buletin Scientific. Kishinev; 2023. P. 43‒51.Saboonchi H., Blanchette D., Hayes K. Advancements in radiographic evaluation through the migration into NDE 4.0 // Journal of nondestructive evaluation. 2021. Vol. 40. P. 1–12.Saboonchi H., Blanchette D., Hayes K. Advancements in radiographic evaluation through the migration into NDE 4.0. Journal of nondestructive evaluation = Journal of Nondestructive Evaluation. 2021;40:1–12.NDE 4.0: Progress, promise, and its role to industry 4.0 / N. G. Meyendorf, N. Ida, R. Singh, J. Vrana // NDT & E International 2023. N 140(8). Р. 102957. https://doi.org/10.1016/j.ndteint.2023.102957Meyendorf N.G., Ida N., Singh R., Vrana J. NDE 4.0: Progress, promise, and its role to industry 4.0. NDT & E International. 2023;(140):102957. https://doi.org/10.1016/j.ndteint.2023.102957Классификация современных методов неразрушающего контроля. Возможность их применения для диагностики оборудования нефтегазовой отрасли / А. Е. Нижник [и др.] // Строительство нефтяных и газовых скважин на суше и на море. 2020. № 5. С. 41–46.Nizhnik A.E., et al. Classification of modern methods of non-destructive testing. The possibility of their application for diagnostics of equipment in the oil and gas industry. Stroitel'stvo neftyanykh i gazovykh skvazhin na sushe i na more = Construction of Oil and Gas Wells on Land and at Sea. 2020;(5):41–46. (In Russ.)Кувшинников В. С., Ковшов Е. Е. Подготовка специалистов по радиационному виду неразрушающего контроля с применением цифровых технологий // Известия Юго-Западного государственного университета. Серия: Управление, вычислительная техника, информатика. Медицинское приборостроение. 2024. Т. 13, № 4. С. 54–69.Kuvshinnikov V.S., Kovshov E.E. Training specialists in radiation non-destructive testing using digital technologies. Izvestiya Yugo-Zapadnogo gosudarstvennogo universiteta. Seriya: Upravlenie, vychislitel'naya tekhnika, informatika. Meditsinskoe priborostroenie = Proceedings of the Southwest State University. Series: Control, Computer Engineering, Information Science. Medical Instruments Engineering. 2024;13(4):54–69. (In Russ.)A review on YOLOv8 and its advancements / M. Sohan [et al.] // International Conference on Data Intelligence and Cognitive Informatics. Singapore: Springer, 2024. P. 529– 545.Sohan M., et al. A review on YOLOv8 and its advancements. In: International Conference on Data Intelligence and Cognitive Informatics. Singapore: Springer; 2024. P. 529– 545.Корчагин В. Д. Анализ современных SOTA-архитектур искусственных нейронных сетей для решения задач классификации изображений и детекции объектов // Программные системы и вычислительные методы. 2023. № 4. С. 73–87.Korchagin V.D. Analysis of modern SOTA architectures of artificial neural networks for solving problems of image classification and object detection. Programmnye sistemy i vychislitel'nye metody = Software Systems and Computational Methods. 2023;(4):73–87. (In Russ.)Yolov10: Real-time end-to-end object detection / A. Wang [et al.]. URL: https://arxiv.org/abs/2405.14458 (accessed 11.09.2024).Wang A., et al. Yolov10: Real-time end-to-end object detection. Available at: https://arxiv.org/abs/2405.14458 (accessed 09.11.2024).Корчагин В. Д., Кувшинников В. С., Ковшов Е. Е. Критериальный анализ моделей обработки данных радиационного неразрушающего контроля // International Journal of Open Information Technologies. 2024. Vol. 12. № 4. P. 23–31.Korchagin V.D., Kuvshinnikov V.S., Kovshov E.E. Criterion analysis of data processing models for radiation non-destructive testing. International Journal of Open Information Technologies. 2024;12(4):23–31.ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks / Qilong Wang, Banggu Wu, Pengfei Zhu, Peihua Li, Wangmeng Zuo, Qinghua Hu. URL: https://arxiv.org/abs/1910.03151 (accessed 11.09.2024).Qilong Wang, Banggu Wu, Pengfei Zhu, Peihua Li, Wangmeng Zuo, Qinghua Hu. ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks. Available at: https://arxiv.org/abs/1910.03151 (accessed 11.09.2024).Wang Н., Song X. DC-YDLO: A dual channel YOLO for small object defect detection of circuit boards // 2024 5th International Conference on Computer i Vision, Image and Deep Learning (CVIDL). IEEE, 2024. P. 1292–1296.Wang Н., Song X. DC-YDLO: A dual channel YOLO for small object defect detection of circuit boards. In: 2024 5th International Conference on Computer i Vision, Image and Deep Learning (CVIDL). IEEE; 2024. P. 1292–1296.DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs / Liang-Chieh Chen, G. Papandreou, I. Kokkinos, K. Murphy, A. L. Yuille // IEEE Trans. Pattern. Anal. Mach. Intell. 2018. N 40 (4). P. 834‒ 848. https://doi.org/10.1109/TPAMI.2017.2699184Liang-Chieh Chen, Papandreou G., Kokkinos I., Murphy K., Yuille A. L. DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs. IEEE Trans. Pattern. Anal. Mach. Intell. 2018;(40):834‒848. https://doi.org/10.1109/TPAMI.2017.2699184Larobina M. Thirty years of the DICOM standard // Tomography. 2023. Vol. 9, N 5. P. 1829–1838.Larobina M. Thirty years of the DICOM standard. Tomography. 2023;9(5):1829– 1838.Vrana J. Industrial Internet of things, digital twins, and cyber-physical loops for NDE 4.0 // Handbook of Nondestructive Evaluation 4.0. Cham: Springer, 2022. P. 295–328.Vrana J. Industrial Internet of things, digital twins, and cyber-physical loops for NDE 4.0. In: Handbook of Nondestructive Evaluation 4.0. Cham: Springer; 2022. P. 295–328.

The authors declare that there are no conflicts of interest present.