uprinmatusИзвестия Юго-Западного государственного университета. Серия: Управление, вычислительная техника, информатика. Медицинское приборостроениеProceedings of the Southwest State University. Series: IT Management, Computer Science, Computer Engineering. Medical Equipment Engineering2223-1536Юго-Западный государственный университет10.21869/2223-1536-2023-13-2-45-64uprinmatus-103Research ArticleРАСПОЗНАВАНИЕ И ОБРАБОТКА ИЗОБРАЖЕНИЙIMAGE RECOGNITION AND PROCESSINGАвтоматизированное распознавание и контроль взаимодействия людей по видеоизображениюAutomated Recognition and Control of Human Interaction by Video Imagehttps://orcid.org/0009-0009-9832-1593УльевА. Д.UlyevA. D.

Андрей Дмитриевич Ульев, аспирант

400005

пр-т им. В. И. Ленина, д. 28

Волгоград

Andrey D. Ulyev, Post-Graduate Student

400005

28 V. I. Lenin Ave.

Volgograd

ulyev-ad@yandex.ruhttps://orcid.org/0000-0003-3086-4929ДонскаяА. Р.DonsckaiaA. R.

Анастасия Романовна Донская, аспирант

400005

пр-т им. В. И. Ленина, д. 28

Волгоград

Anastasia R. Donsckaia, Post-Graduate Student

400005

28 V. I. Lenin Ave.

Volgograd

donsckaia.anastasiya@yandex.ruhttps://orcid.org/0000-0003-0425-5695ЗубковА. В.ZubkovA. V.

Aлександр Владимирович Зубков, аспирант

400005

пр-т им. В. И. Ленина, д. 28

Волгоград

Alexander V. Zubkov, Post-Graduate Student

400005

28 V. I. Lenin Ave.

Volgograd

zubkov.alexander.v@gmail.comВолгоградский государственный технический университетРоссияVolgograd State Technical UniversityRussian Federation2023020820231324564Copyright © Ульев А.Д., Донская А.Р., Зубков А.В., 20232023Ульев А.Д., Донская А.Р., Зубков А.В.Ulyev A.D., Donsckaia A.R., Zubkov A.V.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://uprinmatus.elpub.ru/jour/article/view/103

   Целью исследования является повышение эффективности распознавания и контроля взаимодействия покупателей и продавцов магазинов за счет разработки модели автоматизированного распознавания и контроля взаимодействия людей по видеоизображению.

   Методы

   Методы. Исследование направлено на решение фундаментальной научной задачи разработки моделей и методов контроля и распознавания взаимодействия людей по видеоизображению. В настоящий момент сфера торговли стремительно развивается, появляется все больше онлайн-ресурсов, которые забирают на себя значимую часть потока клиентов, в связи с чем обычным магазинам и торговым центрам необходимо внедрять новые способы и методы взаимодействия с покупателями, а следовательно предоставлять более качественный сервис. Современные компании стараются решать подобную проблему разными путями: подсчетом посетителей, приборами контроля, различными нейросетевыми решениями и так далее. Однако ни одно из имеющихся на данный момент на рынке предложений не способно автоматически классифицировать человека как покупателя или продавца по видеоизображению, а также оценить степень удовлетворенности клиента предоставленным сервисом. Для исправления данной ситуации были разработаны методы и модели, позволяющие разработать на их базе программные средства, с помощью которых станет возможно определить удовлетворенность посетителей и клиентов, распознать среди людей клиентов и продавцов и определить качество работы сотрудников.

   Результаты

   Результаты. Разработаны модели и методы классификации клиентов и продавцов по униформе, методы определения уровня взаимодействия продавцов и клиентов на базе алгоритмов определения удовлетворенности посетителей и клиентов по голосу и лицу и алгоритмов определения качества работы сотрудников.

   Заключение

   Заключение. В результате разработаны модели, позволяющие улучшить качество взаимодействия продавцов и клиентов по видеоизображению.

   The purpose of research is to increase the efficiency of recognition and control of interaction between buyers and sellers of stores by developing a model of automated recognition and control of human interaction by video image.

   Methods

   Methods. The research is aimed at solving the fundamental scientific problem of developing models and methods for monitoring and recognizing human interaction by video image. At the moment, the sphere of trade is  rapidly developing, there are more and more online resources that take over a significant part of the flow of customers, and therefore, ordinary stores and shopping centers need to introduce new ways and methods of interacting with customers, and therefore provide a better service. Modern companies are trying to solve this problem in different ways: counting visitors, monitoring devices, various neural network solutions, and so on. However, none of the currently available offers on the market is able to automatically classify a person as a buyer or seller by video image, as well as to assess the degree of customer satisfaction with the service provided. To remedy this situation, methods and models have been developed that make it possible to develop software based on them, with the help of which it will be possible to determine the satisfaction of visitors and customers, recognize customers and sellers among people and determine the quality of employees' work.

   Results

   Results. Models and methods for classifying customers and sellers by uniform, methods for determining the level of interaction between sellers and customers based on algorithms for determining the satisfaction of visitors andcustomers by voice and face, and algorithms for determining the quality of employees' work have been developed.

   Conclusion

   Conclusion. As a result, models have been developed that allow improving the quality of interaction between sellers and customers by video image.

нейронная сетьискусственный интеллектраспознавание позы человекамониторинг поведенияneural networkartificial intelligencehuman posture recognitionbehavior monitoringИсследование выполнено при финансовой поддержке ВолгГТУ в рамках научного проекта № 60/478-22, № 60/473-22The reported study was funded by VSTU according to the research project No. 60/478-22, 60/473-22ReferencesУльянова О. А. Психологические особенности продавцов-консультантов сетевого маркетинга // Вестник Самарской гуманитарной академии. Серия: Психология. 2013. № 1 (13). С. 27–41.Ul'janova O. A. Psikhologicheskie osobennosti prodavtsov-konsul'tantov setevogo marketinga [Psychological characteristics of Network marketing sales consultants]. Vestnik Samarskoj gumanitarnoj akademii. Serija: Psihologija = Bulletin of the Samara Humanitarian Academy. Series: Psychology, 2013, no. 1 (13), pp. 27–41.Ashkanani A., Sobhy A., Naghavipour H. A Design Approach of Automatic Visitor Counting System Using Video Camera // IOSR Journal of Electrical and Electronics Engineering, 2015, no. 10, pp. 62–67. URL: https://www.researchgate.net/publication/356878933_A_Design_Approach_of_Automatic_Visitor_Counting_System_Using_Video_CameraAshkanani A., Sobhy A., Naghavipour H. A Design Approach of Automatic Visitor Counting System Using Video Camera // IOSR Journal of Electrical and Electronics Engineering, 2015, no. 10, pp. 62–67. URL: https://www.researchgate.net/publication/356878933_A_Design_Approach_of_Automatic_Visitor_Counting_System_Using_Video_CameraHerviana А., Sudiharto D., Yulianto F. The Prototype of In-Store Visitor and People Passing Counters using Single Shot Detector Performed by OpenCV // 2020. 1<sup>st</sup> International Conference on Information Technology, Advanced Mechanical and Electrical Engineering (ICITAMEE). Yogyakarta: IEEE, 2021. P. 169–174. doi: 10.1109/ICITAMEE50454.2020.9398507.Herviana А., Sudiharto D., Yulianto F. The Prototype of In-Store Visitor and People Passing Counters using Single Shot Detector Performed by OpenCV // 2020. 1<sup>st</sup> International Conference on Information Technology, Advanced Mechanical and Electrical Engineering (ICITAMEE). Yogyakarta: IEEE, 2021. P. 169–174. doi: 10.1109/ICITAMEE50454.2020.9398507.Hassaan A., Dessouky M., El-Sayed A. A new approach for crowd counting and individuals detection using thermal video // 36<sup>th</sup> National Radio Science Conference. Aswau, Egypt: Arab Academy for Science Technology and Maritime Transport, 2019.Hassaan A., Dessouky M., El-Sayed A. A new approach for crowd counting and individuals detection using thermal video // 36<sup>th</sup> National Radio Science Conference. Aswau, Egypt: Arab Academy for Science Technology and Maritime Transport, 2019.Image processing and artificial neural network for counting people inside public transport / P. Chato, D. J. Chipantasi, N. Velasco, S. Rea, V. Hallo, P. Constante // 2018 IEEE Third Ecuador Technical Chapters Meeting (ETCM). Cuenca, Ecuador: IEEE, 2018. P. 1–5. doi: 10.1109/ETCM.2018.8580287.Image processing and artificial neural network for counting people inside public transport / P. Chato, D. J. Chipantasi, N. Velasco, S. Rea, V. Hallo, P. Constante // 2018 IEEE Third Ecuador Technical Chapters Meeting (ETCM). Cuenca, Ecuador: IEEE, 2018. P. 1–5. doi: 10.1109/ETCM.2018.8580287.An empirical research on customer satisfaction study: a consideration of different levels of performance / YC. Lee, YC. Wang, SC. Lu [et al.] // SpringerPlus. 2019. N 5. P. 1577. doi: 10.1186/s40064-016-3208-z.An empirical research on customer satisfaction study: a consideration of different levels of performance / Y. C. Lee, Y. C. Wang, S. C. Lu [et al.] // SpringerPlus. 2019. N 5. P. 1577. doi: 10.1186/s40064-016-3208-z.Assessment of the satisfaction with public health insurance programs by patients with chronic diseases in China: a structural equation modeling approach / J. Geng, X. Chen, J. Shi [et al.] // BMC Public Health. 2021. N 21. P. 1886. doi: 10.1186/s12889-021-11947-7.Assessment of the satisfaction with public health insurance programs by patients with chronic diseases in China: a structural equation modeling approach / J. Geng, X. Chen, J. Shi [et al.] // BMC Public Health. 2021. N 21. P. 1886. doi: 10.1186/s12889-021-11947-7.Customer satisfaction analysis of the healthy elderly to investigate the association among happiness, health status, and well-being using the Happiness & Health Feeling Scale / K. Teraoka [et al.] // Journal of Physical Therapy Science. 2019. N 31 (10). P. 751–754. doi: 10.1589/jpts.31.751.Customer satisfaction analysis of the healthy elderly to investigate the association among happiness, health status, and well-being using the Happiness & Health Feeling Scale / K. Teraoka [et al.] // Journal of Physical Therapy Science. 2019. N 31 (10). P. 751–754. doi: 10.1589/jpts.31.751.A Framework for Understanding and Managing the Customer Experience / A. De Keyser [et al.] // Marketing Science Institute Working Paper Series. 2015. N 49.A Framework for Understanding and Managing the Customer Experience / A. De Keyser [et al.] // Marketing Science Institute Working Paper Series. 2015. N 49.Капленко Г. В. О вероятностном характере прогнозирования покупательского спроса на основе данных сплошного наблюдения // БІЗНЕСІНФОРМ. 2014. № 8. C. 228–232.Kaplenko G. V. O veroyatnostnom kharaktere prognozirovaniya pokupatel'skogo sprosa na osnove dannykh sploshnogo nablyudeniya [On the probabilistic nature of forecasting consumer demand based on continuous observation data]. BІZNESІNFORM, 2014, no. 8, pp. 228–232.About quantifying small color differences in digital images / I. Palchikova, Е. Smirnov [et al.] // Computer Optics. 2020. N 44(4). P. 606–617. doi: 10.18287/2412-6179-CO-631.About quantifying small color differences in digital images / I. Palchikova, Е. Smirnov [et al.] // Computer Optics. 2020. N 44(4). P. 606–617. doi: 10.18287/2412-6179-CO-631.Конаныхин А. Ю. Методы улучшения выделенной области изображения при быстродействующей обработке символьной информации // Известия Юго-Западного государственного университета. Серия: Управление, вычислительная техника, информатика. Медицинское приборостроение. 2021. Т. 11, № 4. C. 106-119. URL: https://docviewer.yandex.by/view/1448526000/?*=JT2iXFPohQYhs6bX9bSb1WOjbaR7InVybCI6Imh0dHBzOi8vdXByaW5tYXR1cy5lbHB1Yi5ydS9qb3VyL2FydGljbGUvZG93bmxvYWQvMzkvMzkiLCJ0aXRsZSI6IjM5Iiwibm9pZnJhbWUiOnRydWUsInVpZCI6IjE0NDg1MjYwMDAiLCJ0cyI6MTY5MDk3MzM1MDQ1NSwieXUiOiI5NTQ2NTAxMTcxNjkwMzU0NDYxIiwic2VycFBhcmFtcyI6InRtPTE2OTA5NzMyNTUmdGxkPWJ5Jmxhbmc9cnUmbmFtZT0zOSZ0ZXh0PSVEMCU5QSVEMCVCRSVEMCVCRCVEMCVCMCVEMCVCRCVEMSU4QiVEMSU4NSVEMCVCOCVEMCVCRCslRDAlOTAuKyVEMCVBRS4rJUQwJTlDJUQwJUI1JUQxJTgyJUQwJUJFJUQwJUI0JUQxJThCKyVEMSU4MyVEMCVCQiVEMSU4MyVEMSU4NyVEMSU4OCVEMCVCNSVEMCVCRCVEMCVCOCVEMSU4RislRDAlQjIlRDElOEIlRDAlQjQlRDAlQjUlRDAlQkIlRDAlQjUlRDAlQkQlRDAlQkQlRDAlQkUlRDAlQjkrJUQwJUJFJUQwJUIxJUQwJUJCJUQwJUIwJUQxJTgxJUQxJTgyJUQwJUI4KyVEMCVCOCVEMCVCNyVEMCVCRSVEMCVCMSVEMSU4MCVEMCVCMCVEMCVCNiVEMCVCNSVEMCVCRCVEMCVCOCVEMSU4RislRDAlQkYlRDElODAlRDAlQjgrJUQwJUIxJUQxJThCJUQxJTgxJUQxJTgyJUQxJTgwJUQwJUJFJUQwJUI0JUQwJUI1JUQwJUI5JUQxJTgxJUQxJTgyJUQwJUIyJUQxJTgzJUQxJThFJUQxJTg5JUQwJUI1JUQwJUI5KyVEMCVCRSVEMCVCMSVEMSU4MCVEMCVCMCVEMCVCMSVEMCVCRSVEMSU4MiVEMCVCQSVEMCVCNSslRDElODElRDAlQjglRDAlQkMlRDAlQjIlRDAlQkUlRDAlQkIlRDElOEMlRDAlQkQlRDAlQkUlRDAlQjkrJUQwJUI4JUQwJUJEJUQxJTg0JUQwJUJFJUQxJTgwJUQwJUJDJUQwJUIwJUQxJTg2JUQwJUI4JUQwJUI4JnVybD1odHRwcyUzQS8vdXByaW5tYXR1cy5lbHB1Yi5ydS9qb3VyL2FydGljbGUvZG93bmxvYWQvMzkvMzkmbHI9MTAyMjAxJm1pbWU9cGRmJmwxMG49cnUmc2lnbj1mN2FjODkyMWY5YWQ0ZjI3NmFjNGIwZmQ0YzQ2NzA4MiZrZXlubz0wIn0%3D&amp;lang=ru.Konanyhin A. Ju. Metody uluchsheniya vydelennoi oblasti izobrazheniya pri bystrodeistvuyushchei obrabotke simvol'noi informatsii [Methods for improving the selected image area with high-speed processing of symbolic information]. Izvestija Jugo-Zapadnogo gosudarstvennogo universiteta. Serija: Upravlenie, vychislitel'naja tehnika, informatika. Medicinskoe priborostroenie = Proceedings of the Southwest State University. Series: Control, Computer Engineering, Information Science. Medical Instruments Engineering, 2021, vol. 11, no. 4, pp. 106–119. URL: https://docviewer.yandex.by/view/1448526000/?*=JT2iXFPohQYhs6bX9bSb1WOjbaR7InVybCI6Imh0dHBzOi8vdXByaW5tYXR1cy5lbHB1Yi5ydS9qb3VyL2FydGljbGUvZG93bmxvYWQvMzkvMzkiLCJ0aXRsZSI6IjM5Iiwibm9pZnJhbWUiOnRydWUsInVpZCI6IjE0NDg1MjYwMDAiLCJ0cyI6MTY5MDk3MzM1MDQ1NSwieXUiOiI5NTQ2NTAxMTcxNjkwMzU0NDYxIiwic2VycFBhcmFtcyI6InRtPTE2OTA5NzMyNTUmdGxkPWJ5Jmxhbmc9cnUmbmFtZT0zOSZ0ZXh0PSVEMCU5QSVEMCVCRSVEMCVCRCVEMCVCMCVEMCVCRCVEMSU4QiVEMSU4NSVEMCVCOCVEMCVCRCslRDAlOTAuKyVEMCVBRS4rJUQwJTlDJUQwJUI1JUQxJTgyJUQwJUJFJUQwJUI0JUQxJThCKyVEMSU4MyVEMCVCQiVEMSU4MyVEMSU4NyVEMSU4OCVEMCVCNSVEMCVCRCVEMCVCOCVEMSU4RislRDAlQjIlRDElOEIlRDAlQjQlRDAlQjUlRDAlQkIlRDAlQjUlRDAlQkQlRDAlQkQlRDAlQkUlRDAlQjkrJUQwJUJFJUQwJUIxJUQwJUJCJUQwJUIwJUQxJTgxJUQxJTgyJUQwJUI4KyVEMCVCOCVEMCVCNyVEMCVCRSVEMCVCMSVEMSU4MCVEMCVCMCVEMCVCNiVEMCVCNSVEMCVCRCVEMCVCOCVEMSU4RislRDAlQkYlRDElODAlRDAlQjgrJUQwJUIxJUQxJThCJUQxJTgxJUQxJTgyJUQxJTgwJUQwJUJFJUQwJUI0JUQwJUI1JUQwJUI5JUQxJTgxJUQxJTgyJUQwJUIyJUQxJTgzJUQxJThFJUQxJTg5JUQwJUI1JUQwJUI5KyVEMCVCRSVEMCVCMSVEMSU4MCVEMCVCMCVEMCVCMSVEMCVCRSVEMSU4MiVEMCVCQSVEMCVCNSslRDElODElRDAlQjglRDAlQkMlRDAlQjIlRDAlQkUlRDAlQkIlRDElOEMlRDAlQkQlRDAlQkUlRDAlQjkrJUQwJUI4JUQwJUJEJUQxJTg0JUQwJUJFJUQxJTgwJUQwJUJDJUQwJUIwJUQxJTg2JUQwJUI4JUQwJUI4JnVybD1odHRwcyUzQS8vdXByaW5tYXR1cy5lbHB1Yi5ydS9qb3VyL2FydGljbGUvZG93bmxvYWQvMzkvMzkmbHI9MTAyMjAxJm1pbWU9cGRmJmwxMG49cnUmc2lnbj1mN2FjODkyMWY5YWQ0ZjI3NmFjNGIwZmQ0YzQ2NzA4MiZrZXlubz0wIn0%3D&amp;lang=ru.Badri I., Sayyouri M. Face Recognition: A Mini-Review // Digital Technologies and Applications. 2013. Cham: Springer, 2023. P. 463–471. doi: 10.1007/978-3-031-29860-8_47.Badri I., Sayyouri M. Face Recognition: A Mini-Review // Digital Technologies and Applications. 2013. Cham: Springer, 2023. P. 463–471. doi: 10.1007/978-3-031-29860-8_47.Автоматизированная система для классификации снимков видеопотоков / С. А. Филист, М. В. Шевцов, В. А. Белозеров [и др.] // Известия Юго-Западного государственного университета. Серия: Управление, вычислительная техника, информатика. Медицинское приборостроение. 2021. Т. 11, № 4. C. 85–105. URL: https://www.elibrary.ru/item.asp?edn=fhipxt&ysclid=lktly660qn253420816Filist S. A., Shevcov M. V., Belozerov V. A., eds. Avtomatizirovannaya sistema dlya klassifikatsii snimkov videopotokov [Automated system for classifying images of video streams]. Izvestija Jugo-Zapadnogo gosudarstvennogo universiteta. Serija: Upravlenie, vychislitel'naja tehnika, informatika. Medicinskoe priborostroenie = Proceedings of the Southwest State University. Series: Control, Computer Engineering, Information Science. Medical Instruments Engineering, 2021, vol. 11, no. 4, pp. 85–105. URL: https://www.elibrary.ru/item.asp?edn=fhipxt&ysclid=lktly660qn253420816Автоматическая система контроля активности покупателей в магазине с модулями оценки работы его сотрудников / В. Л. Розалиев, А. В. Аболеева-Зотова, А. Д. Ульев [и др.] // Прикаспийский журнал: управление и высокие технологии. 2020. № 2 (50). C. 22–32. doi: 10.21672/2074-1707.2020.50.2.022-032.Rozaliev V. L., Zaboleeva-Zotova A. V., Ul'ev A. D., eds. Avtomaticheskaya sistema kontrolya aktivnosti pokupatelei v magazine s mo-dulyami otsenki raboty ego sotrudnikov [An automatic system for monitoring the activity of customers in the store with modules for evaluating the work of its employees]. Prikaspijskij zhurnal: upravlenie i vysokie tehnologii = Caspian Journal: Management and High Technologies, 2020, no. 2 (50), pp. 22–32. doi: 10.21672/2074-1707.2020.50.2.022-032Racial Bias within Face Recognition: A Survey / S. Yucer, F. Tektas, N. Al Moubayed, Toby Breckon // CC BY-NC-SA 4.0. 2023. N 35. P. 1–35.Racial Bias within Face Recognition: A Survey / S. Yucer, F. Tektas, N. Al Moubayed, Toby Breckon // CC BY-NC-SA 4.0. 2023. N 35. P. 1–35.Singh Bhadauriya S., Kushwaha S., Meena S. Real-Time Face Detection and Face Recognition: Study of Approaches // Proceedings of 3<sup> rd</sup> International Conference on Recent Trends in Machine Learning, IoT, Smart Cities and Applications. Lecture Notes in Networks and Systems. Hyderabad, India, 2023. P. 297–307. doi: 10.1007/978-981-19-6088-8_27.Singh Bhadauriya S., Kushwaha S., Meena S. Real-Time Face Detection and Face Recognition: Study of Approaches // Proceedings of 3<sup> rd</sup> International Conference on Recent Trends in Machine Learning, IoT, Smart Cities and Applications. Lecture Notes in Networks and Systems. Hyderabad, India, 2023. P. 297–307. doi: 10.1007/978-981-19-6088-8_27.Multiple Hypothesis Tracking Algorithm for Multi-Target Multi-Camera Tracking with Disjoint Views / K. Yoon [et al.] // CC BY-NC-SA 4.0. 2019. P. 1–10.Multiple Hypothesis Tracking Algorithm for Multi-Target Multi-Camera Tracking with Disjoint Views / K. Yoon [et al.] // CC BY-NC-SA 4.0. 2019. P. 1–10.Distributed multi-camera multi-target association for real-time tracking / S. Yang [et al.] // Scientific Reports. 2022. N 12. P. 11052. doi: 10.1038/s41598-022-15000-4.Distributed multi-camera multi-target association for real-time tracking / S. Yang [et al.] // Scientific Reports. 2022. N 12. P. 11052. doi: 10.1038/s41598-022-15000-4.Автоматический контроль уровня оказания услуг продавцом-консультантом / А. Д. Ульев, В. Л. Розалиев, Ю. А. Орлова, А. В. Алексеев // Искусственный интеллект в решении актуальных социальных и экономических проблем ХХI века : сборник статей по материалам IV Всероссийской научно-практической конференции, проводимой в рамках Пермского естественно-научного форума «Математика и глобальные вызовы XXI века», Пермь, 21–23 мая 2019 года. Пермь: Пермский государственный национальный исследовательский университет, 2019. Ч. 1. C. 145–149.Ul'ev A. D., Rozaliev V. L., Orlova Ju. A., Alekseev A. V. [Automatic control of the level of services rendered by the sales consultant]. Iskusstvennyj intellekt v reshenii aktual'nyh social'nyh i jekonomicheskih problem XXI veka. Sbornik statej po materialam Chetvertoj Vserossijskoj nauchno-prakticheskoj konferencii, provodimoj v ramkah Permskogo estestvennonauchnogo foruma "Matematika i global'nye vyzovy XXI veka" [Artificial intelligence in solving urgent social and economic problems of the XXI century. A collection of articles based on materials in the IV All-Russian scientific and practical conference held within the Perm Natural Science Forum "Mathematics and Global Challenges of the XXI century"]. Perm: Perm State National Research University Publ., 2019, pt. 1, pp. 145–149. (In Russ.)

The authors declare that there are no conflicts of interest present.