Автоматизированное распознавание и контроль взаимодействия людей по видеоизображению

   Целью исследования является повышение эффективности распознавания и контроля взаимодействия покупателей и продавцов магазинов за счет разработки модели автоматизированного распознавания и контроля взаимодействия людей по видеоизображению.

   Методы. Исследование направлено на решение фундаментальной научной задачи разработки моделей и методов контроля и распознавания взаимодействия людей по видеоизображению. В настоящий момент сфера торговли стремительно развивается, появляется все больше онлайн-ресурсов, которые забирают на себя значимую часть потока клиентов, в связи с чем обычным магазинам и торговым центрам необходимо внедрять новые способы и методы взаимодействия с покупателями, а следовательно предоставлять более качественный сервис. Современные компании стараются решать подобную проблему разными путями: подсчетом посетителей, приборами контроля, различными нейросетевыми решениями и так далее. Однако ни одно из имеющихся на данный момент на рынке предложений не способно автоматически классифицировать человека как покупателя или продавца по видеоизображению, а также оценить степень удовлетворенности клиента предоставленным сервисом. Для исправления данной ситуации были разработаны методы и модели, позволяющие разработать на их базе программные средства, с помощью которых станет возможно определить удовлетворенность посетителей и клиентов, распознать среди людей клиентов и продавцов и определить качество работы сотрудников.

   Результаты. Разработаны модели и методы классификации клиентов и продавцов по униформе, методы определения уровня взаимодействия продавцов и клиентов на базе алгоритмов определения удовлетворенности посетителей и клиентов по голосу и лицу и алгоритмов определения качества работы сотрудников.

   Заключение. В результате разработаны модели, позволяющие улучшить качество взаимодействия продавцов и клиентов по видеоизображению.

1. Ульянова О. А. Психологические особенности продавцов-консультантов сетевого маркетинга // Вестник Самарской гуманитарной академии. Серия: Психология. 2013. № 1 (13). С. 27–41.

2. Ashkanani A., Sobhy A., Naghavipour H. A Design Approach of Automatic Visitor Counting System Using Video Camera // IOSR Journal of Electrical and Electronics Engineering, 2015, no. 10, pp. 62–67. URL: https://www.researchgate.net/publication/356878933_A_Design_Approach_of_Automatic_Visitor_Counting_System_Using_Video_Camera

3. Herviana А., Sudiharto D., Yulianto F. The Prototype of In-Store Visitor and People Passing Counters using Single Shot Detector Performed by OpenCV // 2020. 1^st International Conference on Information Technology, Advanced Mechanical and Electrical Engineering (ICITAMEE). Yogyakarta: IEEE, 2021. P. 169–174. doi: 10.1109/ICITAMEE50454.2020.9398507.

4. Hassaan A., Dessouky M., El-Sayed A. A new approach for crowd counting and individuals detection using thermal video // 36^th National Radio Science Conference. Aswau, Egypt: Arab Academy for Science Technology and Maritime Transport, 2019.

5. Image processing and artificial neural network for counting people inside public transport / P. Chato, D. J. Chipantasi, N. Velasco, S. Rea, V. Hallo, P. Constante // 2018 IEEE Third Ecuador Technical Chapters Meeting (ETCM). Cuenca, Ecuador: IEEE, 2018. P. 1–5. doi: 10.1109/ETCM.2018.8580287.

6. An empirical research on customer satisfaction study: a consideration of different levels of performance / YC. Lee, YC. Wang, SC. Lu [et al.] // SpringerPlus. 2019. N 5. P. 1577. doi: 10.1186/s40064-016-3208-z.

7. Assessment of the satisfaction with public health insurance programs by patients with chronic diseases in China: a structural equation modeling approach / J. Geng, X. Chen, J. Shi [et al.] // BMC Public Health. 2021. N 21. P. 1886. doi: 10.1186/s12889-021-11947-7.

8. Customer satisfaction analysis of the healthy elderly to investigate the association among happiness, health status, and well-being using the Happiness & Health Feeling Scale / K. Teraoka [et al.] // Journal of Physical Therapy Science. 2019. N 31 (10). P. 751–754. doi: 10.1589/jpts.31.751.

9. A Framework for Understanding and Managing the Customer Experience / A. De Keyser [et al.] // Marketing Science Institute Working Paper Series. 2015. N 49.

10. Капленко Г. В. О вероятностном характере прогнозирования покупательского спроса на основе данных сплошного наблюдения // БІЗНЕСІНФОРМ. 2014. № 8. C. 228–232.

11. About quantifying small color differences in digital images / I. Palchikova, Е. Smirnov [et al.] // Computer Optics. 2020. N 44(4). P. 606–617. doi: 10.18287/2412-6179-CO-631.

12. Конаныхин А. Ю. Методы улучшения выделенной области изображения при быстродействующей обработке символьной информации // Известия Юго-Западного государственного университета. Серия: Управление, вычислительная техника, информатика. Медицинское приборостроение. 2021. Т. 11, № 4. C. 106-119. URL: https://docviewer.yandex.by/view/1448526000/?*=JT2iXFPohQYhs6bX9bSb1WOjbaR7InVybCI6Imh0dHBzOi8vdXByaW5tYXR1cy5lbHB1Yi5ydS9qb3VyL2FydGljbGUvZG93bmxvYWQvMzkvMzkiLCJ0aXRsZSI6IjM5Iiwibm9pZnJhbWUiOnRydWUsInVpZCI6IjE0NDg1MjYwMDAiLCJ0cyI6MTY5MDk3MzM1MDQ1NSwieXUiOiI5NTQ2NTAxMTcxNjkwMzU0NDYxIiwic2VycFBhcmFtcyI6InRtPTE2OTA5NzMyNTUmdGxkPWJ5Jmxhbmc9cnUmbmFtZT0zOSZ0ZXh0PSVEMCU5QSVEMCVCRSVEMCVCRCVEMCVCMCVEMCVCRCVEMSU4QiVEMSU4NSVEMCVCOCVEMCVCRCslRDAlOTAuKyVEMCVBRS4rJUQwJTlDJUQwJUI1JUQxJTgyJUQwJUJFJUQwJUI0JUQxJThCKyVEMSU4MyVEMCVCQiVEMSU4MyVEMSU4NyVEMSU4OCVEMCVCNSVEMCVCRCVEMCVCOCVEMSU4RislRDAlQjIlRDElOEIlRDAlQjQlRDAlQjUlRDAlQkIlRDAlQjUlRDAlQkQlRDAlQkQlRDAlQkUlRDAlQjkrJUQwJUJFJUQwJUIxJUQwJUJCJUQwJUIwJUQxJTgxJUQxJTgyJUQwJUI4KyVEMCVCOCVEMCVCNyVEMCVCRSVEMCVCMSVEMSU4MCVEMCVCMCVEMCVCNiVEMCVCNSVEMCVCRCVEMCVCOCVEMSU4RislRDAlQkYlRDElODAlRDAlQjgrJUQwJUIxJUQxJThCJUQxJTgxJUQxJTgyJUQxJTgwJUQwJUJFJUQwJUI0JUQwJUI1JUQwJUI5JUQxJTgxJUQxJTgyJUQwJUIyJUQxJTgzJUQxJThFJUQxJTg5JUQwJUI1JUQwJUI5KyVEMCVCRSVEMCVCMSVEMSU4MCVEMCVCMCVEMCVCMSVEMCVCRSVEMSU4MiVEMCVCQSVEMCVCNSslRDElODElRDAlQjglRDAlQkMlRDAlQjIlRDAlQkUlRDAlQkIlRDElOEMlRDAlQkQlRDAlQkUlRDAlQjkrJUQwJUI4JUQwJUJEJUQxJTg0JUQwJUJFJUQxJTgwJUQwJUJDJUQwJUIwJUQxJTg2JUQwJUI4JUQwJUI4JnVybD1odHRwcyUzQS8vdXByaW5tYXR1cy5lbHB1Yi5ydS9qb3VyL2FydGljbGUvZG93bmxvYWQvMzkvMzkmbHI9MTAyMjAxJm1pbWU9cGRmJmwxMG49cnUmc2lnbj1mN2FjODkyMWY5YWQ0ZjI3NmFjNGIwZmQ0YzQ2NzA4MiZrZXlubz0wIn0%3D&lang=ru.

13. Badri I., Sayyouri M. Face Recognition: A Mini-Review // Digital Technologies and Applications. 2013. Cham: Springer, 2023. P. 463–471. doi: 10.1007/978-3-031-29860-8_47.

14. Автоматизированная система для классификации снимков видеопотоков / С. А. Филист, М. В. Шевцов, В. А. Белозеров [и др.] // Известия Юго-Западного государственного университета. Серия: Управление, вычислительная техника, информатика. Медицинское приборостроение. 2021. Т. 11, № 4. C. 85–105. URL: https://www.elibrary.ru/item.asp?edn=fhipxt&ysclid=lktly660qn253420816

15. Автоматическая система контроля активности покупателей в магазине с модулями оценки работы его сотрудников / В. Л. Розалиев, А. В. Аболеева-Зотова, А. Д. Ульев [и др.] // Прикаспийский журнал: управление и высокие технологии. 2020. № 2 (50). C. 22–32. doi: 10.21672/2074-1707.2020.50.2.022-032.

16. Racial Bias within Face Recognition: A Survey / S. Yucer, F. Tektas, N. Al Moubayed, Toby Breckon // CC BY-NC-SA 4.0. 2023. N 35. P. 1–35.

17. Singh Bhadauriya S., Kushwaha S., Meena S. Real-Time Face Detection and Face Recognition: Study of Approaches // Proceedings of 3^rd International Conference on Recent Trends in Machine Learning, IoT, Smart Cities and Applications. Lecture Notes in Networks and Systems. Hyderabad, India, 2023. P. 297–307. doi: 10.1007/978-981-19-6088-8_27.

18. Multiple Hypothesis Tracking Algorithm for Multi-Target Multi-Camera Tracking with Disjoint Views / K. Yoon [et al.] // CC BY-NC-SA 4.0. 2019. P. 1–10.

19. Distributed multi-camera multi-target association for real-time tracking / S. Yang [et al.] // Scientific Reports. 2022. N 12. P. 11052. doi: 10.1038/s41598-022-15000-4.

20. Автоматический контроль уровня оказания услуг продавцом-консультантом / А. Д. Ульев, В. Л. Розалиев, Ю. А. Орлова, А. В. Алексеев // Искусственный интеллект в решении актуальных социальных и экономических проблем ХХI века : сборник статей по материалам IV Всероссийской научно-практической конференции, проводимой в рамках Пермского естественно-научного форума «Математика и глобальные вызовы XXI века», Пермь, 21–23 мая 2019 года. Пермь: Пермский государственный национальный исследовательский университет, 2019. Ч. 1. C. 145–149.