Анализ стратегий игровых пространств с использованием нейронных сетей

Цель исследования заключается в разработке методов повышения эффективности работы нейронных сетей для построения систем искусственного интеллекта при анализе игрового пространства.

Методы. В качестве основного метода, используемого в разрабатываемом программном решении, применялся метод глубинного обучения нейронных сетей с подкреплением, основанный на использовании модели проксимальной оптимизации стратегии. В работе применялся специальный плагин ML-Agents для игрового движка Unity. На его основе были использованы готовые среды для обучения агентов, а также разработаны новые, адаптивно изменяющиеся в процессе реализации игры среды для обучения агентов. Представлена схема взаимодействия среды обучения с системой Python API, приведены компоненты, составляющие плагин. Сформирован цикл обучения с подкреплением, который позволяет сформировать порядок различных состояний, возможные действия игрока в соответствующих ситуациях и потенциальные награды, получаемые им в процессе обучения. Цель заключается в максимизации ожидаемого выигрыша, который возможно получить игроку при выполнении всего цикла обучения. Алгоритм проксимальной оптимизации стратегии в плагине ML-Agents реализован через программную библиотеку для машинного обучения Tensor Flow и выполняется в отдельном процессе Python API, который взаимодействует с запущенной сценой Unity посредством внешнего коммуникатора.

Результаты. Показано, что повышение эффективности работы нейронных сетей для последующего обучения искусственного интеллекта достигается, во-первых, за счет использования сверхточных нейронных сетей, а во-вторых, за счет расширения функциональных возможностей, с помощью выбора опорной точки формулы.

Заключение. Рассмотрение действий игроков поможет осуществлять разработку программного продукта для анализа игровой стратегии с использованием нейронных сетей, которая автоматически определяет их поведение, направленное на изучение индивидуальных особенностей игрового пространства.

1. Рутковская Д., Рутковский Л., Пилиньский М. Нейронные сети, генетические алгоритмы и нечеткие системы. М.: Горячая линия-Телеком, 2006. 452 c.

2. Методы классификации и прогнозирования. Нейронные сети. URL: https://www.intuit.ru/studies/professional_skill_improvements/1210/courses/6/lecture/178 (дата обращения: 10.02.2021).

3. Персептроны. URL: https://neuralnet.info/chapter/персептроны/ (дата обращения: 10.02.2021).

4. Рышард Т., Барбара Б. Введение в машинное обучение с помощью Python. Руководство для специалистов по работе с данными. М.: Горячая линия-Телеком, 2017. 546 c.

5. Донских А. О., Сирота А. А. Метод искусственного размножения данных в задачах машинного обучения с использованием непараметрических ядерных оценок плотности распределения вероятностей // Вестник Воронежского государственного университета. Серия: Системный анализ и информационные технологии. 2017. № 3. С. 142155.

6. Многослойные морфологические операторы для сегментации сложноструктурируемых растровых полутоновых изображений / С. А. Филист, А. Р. Дабагов, Р. А. Томакова, Д. С. Кондрашов // Известия Юго-Западного государственного университета. Серия: Управление, вычислительная техника, информатика. Медицинское приборостроение. 2019. Т. 9, № 3 (32). С. 44-63.

7. Томакова Р. А. Насер А. А., Шаталова О. В. Математическое обеспечение распознавания и классификации сложноструктурируемых биологических объектов // Международный журнал прикладных и фундаментальных исследований. 2012. № 4. С. 48-49.

8. Клеточные процессоры в классификаторах многоканальных изображений / С. А. Филист, Р. А. Томакова, А. Н. Брежнева, И. А. Малютина, В. А. Алексеев // Радиопромышленность. 2019. № 1. С. 45—52.

9. Универсальные сетевые структуры в задачах классификации многомерных данных / Р. А. Томакова, А. А. Насер, О. В. Шаталова, Е. В. Рудакова // Современные наукоемкие технологии. 2012. № 8. С. 48-49.

10. Рашид Т. Создаем нейронную сеть. М.: Издательский дом «Вильямс», 2018. 435 c.

11. Кан К. А. Нейронные сети. Эволюция. М.: ЛитРес, 2019. 428 c.

12. Plug-inml-agent для unity. URL: https://habr.com/ru/post/416297/ (дата обращения: 15.02.2021).

13. Unity ML-Agents Toolkit. URL: https://github.com/Unity-Technologies/ml-agents (дата обращения: 26.02.2020).

14. AI basedon Unity ML Agents. URL: https://api-2d3d-cad.com/unity_ml_agents_quickstart/ (дата обращения: 07.03.2020).

15. Примеры создания окружения для обучения в ML-Agents URL: https://github.com/Unity-Technologies/ml-agents/blob/release_2_docs/docs/Learning-Environment-Examples.md (дата обращения: 15.02.2021).

16. Создание агентов в ML-Agents. URL: https://github.com/Unity-Technologies/ml-agents/blob/release_2_docs/docs/Learning-Environment-Design-Agents.md (дата обращения: 17.02.2021).

17. Примеры оптимизации агентов в ML-Agents. URL: https://blogs.unity3d.com/ru/2019/11/11/training-your-agents-7-times-faster-with-ml-agents (дата обращения: 20.02.2021).

18. Создание окружения в ML-Agents. URL: https://github.com/Unity-Technologies/ml-agents/blob/release_2_docs/docs/Learning-Environment-Create-New.md (дата обращения: 20.02.2021).

19. UnityML-Agents 1.0 - Training your first A.I. URL: https://www.youtube.com/watch?v=_9aPZH6pyA8&ab_channel=SebastianSchuchmann (дата обращения: 21.02.2021).