Дегтерев Сергей Викторович, д-р технических наук, проф. каф. биомедицинской инженерии
ул. 50 лет Октября 94, г. Курск 305040
Sergey V. Degterev, Dr. of Sci. (Engineering), Professor, Professor of the Department of Biomedical Engineering
50 Let Oktyabrya str. 94, Kursk 305040
Лапина Татьяна Ивановна, канд. технических наук, доцент каф. вычислительной техники
ул. 50 лет Октября 94, г. Курск 305040
Tatyana I. Lapina, Cand. of Sci. (Engineering), Associate Professor, Associate Professor of the Computer Science Department
50 Let Oktyabrya str. 94, Kursk 305040
Криушина Юлия Алексеевна, аспирант
ул. 50 лет Октября 94, г. Курск 305040
Yulia A. Kriushina, Post-Graduate Student
50 Let Oktyabrya str. 94, Kursk 305040
Криушин Евгений Александрович, аспирант
ул. 50 лет Октября 94, г. Курск 305040
Kriushin Evgeniy Aleksandrovich, PostGraduate Student
50 Let Oktyabrya str. 94, Kursk 305040
Цель - исследование способа ускорения процессов распознавания объектов на изображениях, при помощи аппаратных видеоускорителей, имеющих в своём составе ядра CUDA и TENSOR.
Методы. Использован метод программного взаимодействия с аппаратными вычислительными средствами видеоускорителя, обладающего ядрами CUDA и RT, при помощи языка программирования Python; контейнеры Docker из NVIDIA GPU Cloud (NGC), OpenCV для запуска канала с камеры и TensorRT для ускорения вывода потока данных, сеть обнаружения одиночных выстрелов с InceptionV2 в качестве магистрали. Для исследования производительности и ускорения процессов распознавания проектируется среда, взаимодействующая с оборудованием и рядом библиотек для рендеринга изображений. Внутри данной среды происходят процессы распознавания объектов, применяя различные вычислительные ядра CUDA и TENSOR, а также различные алгоритмы и классы точности.
Результаты. Применение ядер TENSOR ускоряет процесс распознавания при использовании точности FP16, а также при применении комбинированной точности FP16 и FP32. Одиночная точность INT8 показывает значительно большую производительность при применении TensorRT на ускорителе, имеющем ядра TENSOR.
Заключение. Исследованы возможности аппаратных видеоускорителей при применении их для задач распознавания объектов. Проведено исследование производительности ядер CUDA и TENSOR при их взаимодействии с движком TensorRT. Предложено программное решение взаимодействия видеоускорителей, имеющих в своём составе ядра CUDA и TENSOR с движком TensorRT. Данное решение демонстрирует высокие показатели скорости распознавания объектов при точности INT8 и чуть меньшую производительностью при использовании точности FP32.
The purpose of research is to study a way to accelerate the processes of object recognition in images using hardware video accelerators, which include kernels CUDA and TENSOR.
Methods. The method of software interaction with hardware computing means of a video accelerator with CUDA and RT cores using the Python programming language was used; Docker containers from NVIDIA GPU Cloud (NGC), OpenCV to run the feed from the camera and TensorRT to speed up the output of the data stream, the single shot detection network with InceptionV2 as the backbone. To investigate the performance and accelerate the recognition processes, an environment is designed that interacts with equipment and a number of libraries for rendering images. Within this environment, object recognition processes take place, using various computing cores CUDA and TENSOR, as well as various algorithms and accuracy classes.
Results. The use of TENSOR kernels accelerates the recognition process when using FP16 accuracy, as well as when using the combined FP16 and FP32 accuracy. Using single precision INT8 shows significantly better performance when using TensorRT on an accelerator with TENSOR cores.
Conclusion. The capabilities of hardware video accelerators have been investigated when they are used for object recognition tasks. A study of the performance of the CUDA and TENSOR kernels when interacting with the TensorRT engine has been carried out. A software solution for the interaction of video accelerators with CUDA and TENSOR cores with the TensorRT engine is proposed. This solution demonstrates high rates of object recognition speed with INT8 accuracy and slightly lower performance when using FP32 accuracy.
The authors declare that there are no conflicts of interest present.