uprinmatusИзвестия Юго-Западного государственного университета. Серия: Управление, вычислительная техника, информатика. Медицинское приборостроениеProceedings of the Southwest State University. Series: IT Management, Computer Science, Computer Engineering. Medical Equipment Engineering2223-1536Юго-Западный государственный университет10.21869/2223-1536-2024-14-1-67-87uprinmatus-160Research ArticleРАСПОЗНАВАНИЕ И ОБРАБОТКА ИЗОБРАЖЕНИЙIMAGE RECOGNITION AND PROCESSINGАвтоматизированная классификация абдоминальных ультразвуковых изображений поджелудочной железы на основе спектрального представления контуров ее границыAutomated Classification of Abdominal Ultrasound lmages of the Pancreas Based on the Spectral Representation of the Border’s Contourshttps://orcid.org/0000-0001-7980-0673КузьминА. А.KuzminA. А.

Кузьмин Александр Алексеевич, кандидат технических наук, доцент, доцент кафедры биомедицинской инженерии

ул. 50 лет Октября, д. 94, г. Курск 305040

Alexander A. Kuzmin, Candidate of Sciences (Engineering), Associate Professor, Associate  Professor of the Department of Biomedical  Engineering

50 Let Oktyabrya Str. 94, Kursk 305040

https://orcid.org/0009-0002-6552-2558СухомлиновА. Ю.SukhomlinovA. Yu.

Сухомлинов Артем Юрьевич, аспирант кафедры биомедицинской инженерии

ул. 50 лет Октября, д. 94, г. Курск 305040

Artem Yu. Sukhomlinov, Post-Graduate Student of the Department of Biomedical Engineering

50 Let Oktyabrya Str. 94, Kursk 305040

https://orcid.org/0000-0002-7444-0039Часиб ХасанАль-ДарраджиChasib HasanAl-Darraji

Аль-Дарраджи Часиб Хасан, сотрудник Университета Дияла

г. Баакубу

Al-Darraji Chasib Hasan, Employee

Baqubah

ТомаковаР. А.TomakovaR. A.

Томакова Римма Александровна, доктор технических наук, профессор, профессор кафедры программной инженерии

ул. 50 лет Октября, д. 94, г. Курск 305040

Rimma A. Tomakova, Doctor of Sciences  (Engineering), Professor, Professor of the Department of Software Engineering

50 Let Oktyabrya Str. 94, Kursk 305040

ДолженковС. Д.DolzhenkovS. D.

Долженков Сергей Дмитриевич, кандидат медицинских наук, доцент, доцент кафедры урологии

ул. К. Маркса, д. 3, г. Курск 305041

Sergey D. Dolzhenkov, Candidate of Sciences (Medical), Associate Professor, Associate Professor of the Department of Urology

3 Karl Marx Str., Kursk 305041

https://orcid.org/0000-0002-6793-7362ШульгаЛ. В.ShulgaL. V.

Шульга Леонид Васильевич, доктор медицинских наук, профессор, профессор кафедры охраны труда и окружающей среды

ул. 50 лет Октября, д. 94, г. Курск 305040

Leonid V. Shulga, Doctor of Sciences (Medical), Professor, Professor of the Department  of Occupational and Environmental Protection

50 Let Oktyabrya Str. 94, Kursk 305040

Юго-Западный государственный университетРоссияSouthwest State UniversityRussian FederationУниверситет ДиялаИракDiyala UniversityIraqКурский государственный медицинский университет Министерства здравоохранения Российской ФедерацииРоссияKursk State Medical University of the Ministry of Health of the Russian FederationRussian Federation2024140420241416787Copyright © Кузьмин А.А., Сухомлинов А.Ю., Часиб Хасан А., Томакова Р.А., Долженков С.Д., Шульга Л.В., 20242024Кузьмин А.А., Сухомлинов А.Ю., Часиб Хасан А., Томакова Р.А., Долженков С.Д., Шульга Л.В.Kuzmin A.А., Sukhomlinov A.Y., Chasib Hasan A., Tomakova R.A., Dolzhenkov S.D., Shulga L.V.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://uprinmatus.elpub.ru/jour/article/view/160

Цель исследования – развитие методологии классификации сложноструктурируемых полутоновых изображений на основе мультимодального подхода с использованием методов морфологического анализа, спектрального анализа и нейросетевого моделирования.Методы. Описан метод классификации контуров границ сегментов сложноструктурируемых изображений применительно к изображениям поджелудочной железы, полученных с экрана УЗИ-монитора. Метод основан на том положении, что при хронических заболеваний поджелудочной железы наблюдается нарушение целостности контура ее границы и увеличивается его волнистость за счет втяжений и выпуклостей, обусловленных альтеративно-воспалительным процессом. Метод включает этапы нормализации ультразвуковых изображений и сегментации изображения с выделением контура объекта интереса. Для классификации контура границы сегмента предложено использовать анализ Фурье и нейросетевые технологии. Метод проиллюстрирован на примере классификации контура границы поджелудочной железы на ее акустическом изображении.Результаты. Экспериментальные исследования предложенных методов и средств классификации медицинского риска были осуществлены на задачах диагностики по классам «хронический панкреатит» и «без патологии». Для экспериментальных исследований использовались видеопоследовательности УЗИ-снимков поджелудочной железы, предоставленные врачом-эндоскопистом. Целью экспериментальных исследований был анализ показателей качества классификации классификаторов изображений с сегментами класса «хронический панкреатит» и «без патологии». Обучающая выборка видеоизображений (кадров видеопоследовательностей) включала в себя 200 примеров по сто из каждого класса. Показатель качества «чувствительность» классификации по двум классам – 85,7%, показатель «специфичность» – 87,1%.Заключение. Использование метода контурного анализа в классификаторах УЗИ-изображений поджелудочной железы открывает новые возможности для доступной и объективной диагностики заболеваний поджелудочной железы, расширяя возможности интеллектуальных систем поддержки принятия клинических решений. 

The purpose of the research is to develop a methodology for classifying complexly structured halftone images based on a multimodal approach using methods of morphological analysis, spectral analysis and neural network modeling.

Methods. А method for classifying the contours of the boundaries of segments of a complexly structured image is described. Тhe method is based on the fact that in chronic diseases of the pancreas, there is a violation of the integrity of the contour of its border and its waviness increases due to retractions and bulges caused by an alterative inflammatory process. Тhe method includes the stages of normalization of ultrasound images and image segmentation with the selection of the contour of the object of interest. Тo classify the contour of a segment boundary, it is proposed to use Fourier analysis and neural network technologies. Тhe method is illustrated using the example of classifying the contour of the border of the pancreas on its transcutaneous acoustic image.Results. Еxperimental studies of the proposed methods and means for classifying medical risk were carried out on diagnostic tasks according to the following classes: "chronic pancreatitis" – "without pathology". For experimental studies, video sequences of ultrasound images of the pancreas provided by an endoscopist were used. Тhe purpose of the experimental studies was to analyze the classification quality indicators of image classifiers with class segments "Chronic pancreatitis" and "Without pathology". Тhe training sample of video images (frames of video sequences) included 200 examples, one hundred from each class. Тhe quality indicator "Sensitivity" of classification for two classes is 85,7%, the indicator "Specificity" is 87,1%.Тhe use of the contour analysis method in classifiers of ultrasound images of the pancreas opens up new opportunities for accessible and objective diagnosis of pancreatic diseases, expanding the capabilities of intelligent clinical decision support systems.

морфологический анализконтурный спектральный анализдескрипторыподжелудочная железаакустическое изображениенейронные сетиmorphological analysiscontour spectral analysisdescriptorspancreasacoustic imageneural networksReferencesФилист С. А., Томакова Р. А., Яа Зар До. Универсальные сетевые модели для задач классификации биомедицинских данных // Известия Юго-Западного государственного университета. 2012. Т. 43, № 4, Ч. 2. С. 44–50.Filist S. A., Tomakova R. A., Yaa Zar Do. Universal'nye setevye modeli dlya zadach klassifikacii biomedicinskih dannyh [Universal network models for classification tasks of biomedical data]. Izvestiya Yugo-Zapadnogo gosudarstvennogo universiteta = Proceedings of the Southwest State University, 2012, vol. 43, no. 4, pt. 2, pp. 44–50.Дабагов А. Р., Малютина И. А., Кондрашов Д. С. Автоматизированная система для классификации заболеваний молочной железы по рентгеновским маммографическим снимкам // Прикаспийский журнал: управление и высокие технологии. 2019. Т. 4, № 48. С. 10–24.Dabagov A. R., Malyutina I. A., Kondrashov D. S. Avtomatizirovannaya sistema dlya klassifikacii zabolevanij molochnoj zhelezy po rentgenovskim mammograficheskim snimkam [Automated system for the classification of breast diseases by X-ray mammographic images]. Prikaspijskij zhurnal: upravlenie i vysokie tekhnologii = Caspian Journal: Management and High Technologies, 2019, vol. 4, no. 48, pp. 10–24.Автоматизированная система классификации снимков УЗИ поджелудочной железы на основе метода посегментного спектрального анализа / С. А. Филист, Д. С. Кондрашов, А. Ю. Сухомлинов, Л. В. Шульга, Ч. Х. Аль-Дарраджи, В. А. Белозёров // Моделирование, оптимизация и информационные технологии. 2023. Т. 11, № 1. https://doi.org/ 10.26102/2310-6018/2023.40.1.021.Filist S. A., Kondrashov D. S., Sukhomlinov A. Yu., Shulga L. V., Al-Darraji Ch. H., Belozerov V. A. Avtomatizirovannaya sistema klassifikacii snimkov UZI podzheludochnoj zhelezy na osnove metoda posegmentnogo spektral'nogo analiza [An automated system for classifying ultrasound images of the pancreas based on the segment-by-segment spectral analysis method]. Modelirovanie, optimizaciya i informacionnye tekhnologii = Modeling, Optimization and Information Technology, 2023, vol. 11, no. 1. https://doi.org/ 10.26102/23106018/2023.40.1.021Автоматизированная система классификации рентгенограмм молочной железы / А. Р. Дабагов, В. А. Горбунов, С. А. Филист, И. А. Малютина, Д. С. Кондрашов // Медицинская техника. 2019. Т. 6, № 318. С. 39–41.Dabagov A. R., Gorbunov V. A., Filist S. A., Malyutina I. A., Kondrashov D. S. Avtomatizirovannaya sistema klassifikacii rentgenogramm molochnoj zhelezy [Automated classification system of breast radiographs]. Medicinskaya tekhnika = Medical Equipment, 2019, vol. 6, no. 318, pp. 39–41.Алгоритмы метаанализа эффективности диагностических и терапевтических решений на основе мониторинга суррогатных маркеров, получаемых по результатам анализа сложноструктурируемых изображений / А. Г. Курочкин, А. А. Кузьмин, Е. А. Старцев, С. А. Филист // Известия Юго-Западного государственного университета. Серия: Управление, вычислительная техника, информатика. Медицинское приборостроение. 2016. № 4 (21). С. 41–55.Kurochkin A. G., Kuzmin A. A., Startsev E. A., Filist S. A. Algoritmy metaanaliza effektivnosti diagnosticheskih i terapevticheskih reshenij na osnove monitoringa surrogatnyh markerov, poluchaemyh po rezul'ta-tam analiza slozhnostrukturiruemyh izobrazhenij [Algorithms for meta-analysis of the effectiveness of diagnostic and therapeutic decisions based on monitoring of surrogate markers obtained from the analysis of complexly structured images]. Izvestiya Yugo-Zapadnogo gosudarstvennogo universiteta. Seriya: Upravlenie, vychislitel'naya tekhnika, informatika. Medicinskoe priborostroenie = Proceedings of the Southwest State University. Series: Control, Computer Engineering, Information Science. Medical Instruments Engineering, 2016, no. 4 (21), pp. 41–55.Махов В. М. Этиологические аспекты диагностики и лечение хронического панкреатита // Российский медицинский журнал. 2006. № 3. С. 3–8.Makhov V. M. Etiologicheskie aspekty diagnostiki i lechenie hronicheskogo pankreatita [Etiological aspects of diagnosis and treatment of chronic pancreatitis]. Rossijskij medicinskij zhurnal = Russian Medical Journal, 2006, no. 3, pp. 3–8.The ro e of endoscopy in patients with chronic pancreatitis / D. G. Ad er, D. Lichtenstein, T. H. Baron [et a .] // Gastrointest Endosc. 2006. Vo . 63, N 7. P. 933–937.Adler D. G., Lichtenstein D., Baron T. H., eds. The role of endoscopy in patients with chronic pancreatitis. Gastrointest Endosc, 2006, vol. 63, no. 7, p. 933–937.Дусмухамедова З. Т., Фазилов А. А., Абзалова М. Я. Характерные особенности ультразвуковой картины хронического панкреатита // Молодой учёный. 2017. Т. 10, № 144. С. 133–136.Dusmukhamedova Z. T., Fazilov A. A., Abzalova M. Ya. Harakternye osobennosti ul'trazvukovoj kartiny hronicheskogo pankreatita [Characteristic especially the ultrasound picture of chronic pancreatitis]. Molodoj uchyonyj = Young Scientist, 2017, vol. 10, no. 144, pp. 133–136.Two-Dimensiona Wa sh Spectra Transform in Prob ems of Automated Ana ysis of U trasound Images / A. Kuzmin, H. C. A -Darraji, A. Su hom inov, S. Fi ist // Creativity in Inte igent Techno ogies and Data Science. CIT&DS 2023. Communications in Computer and Information Science / A. G. Kravets, M. V. Shcherba ov, P. P. Groumpos [et. a .]. Cham: Springer, 2023. https://doi.org/10.1007/978-3-031-44615-3 32.Kuzmin A., Al-Darraji H. C., Sukhomlinov A., Filist S. Two-Dimensional Walsh Spectral Transform in Problems of Automated Analysis of Ultrasound Images. Creativity in Intelligent Technologies and Data Science. CIT&DS 2023. Communications in Computer and Information Science; A. G. Kravets, M. V. Shcherbakov, P. P. Groumpos, eds. Cham, Springer Publ., 2023. https://doi.org/10.1007/978-3-031-44615-3_32Томакова Р. А., Филист С. А., Горбатенко С. А. Анализ гистологических изображений посредством морфологических операторов, синтезированных на основе преобразования Фурье и нейросетевого моделирования // Биотехносфера. 2010. № 3(9). С. 54– 60.Tomakova R. A., Filist S. A., Gorbatenko S. A. Analiz gistologicheskih izobrazhenij posredstvom morfologicheskih operatorov, sintezirovannyh na osnove preobrazovaniya Fur'e i nejrosetevogo modelirovaniya [Analysis of histological images by means of morphological operators synthesized on the basis of Fourier transform and neural network modeling]. Biotekhnosfera = Biotechnosphere, 2010, no. 3(9), pp. 54–60.Малютина И. А., Кузьмин А. А., Шаталова О. В. Методы и алгоритмы анализа рентгенограмм грудной клетки, использующие локальные окна в задачах обнаружения патологий // Прикаспийский журнал: управление и высокие технологии. 2017. Т. 3, № 39. С. 131–138.Malyutina I. A., Kuzmin A. A., Shatalova O. V. Metody i algoritmy analiza rentgenogramm grudnoj kletki, ispol'zuyushchie lokal'nye okna v zadachah obnaruzheniya patologij [Methods and algorithms of chest X-ray analysis using local windows in pathology detection tasks]. Prikaspijskij zhurnal: upravlenie i vysokie tekhnologii = Caspian Journal: Management and High Technologies, 2017, vol. 3, no. 39, pp. 131–138.Vio a P., Jones M. Robust rea -time face detection // Proceedings Eighth IEEE Internationa Conference on Computer Vision. ICCV 2001. Vancouver, Canada: BC, 2001. P. 747. https://doi.org/10.1109/ICCV.2001.937709.Viola P., Jones M. Robust real-time face detection. Proceedings Eighth IEEE International Conference on Computer Vision. ICCV 2001. Vancouver, Canada, BC Publ., 2001, p. 747. https://doi.org/10.1109/ICCV.2001.937709Классификация медицинских изображений на основе анализа спектров локальных окон / С. А. Филист, Д. С. Кондрашов, А. А. Кузьмин, А. Ю. Сухомлинов, Ч. Х. Аль-Дарраджи // Медицинская техника. 2023. № 5. С. 18–20.Filist S. A., Kondrashov D. S., Kuzmin A. A., Sukhomlinov A. Yu., Al-Darraji Ch. Kh. Klassifikaciya medicinskih izobrazhenij na osnove analiza spektrov lokal'nyh okon [Classification of medical images based on the analysis of the spectra of horizontal windows]. Medicinskaya tekhnika = Medical Equipment, 2023, no. 5, pp. 18–20.Papageorgiou C., Oren M., Poggio T. A genera framewor for object detection // Sixth Internationa Conference on Computer Vision. Bombay, India, 1998. https://doi.org/10.1109/ ICCV.1998.710772.Papageorgiou C., Oren M., Poggio T. A general framework for object detection. Sixth International Conference on Computer Vision. Bombay, India, 1998. https://doi.org/10.1109/ICCV.1998.710772Многослойные морфологические операторы для сегментации сложноструктурируемых растровых полутоновых изображений / С. А. Филист, А. Р. Дабагов, Р. А. Томакова, И. А. Малютина, Д. С. Кондрашов // Известия Юго-Западного государственного университета. Серия: Управление, вычислительная техника, информатика. Медицинское приборостроение. 2019. Т. 9, № 3. С. 44–63.Filist S. A., Dabagov A. R., Tomakova R. A., Malyutina I. A., Kondrashov D. S. Mnogoslojnye morfologicheskie operatory dlya segmentacii slozhnostruk-turiruemyh rastrovyh polutonovyh izobrazhenij [Multilayer morphological operators for segmentation of complexly structured raster halftone images]. Izvestiya Yugo-Zapadnogo gosudarstvennogo universiteta. Seriya: Upravlenie, vychislitel'naya tekhnika, informatika. Medicinskoe priborostroenie = Proceedings of the Southwest State University. Series: Control, Computer Engineering, Information Science. Medical Instruments Engineering, 2019, vol. 9, no. 3, pp. 44–63.Томакова Р. А., Филист С. А. Метод обработки и анализа сложноструктурируемых изображений на основе встроенных функций среды MATLAB // Вестник Читинского государственного университета. 2012. Т. 1, № 80. С. 3–9.Tomakova R. A., Filist S. A. Metod obrabotki i analiza slozhnostrukturiruemyh izobrazhenij na osnove vstroennyh funkcij sredy MATLAB [Method of processing and analysis of complex structured images based on the built-in functions of the MATLAB environment]. Vestnik Chitinskogo gosudarstvennogo universiteta = Bulletin of the Chita State University, 2012, vol. 1, no. 80, pp. 3–9.Томакова Р. А., Филист С. А., Насер А. А. Нечеткие нейросетевые технологии для выделения сегментов с патологическими образованиями и морфологическими структурами на медицинских изображениях // Биомедицинская радиоэлектроника. 2012. № 4. С. 43–49.Tomakova R. A., Filist S. A., Nasser A. A. Nechetkie nejrosetevye tekhnologii dlya vydeleniya segmentov s patologicheskimi obrazovaniyami i morfologicheskimi strukturami na medicinskih izobrazheniyah [Fuzzy neural network technologies for isolating segments with pathological formations and morphological structures in medical images]. Biomedicinskaya radioelektronika = Biomedical Radioelectronics, 2012, no. 4, pp. 43–49.Томакова Р. А., Филист С. А., Руденко В. В. Нечеткая сетевая модель интеллектуального морфологического оператора для формирования границ сегментов // Научные ведомости Белгородского государственного университета. 2011. Т. 1, № 96. С. 188– 195.Tomakova R. A., Filist S. A., Rudenko V. V. Nechetkaya setevaya model' intellektual'nogo morfologicheskogo operatora dlya formirovaniya granic segmentov [Fuzzy network model of an intellectual morphological operator for the formation of segment boundaries]. Nauchnye vedomosti Belgorodskogo gosudarstvennogo universiteta = Scientific Bulletin of Belgorod State University, 2011, vol. 1, no. 96, pp. 188–195.Pedestrian detection using wave et temp ates / M. Oren, C. Papageorgiou, P. Sinha, E. Osuna, T. Poggio // Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Juan, PR, USA, 1997. P. 193–199.Oren M., Papageorgiou C., Sinha P., Osuna E., Poggio T. Pedestrian detection using wavelet templates. Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Juan, PR, USA, 1997, pp. 193–199.Freund Y., Schapire R. A decision-theoretic genera ization of onine earning and an app ication to boosting // Journa of computer and system sciences. 1997. N 55. P. 119–139.Freund Y., Schapire R. A decision-theoretic generalization of on-line learning and an application to boosting. Journal of Computer and System Sciences, 1997, no. 55, pp. 119–139.Po i ar R. Ensemb e based systems in decision ma ing // IEEE Circuit Syst. Mag. 2006. N 6. P. 21–45.Polikar R. Ensemble based systems in decision making. IEEE Circuit Syst. Mag., 2006, no. 6, pp. 21–45.Метод каскадной сегментации рентгенограмм молочной железы / С. А. Филист, А. Р. Дабагов, Р. А. Томакова, И. А. Малютина, Д. С. Кондрашов // Известия Юго-Западного государственного университета. Серия: Управление, вычислительная техника, информатика. Медицинское приборостроение. 2019. Т. 9, № 1. С. 49–61.Filist S. A., Dabagov A. R., Tomakova R. A., Malyutina I. A., Kondrashov D. S. Metod kaskadnoj segmentacii rentgenogramm molochnoj zhelezy [The method of cascade segmentation of breast radiographs]. Izvestiya Yugo-Zapadnogo gosu-darstvennogo universiteta. Seriya: Upravlenie, vychislitel'naya tekhnika, infor-matika. Medicinskoe priborostroenie = Proceedings of the Southwest State University. Series: Control, Computer Engineering, Information Science. Medical Instruments Engineering, 2019, vol. 9, no. 1, pp. 49–61.Филист С. А., Шаталова О. В., Ефремов М. А. Гибридная нейронная сеть с макрослоями для медицинских приложений // Нейрокомпьютеры. Разработка и применение. 2014. № 6. С. 35–39.Filist S. A., Shatalova O. V., Efremov M. A. Gibridnaya nejronnaya set' s makrosloyami dlya medicinskih prilozhenij [Hybrid neural network with macro layers for medical applications]. Nejrokomp'yutery. Razrabotka i primenenie = Neurocomputers. Development and Application, 2014, no. 6, pp. 35–39.

The authors declare that there are no conflicts of interest present.