Метод формирования линейных шкал оценки результатов обучения с контролем адекватности индикаторных переменных

Целью исследования является конструирование линейной шкалы для оценки результатов обучения и оценка релевантности индикаторных переменных, участвующих в формировании шкалы.

Методы. Анализ существующих подходов к оцениванию компетенций показал, что наиболее эффективным подходом является деятельностный подход, предполагающий оценку компетенций как результат текущего, рубежного и/или итогового контроля по дисциплине или группе дисциплин. Для этого необходима шкала – измерительный инструмент, позволяющий оценить уровень знаний по данной компетенции. Качество измерительного инструмента оценивалось в рамках теории латентных переменных на основе модели Раша. Использовалось интерактивная среда «Измерение латентных переменных», разработанная в лаборатории объективных измерений Кубанского государственного университета, и программное обеспечение RUMM 2020, которое широко применяется в нашей стране для обработки результатов тестирования обучающихся.

Результаты. Для универсальной компетенции «Способен управлять своим временем, выстраивать и реализовывать траекторию саморазвития на основе принципов образования в течение всей жизни» разработано программное обеспечение и пул тестовых заданий. В рамках теории латентных переменных протестирована валидность линейной шкалы для этой компетенции. Определены индикаторы линейной шкалы, которые наиболее адекватно характеризуют качество оценки уровня знаний, выявлены индикаторы с наибольшей и наименьшей чувствительностью к уровню знания по этой компетенции.

Заключение. Разработанная линейная шкала оценки результатов обучения использована для измерения уровня сформированности универсальной компетенции УК-6 у студентов Кубанского государственного университета. Полученные результаты необходимы для мониторинга формирования компетенции УК-6 и для определения факторов, влияющих на формирование этой компетенции.

1. Аглямова З. Ш., Камашева Ю. Л., Шевченко Д. В. Об одном подходе к измерению сформированности компетенций // Азимут научных исследований: педагогика и психология. 2018. Т. 7, № 2(23). С. 15‒18.

2. Кузьменко И. В. Оценка сформированности профессиональных компетенций выпускников в свете требований ФГОС ВПО // Территория новых возможностей. Вестник Владивостокского государственного университета экономики и сервиса. 2013. Т. 3, № 21. С. 89‒91.

3. Михайленко Т. С. Компетентностный подход в оценивании качества результатов обучения студентов // Концепт. 2014. № S22. С. 51‒55.

4. Robertson S. I. Global competences and 21st century higher education – And why they matter // International Journal of Chinese Education. 2021. Vol. 10, no. 1. P. 1‒8.

5. Jónsson Ó. P., Rodriguez A. G. Educating democracy: Competences for a democratic culture // Education, Citizenship and Social Justice. 2019. Vol. 16, no. 1. P. 62‒77.

6. Wagenaar R. Evidencing competence in a challenging world. European higher education initiatives to define, measure and compare learning // International Journal of Chinese Education. 2021. Vol. 10, no. 1. P. 1‒13.

7. Семенчук Л. В. Педагогическая оценка как стимул для учащегося. Эффективность педагогической оценки // Школьная педагогика. 2017. Т. 3, № 10. С. 6‒8.

8. Колдина М. И., Костылева Е. А., Трутанова А. В. Эссе как способ контроля знаний и оценивания компетенций // Балтийский гуманитарный журнал. 2017. Т. 6, № 3(20). С. 178‒180.

9. Жданкина И. Ю., Игнатьева Н. Н. Оценка сформированности компетенций на занятиях по иностранному языку в неязыковых вузах // Kant. 2018. Т. 2, № 27. С. 41‒47.

10. Лакман И. А., Иванова А. Д. Перспективы применения кейс-обучения в высшей школе // Электронное обучение в непрерывном образовании 2018: V Международная научно-практическая конференция. Ульяновск: Ульяновский государственный технический университет, 2018. С. 433‒440.

11. Быкова Н. И. Исследование «кейс-метода»: Теоретические аспекты. СПб.: Санкт-Петербургский государственный экономический университет, 2020. 16 c.

12. Долгоруков А. М. Метод case-study как современная технология профессионально ориентированного обучения. URL: http://evolkov.net/case/case.study.html (дата обращения: 18.09.2023).

13. Мирза Н. В., Умпирович М. И. Кейс-метод как современная технология профессионально ориентированного обучения студентов // European science review. 2019. № 3– 4. С. 82–85.

14. Фролов В. Н., Валишина Д. А. Портфолио как эффективная педагогическая технология в XXI веке // Молодой ученый. 2021. Т. 27, № 369. С. 275‒278.

15. Остапович О. В., Миллер В. В., Костюнина А. А. Оценивание уровня сформированности общепрофессиональных компетенций будущих педагогов-психологов на основе использования веб-квест технологии // Сибирский педагогический журнал. 2017. № 6. С. 93‒100.

16. Богульская Н. А., Кучеров М. М. Автоматизированное тестирование как способ оценивания уровня сформированности компетенций студентов на основе исследования действием // Вестник Красноярского государственного педагогического университета им. В. П. Астафьева. 2019. Т. 2, № 48. С. 87‒93. https://doi.org/10.25146/1995-0861-2019- 47-1-125.

17. Наумчик Е. Е. Методика оценивания уровня сформированности компетенций в процессе обучения специалистов по эксплуатации вооружения, военной и специальной техники // Известия Волгоградского государственного педагогического университета. 2021. Т. 8, № 161. С. 88‒96.

18. Stemler S. E., Naples A. Rasch Measurement v. Item Response Theory: Knowing When to Cross the Line // Practical Assessment, Research, and Evaluation. 2021. Vol. 26. P. 1‒16. https://doi.org/10.7275/v2gd-4441.

19. Lim L., Chapman E. Validation of the Moral Reasoning Questionnaire against Rasch Measurement Theory // Journal of Pacific Rim Psychology. 2022. Vol. 16. P. 1‒26.

20. Papini N., Kang M., Ryu S., Griese E. Taylor Wingert, Herrmann S. Rasch calibration of the 25-item Connor-Davidson Resilience Scale // Journal of Health Psychology. 2020. Vol. 26, N 3. P. 1976‒1987.

21. Enoch Teye-Kwadjo, Gideon P. de Bruin Rasch Analysis of the Proactive Personality Scale // Psychological Rep. 2022. Vol. 125, N 5. P. 2788‒2806.

22. Aryadoust V., Li Ying Ng, Sayama H. A comprehensive review of Rasch measurement in language assessment: Recommendations and guidelines for research // Language Testing. 2020. Vol. 38, N 1. P. 6‒40.

23. Babcock B., Hodge K. J. Rasch Versus Classical Equating in the Context of Small Sample Sizes // Educational and Psychological Measurement. 2019. Vol. 80, N 3. P. 499‒521.

24. Andrich D., Marais I. A course in Rasch measurement theory: Measuring in the educational, social and health sciences. Singapore: Springer, 2019. 482 p.

25. Bond T. G., Yan Z., Heene M. Applying the Rasch Model: Fundamental Measurement in the Human Sciences. New York: Routledge, 2020. 376 p.

26. Маслак А. А. О необходимости экспериментальной оценки эффективности педагогических технологий // Педагогическая информатика. 1999. № 2. С. 54‒61.

27. Исследование точности измерения латентной переменной в зависимости от диапазона варьирования набора индикаторов / А. А. Маслак, С. И. Моисеев, С. А. Осипов, С. А. Поздняков // Радиоэлектроника, информатика, управление. 2017. № 1 (40). С. 42‒ 49.

28. Осипов С. А., Маслак А. А. Оценивание параметров модели Раша методом парных сравнений // Теория и практика измерения компетенций и других латентных переменных в образовании: материалы XV Всероссийской (с международным участием) научно-практической конференции (03–05 февраля 2011 года) и XVI (01–03 июля 2011 года). Славянск-на-Кубани: Издательский центр Славянский-на-Кубани государственный педагогический институт, 2011. С. 65‒72.

29. Рыбкин А. Д., Маслак А. А. Формирование и мониторинг креативных способностей школьников // Концепт. 2016. № S3. С. 76‒80.

30. Маслак А. А., Осипов С. А., Поздняков С. А. Измерение и мониторинг уровня жизни населения в регионах Южного федерального округа Российской Федерации // Теория и практика измерения компетенций и других латентных переменных в образовании: материалы X Всероссийской (с международным участием) научно-практической конференции. Славянск-на-Кубани: Славянский-на-Кубани государственный педагогический институт, 2008. С. 131–155.

31. Maslak A. A., Usova L.V. Statistical analysis of creative self-efficacy of students depending on their department, grade and gender // 13th annual International Conference of Education, Research and Innovation (ICERI) / edited by L. Gómez Chova, A. López Martínez, I. Candel Torres. Seville: IATED Academy, 2020. P. 0610‒0617.

32. Maslak A. Investigation of Measurement Precision of Latent Variables Depending on the Noise Test Results // Proceeding of the International Scientific Conference. Rezekne: Rezekne Academy of Technologies, 2019. Vol. 5. P. 422–429.

33. Andrich D., Sheridan B., Luo G. RUMM2020: Rasch Unidimensional Measurement Models software and manual. Perth, Australia: RUMM Laboratory, 2005.