Выбор метода приоритизации тестовых наборов при регрессионном тестировании программной системы

Цель исследования. Целью проведенного исследования является проведение сравнительного анализа нескольких описанных в литературе методов приоритизации тестовых наборов для выбора наиболее перспективного метода для регрессионного тестирования программных систем.

Методы. Регрессионное тестирование, выполняемое для проверки ранее протестированного программного продукта после очередной модификации для устранения обнаруженных дефектов, связано с существенными затратами времени и средств. Методы приоритизации тестовых наборов направлены на определение оптимального (с точки зрения раннего обнаружения дефектов) и эффективного (с точки зрения количества выполненных тестовых случаев) порядка их выполнения. Известно несколько таких методов, и перед командой разработчиков программной системы возникает проблема выбора из них наиболее результативного. В данной работе рассмотрены следующие методы приоритизации: метод на основе анализа сходства текстов требований к программному обеспечению, метод на основе совместного анализа факторов риска и важности требований, метод на основе выявления критического компонента в исходном коде, метод на основе использования дополнительного покрытия функций и метод на основе анализа системы артефактов жизненного цикла разработки программного продукта.

Результаты. На основе сравнительного анализа рассмотренных методов приоритизации был сделан вывод о том, что среди рассмотренных альтернатив наиболее эффективным представляется метод, основанный на анализе системы артефактов жизненного цикла разработки программного продукта.

Заключение. Метод приоритизации, основанный на анализе системы артефактов жизненного цикла разработки программного продукта, наиболее полно соответствует базовым для современной методологии программной инженерии, принципам системного анализа и может быть использован для решения задач обеспечения качества программ.

1. Metaheuristic approach for constructing functional test-suites / G. H. Avila, J. J. Torres, H. L. Gonzalez, V. Hernandez // IET Software. 2013. Vol. 7, N 2. Р. 104-117.

2. Rajarathinam K., Natarajan S. Test suite prioritisation using trace events technique // IET Software. 2013. Vol. 7, N 2. P. 85-92.

3. A dynamic test prioritisation based on du-chain coverage for regression testing / L. Pan, T. Wang, J. Qin, X. Xiang // International Journal of Embedded Systems. 2018. Vol. 10, N 2. P. 113-119.

4. Hasan A., Rahman A., Siddik M. S. Test case prioritization based on dissimilarity clustering using historical data analysis // International Conference on Information, Communiation and Computing Technology. Springer, 2017. P. 269-281.

5. Rahman M. A., Hasan M. A., Siddik M. S. Prioritizing dissimilar test cases in regression testing using historical failure data // Int. Journal of Computer Applications. 2018. Vol. 180, N 14. P.1-8.

6. Towards an efficient risk assessment in software projects-fuzzy reinforcement paradigm / A. K. Sangaiah, O. W. Samuel, X. Li, M. Abdel-Basset, H. Wang // Computers & Electrical Engineering. 2018. Vol. 71. P. 833-846.

7. Islam M. M., Marchetto A., Susi A. G. A multi-objective technique to prioritize test cases based on latent semantic indexing // 16th European Conference on Software Maintenance and Reengineering (CSMR). 2012. P. 21-30.

8. Arafeen M., Do H. Test case prioritization using requirements-based clustering // Sixth International Conference on Software Testing, Verification and Validation (ICST). IEEE, 2013. P. 312-321.

9. Srivastva P. R., Kumar K., Raghurama G. Test case prioritization based on requirements and risk factors // ACM SIGSOFT Software Engineering Notes. 2008. Vol. 33, N 4. P. 7.

10. Haidry S., Miller T. Using dependency structures for prioritization of functional test suites // IEEE Transactions on Software Engineering. 2013. Vol. 39, N 2. P. 258-275.

11. A simulation study on some search algorithms for regression test case prioritization /

12. S. Li, N. Bian, Z. Chen, D. You, Y. He // 10th International Conference on Quality Software (QSIC). IEEE, 2012. P. 72-81.

13. Malhotra R., Tiwari D. Development of a framework for test case prioritization using genetic algorithm // ACM SIGSOFT Software Engineering Notes. 2013. Vol. 38, N 3. P. 1-6.

14. MOTCP: a tool for the prioritization of test cases based on a sorting genetic algorithm and latent semantic indexing / M. M. Islam, A. Marchetto, A. Susi, F. B. Kessler, G. Scanniello // 28th International Conference on Software Maintenance (ICSM). IEEE. 2012. P. 654-657.

15. Mala D. J., Praba M. R. Critical components identification and verification for effective software test prioritization // Third International Conference on Advanced Computing (IcoAC). IEEE. 2011. P. 181-186.

16. Elbaum S., Malishevsky A. G., Rothermel G. Test case prioritization: a family of empirical studies // IEEE Transactions on Software Engineering. 2012. Vol. 28, N 2. P. 159-182.

17. Corriveau J., Shi W. Traceability in Acceptance Testing // Journal of Software Engineering and Applications, 2013. Vol. 6, N 10. P. 36-46.

18. Zielinska A. Framework for Extensible Application Testing // Journal of Software Engineering and Applications. 2012. Vol. 5, N 5. P. 351-363.

19. Siddik M. S., Sakib K. RDCC: an effective test case prioritization framework using software requirements, design and source code collaboration // 17th International Conference on Computer and Information Technology (ICCIT). IEEE. 2014. P. 75-80.

20. Siddik M. S., Rahman M. A., Sakib K. Prioritising test cases by collaborating artefacts of software development life cycle // Int. J. Forensic Software Engineering. 2019. Vol. 1, N 1. P. 47-72.