Methodology for creating grading rubrics for open-ended questions [Articol]

Abstract

Assessing open-ended questions requires explicit criteria and transparent procedures, especially in automated assessment contexts. This paper proposes a generalized framework, with mathematical formalization, for designing grading rubrics suitable for AI-based evaluation systems. Four rubric types are systematized: binary rubrics, rubrics with multiple compliance levels, rubrics with penalty points, and rubrics with weighting coefficients, including combined variants. For each type, formal equations for final-grade computation are provided, supporting algorithmic implementation. A seven-step rubric-development methodology is presented, emphasizing criterion completeness, formulation clarity, operationalization, and structural consistency. The proposed framework is platform-independent and illustrated through examples from programming education. It also supports comparability across rubric designs and assessment contexts. Evaluarea întrebărilor deschise necesită criterii explicite și proceduri transparente, în special în contextul evaluării automatizate. Lucrarea propune un cadru generalizat, cu formalizare matematică, pentru proiectarea rubricilor de evaluare aplicabile în sisteme bazate pe inteligență artificială. Sunt sistematizate patru tipuri de rubrici: binare, cu niveluri multiple de conformitate, cu penalizări și cu coeficienți de ponderare, inclusiv variante combinate. Pentru fiecare tip sunt prezentate formule de calcul al notei finale, adecvate implementării algoritmice. Este descrisă o metodologie în șapte pași pentru elaborarea rubricilor, cu accent pe completitudinea criteriilor, claritatea formulărilor, operaționalizare și structurare. Cadrul propus este independent de platformă și este ilustrat prin exemple din domeniul programării.