El Director del Instituto de Matemática, Física y Estadística (IMFE) de Universidad de Las Américas (UDLA), Ricardo Monge, presentó los resultados de una investigación sobre el uso de Inteligencia Artificial para analizar respuestas abiertas de estudiantes durante el VII Workshop en Procesamiento Automatizado de Textos y Corpus (WOPATEC), realizado en el marco del VI Congreso Internacional PRISMA.
La ponencia, titulada “Concordancia insuficiente entre modelos de lenguajes locales en la codificación temática de respuestas abiertas”, surge de un proyecto que estudia factores cognitivos, afectivos y de desempeño de estudiantes que participan en el taller de acompañamiento inicial de matemática, parte del plan de acompañamiento académico de UDLA.
El estudio se basó en más de 8.600 respuestas a la pregunta: ¿Por qué crees que a mucha gente no le gusta la matemática? Ante la dificultad de realizar una clasificación manual y las restricciones para utilizar plataformas comerciales con datos estudiantiles, se evaluaron modelos de lenguaje de código abierto ejecutados localmente, sin que la información saliera de los equipos institucionales.
Los resultados mostraron una baja concordancia entre distintos modelos de IA, con un alfa de Krippendorff de 0,43, cifra inferior a la recomendada para obtener conclusiones confiables. En contraste, un mismo modelo alcanzó una concordancia de 0,77 consigo mismo, evidenciando que las evaluaciones basadas en un único sistema pueden generar una percepción de confiabilidad superior a la real.
“Este trabajo surge de una necesidad concreta de nuestro proyecto: comprender qué piensan los estudiantes de primer año sobre la matemática a partir de lo que ellos mismos escriben. La IA puede ayudarnos a analizar miles de respuestas, pero antes debemos verificar que sus clasificaciones sean estables”, explicó Monge.
El Director destacó que, si bien la IA puede convertirse en una valiosa herramienta para la investigación educativa, la validación humana sigue siendo indispensable para garantizar la calidad y confiabilidad de los resultados. El proyecto continuará con nuevas etapas de análisis orientadas a comprender mejor las razones que explican el rechazo hacia la matemática entre estudiantes de primer año y fortalecer las estrategias de acompañamiento académico de la Universidad.