Víctor Hugo García Ortega; Nicolás Ceferino Kemper Valverde; Josefina Bárcenas López; Enrique Ruiz-Velasco Sánchez
El modelo Transformador Pre-entrenado Generativo (GPT – Generative Pre-trained Transformer) es una de las técnicas de la Inteligencia Artificial Generativa (IAG) que provee una capacidad para comprender y generar texto en diferentes lenguajes. En este artículo se presenta una metodología para la evaluación de un modelo de IAG basado en la técnica de GPT. La metodología propuesta utiliza niveles de Complejidad y Abstracción para formar una matriz donde se definen ítems de evaluación. El caso de estudio que se aborda utiliza chatGPT versión 4.0 en un curso de Diseño de Sistemas Digitales de la Escuela Superior de Cómputo. Los resultados se presentan de manera gráfica mostrando que la IAG solo genera respuestas correctas cuando los niveles de abstracción y complejidad son bajos. Además, se propone el cálculo de un Coeficiente de evaluación basado en la suma ponderada del resultado de los ítems de la matriz de complejidad / abstracción aplicados a la IAG. El valor obtenido para el Coeficiente de evaluación de la IAG es de 1.35 usando una escala de evaluación para cada ítem entre cero y diez. Con la metodología presentada se propone el concepto del enfoque de aprendizaje de GAI-Learning.
Leer
