Valor Agregado y Aporte Relativo
¿Que son las medidas de Valor Agregado y Aporte Relativo?
Valor Agregado
Los cálculos de
valor agregado revelan el aporte que genera el paso por la educación superior en el desarrollo de las competencias básicas de un individuo, mediante la comparación entre el logro esperado y el logro real del individuo al finalizar su ciclo de educación (Arias et al (2009), Harris (2011)). Usualmente, estos cálculos se realizan mediante modelos multinivel o modelos jerárquicos, donde se tienen dos o más niveles de estimación Raudenbush y Willms, 1995).
En el primer nivel, se estima el nivel esperado de competencias que un individuo podría desarrollar durante esta etapa del ciclo educativo (Saber Pro esperado), utilizando como variable explicativa el nivel de competencias inicial (medido a través de Saber 11) (Ballou et al., 2004). En el segundo nivel, se estima el valor promedio de la diferencia entre el nivel de competencias desarrollado y el esperado entre los estudiantes de la unidad de análisis (Raudenbush, 2004). En el caso de los cálculos que realiza el Icfes, la unidad de análisis es la Institución-Núcleo Básico de Conocimiento (INBC). Es decir que, al final del ejercicio, se tienen estimaciones de valor agregado promedio de los estudiantes pertenecientes a un NBC de una Institución de Educación Superior (IES).
En el primer nivel, se estima el nivel esperado de competencias que un individuo podría desarrollar durante esta etapa del ciclo educativo (Saber Pro esperado), utilizando como variable explicativa el nivel de competencias inicial (medido a través de Saber 11) (Ballou et al., 2004). En el segundo nivel, se estima el valor promedio de la diferencia entre el nivel de competencias desarrollado y el esperado entre los estudiantes de la unidad de análisis (Raudenbush, 2004). En el caso de los cálculos que realiza el Icfes, la unidad de análisis es la Institución-Núcleo Básico de Conocimiento (INBC). Es decir que, al final del ejercicio, se tienen estimaciones de valor agregado promedio de los estudiantes pertenecientes a un NBC de una Institución de Educación Superior (IES).
Las estimaciones de valor agregado pueden generar valores negativos, debido a que el punto de referencia con el que se compara el nivel de competencias del individuo al finalizar su educación superior es el nivel esperado de dichas competencias, estimadas con base en los niveles de competencias iniciales. Por eso, al encontrar valores agregados negativos, nos encontramos frente a estudiantes que desarrollaron sus competencias menos de lo que estima el modelo.
Aporte Relativo
Los cálculos de valor agregado son medidas agregadas que promedian los valores encontrados para todos los estudiantes de la unidad de análisis seleccionada (INBC). Por esta razón, al realizar análisis de las medidas de valor agregado, se deben tener en cuenta dos factores documentados:
1) Alta heterogeneidad en el nivel inicial de competencias de los individuos, las medidas de valor agregado.
2) Alta correlación entre el nivel de competencias inicial (Saber 11) y el nivel de competencias final (Saber Pro).
2) Alta correlación entre el nivel de competencias inicial (Saber 11) y el nivel de competencias final (Saber Pro).
Por esta razón, los resultados de valor agregado se analizan a la luz del
aporte relativo de una unidad de análisis (INBC) respecto a otras unidades de análisis similares. Para este ejercicio, se identifican vecindades para cada unidad de análisis (INBC), conformadas por otras unidades que tienen similares condiciones. En particular, estas condiciones están determinadas por el nivel de competencias inicial, el cual se mide con el puntaje global promedio de los estudiantes en la prueba Saber 11.
Una vez identificada la vecindad de cada unidad de análisis, se estima para cada integrante de la vecindad el aporte relativo, equivalente a la diferencia entre su valor agregado y el valor agregado de la unidad de análisis de referencia. En las estimaciones que realiza el Icfes, dentro de cada vecindad, el aporte relativo de la INBC de referencia es igual a cero, y el aporte relativo de cada uno de los INBC de su vecindad es igual a la diferencia entre su valor agregado y el valor agregado de la INBC de referencia.
Una vez identificada la vecindad de cada unidad de análisis, se estima para cada integrante de la vecindad el aporte relativo, equivalente a la diferencia entre su valor agregado y el valor agregado de la unidad de análisis de referencia. En las estimaciones que realiza el Icfes, dentro de cada vecindad, el aporte relativo de la INBC de referencia es igual a cero, y el aporte relativo de cada uno de los INBC de su vecindad es igual a la diferencia entre su valor agregado y el valor agregado de la INBC de referencia.
De esta manera, los valores negativos de aporte relativo significan que, dentro de la vecindad, esos INBC tienen un menor valor agregado que el de la INBC de referencia para el análisis, mientras que los valores positivos indican que esas INBC tienen mayor valor agregado que la INBC de referencia.
Referencias
Arias, R., Soto, J. y Morera, M. (2009). Concepto y evolución de los modelos de valor añadido en educación Concept and evolution of educational value-added models. Revista de Educación.
Ver más
Ballou, D., Sanders, W., & Wright, P. (2004). Controlling for student background in value added assessment of teachers. Journal of Educational and Behavioral Statistics, 29(1), 37–65. Ver más
Harris, D. (2011). Value-Added Measures in Education: What Every Educator Needs to Know. Harvard Education Press. Ver más
Raudenbush, S., &Willms, J. (1995). The estimation of school effects. Journal of Educational and Behavioral Statistics, 20, 307–335. Ver más
Raudenbush, S. (2004). What are value-added models estimating and what does this imply for statistical practice? Journal of Educational and Behavioral Statistics, 29, 121–130. Ver más
Ballou, D., Sanders, W., & Wright, P. (2004). Controlling for student background in value added assessment of teachers. Journal of Educational and Behavioral Statistics, 29(1), 37–65. Ver más
Harris, D. (2011). Value-Added Measures in Education: What Every Educator Needs to Know. Harvard Education Press. Ver más
Raudenbush, S., &Willms, J. (1995). The estimation of school effects. Journal of Educational and Behavioral Statistics, 20, 307–335. Ver más
Raudenbush, S. (2004). What are value-added models estimating and what does this imply for statistical practice? Journal of Educational and Behavioral Statistics, 29, 121–130. Ver más
¿Cómo es la metodología de estimación que realiza el Icfes?
A continuación, se describe brevemente el procedimiento de estimaciones de valor agregado y aporte relativo que realiza el Icfes con base en los resultados de las pruebas Saber Pro. Para mayor detalle,
consultar el Informe Técnico haciendo clic aquí.
1. Realizar el cruce entre estudiantes que tomaron Saber Pro y sus resultados en Saber 11.
2. Aplicar filtros sobre el mínimo de observaciones para garantizar la confiabilidad de las estimaciones. Estos filtros se enumeran a continuación:
a. Se excluyen del estudio los registros que tienen dos o más módulos de Saber Pro con un puntaje igual a 0 o sin calificación, ya que son personas que por alguna razón no respondieron la prueba y pueden sesgar las estimaciones.
b. Se excluyen INBC que tengan menos de 25 estudiantes que hayan presentado la prueba Saber Pro.
c. Se excluyen INBC donde el porcentaje de estudiantes que cumplen los anteriores filtros con respecto al total de estudiantes que presentaron la prueba Saber Pro sea menor al 40%.
d. Por último, solo se hacen las estimaciones de valor agregado en aquellos NBC que cuenten con al menos cinco instituciones
b. Se excluyen INBC que tengan menos de 25 estudiantes que hayan presentado la prueba Saber Pro.
c. Se excluyen INBC donde el porcentaje de estudiantes que cumplen los anteriores filtros con respecto al total de estudiantes que presentaron la prueba Saber Pro sea menor al 40%.
d. Por último, solo se hacen las estimaciones de valor agregado en aquellos NBC que cuenten con al menos cinco instituciones
3. Estimar el
Valor Agregado. Este procedimiento se realiza mediante un modelo jerárquico, como se explicó en la sección anterior.
4. Identificar las vecindades de comparación. Para cada INBC, el conjunto de otras INBC (pertenecientes al mismo NBC) que tenga, en promedio, los estudiantes con puntajes de Saber 11 más parecidos.
5. Estimar el
Aporte Relativo dentro de cada vecindad de comparación.
Consideraciones importantes sobre la metodología
- Las estimaciones se realizan para las competencias genéricas de Lectura Crítica, Razonamiento Cuantitativo e Inglés. Las demás competencias (Competencias Ciudadanas y Escritura Crítica) no se tienen en cuenta para las estimaciones debido a la falta de observaciones.
- Hasta el año 2021, el Icfes aplicó el examen Saber Pro una vez al año. Sin embargo, una cohorte para un programa académico generalmente está conformada por estudiantes que ingresan en dos momentos del año y, por lo tanto pueden estar finalizando su programa académico en dos momentos distintos del año. Por esta razón, el Icfes toma como aproximación de la cohorte de estudiantes, los que presentaron Saber Pro en dos años consecutivos. Así, se tienen estimaciones para los períodos 2012-2013, 2013-2014, 2015-2016, 2017-2018, 2018-2019, 2019-2020 y 2020-2021.
- En el año 2016 se realizó una modificación a la estructura de evaluación de la educación superior. Ese año, se separaron los exámenes Saber Pro y Saber TyT y además se rediseñó la escala de calificación. Por esta razón, para el año 2016 no se realizaron estimaciones de Valor Agregado y Aporte Relativo.
- Hasta el año 2018, la unidad de análisis de las estimaciones realizadas por el Icfes eran los grupos de referencia. A partir de este año, se decide cambiar la unidad de análisis a Núcleo Básico de Conocimiento, ya que es una agrupación más específica.
¿Cuáles son los resultados para la educación universitaria en Colombia?
Consulta más información en los reportes de Aporte Relativo
El Icfes genera un
Reporte de Aporte Relativo para cada INBC para la cual se realizaron estimaciones de Valor Agregado y Aporte Relativo. Es importante señalar que el Icfes realiza estimaciones de Valor Agregado como un paso intermedio para realizar las estimaciones de Aporte Relativo, pero estos reportes solamente contienen resultados de estimaciones de Aporte Relativo, en relación con las INBC similares para cada INBC de referencia.
¿Cómo se pueden consultar los Reportes de Aporte Relativo?
- Regístrate haciendo clic aquí
- Accede a data Icfes haciendo clic aquí
- Consulta los Reportes de Aporte Relativo en la carpeta 9. Reportes de Valor Agregado y Aporte Relativo
