Icfes Instituto Colombiano para la Evaluación de la Educación

Miércoles, 10 Diciembre 2014 19:00

¿Cómo se elaboran las pruebas?

Las evaluaciones que se realizan a través de pruebas estandarizadas deben basarse en instrumentos válidos y confiables para que sea posible hacer inferencias apropiadas sobre los conocimientos, habilidades y capacidades de las personas evaluadas.

 

Una prueba es válida cuando mide lo que se quiere medir, es decir, que hay consistencia entre lo que se pregunta en la prueba y el referente que se definió para la evaluación. A su vez, una prueba es confiable cuando permite hacer mediciones precisas sobre lo que se está evaluando; la validez y la confiabilidad son elementos esenciales para producir resultados que describan, con un alto nivel de precisión, las competencias de las personas evaluadas.

 

Las pruebas diseñadas y aplicadas por el Icfes se estructuran bajo la metodología denominada diseño de especificaciones a partir del diseño centrado en evidencias. En síntesis, se trata de un conjunto de prácticas de desarrollo de instrumentos que busca definir lo que mide una prueba y apoyar las inferencias que se hacen con base en las evidencias derivadas de esta. Con ello, se busca asegurar la validez mediante la alineación de los procesos y productos de las pruebas con sus objetivos.

 

 

Metodología de diseño de especificaciones de las pruebas a partir del diseño centrado en evidencias

 

La metodología consiste en un conjunto de procesos –o pasos— que parten de la identificación de los conocimientos, las habilidades o las competencias que serán evaluadas a través de las pruebas y llegan hasta la definición de las preguntas, de forma tal que se garantiza que la correcta respuesta a las preguntas del examen sea evidencia del desarrollo de lo que se ha propuesto evaluar (ver figura 1).

 

Figura 1. Modelo usado actualmente en el diseño de pruebas en el Icfes

Figura 1. Modelo usado actualmente en el diseño de pruebas en el Icfes

  

El desarrollo de esta metodología se inicia con la identificación de lo que se va a evaluar (conocimientos, competencias o habilidades) a través de una prueba estandarizada. Esto puede estar definido en documentos oficiales como los estándares básicos de competencias del Ministerio de Educación Nacional (para educación básica y media) o pueden ser construidos para la evaluación y sustentados en marcos de referencia de las evaluaciones, como ocurre en Saber Pro, que evalúa estudiantes de educación superior. En esta fase participan docentes en ejercicio de los niveles y áreas evaluados, profesores universitarios y expertos en evaluación; en mesas de trabajo se define lo que debe ser evaluado en cada una de las áreas del conocimiento o programas de educación superior.

 

Una vez identificadas las competencias, habilidades o conocimientos que se van a evaluar, la metodología lleva a formular las afirmaciones. Estas son enunciados que se hacen sobre los conocimientos, habilidades y capacidades que se pretende inferir a partir de las respuestas dadas por los estudiantes en las pruebas. En otras palabras, la afirmación traduce el estándar en desempeños y permite dar cuenta del significado y alcance de los puntajes obtenidos por los estudiantes.

 

A partir de cada afirmación se construyen las evidencias, esto es, las acciones o productos observables que hacen posible verificar los desempeños a los que se refieren las afirmaciones. Estas deben responder a la siguiente pregunta: ¿qué deben hacer los estudiantes en las pruebas que permita inferir que tienen determinadas competencias, conocimientos o habilidades? Las evidencias son la base para la construcción de las preguntas de las pruebas.

 

El siguiente paso es la elaboración de tareas, que son enunciados que dan pautas para la construcción de las preguntas o ítems de una prueba. A través de las tareas es posible caracterizar la dificultad o complejidad de las preguntas.

 

Esta metodología de diseño de pruebas garantiza la elaboración de instrumentos de evaluación con igualdad de características durante un período largo de tiempo, debido a que provee los elementos necesarios para que grupos de personas encargadas de la construcción de preguntas puedan producir pruebas equivalentes. Con esto se asegura la comparabilidad de lo que se evalúa y de los resultados obtenidos en cada una de las aplicaciones. Asimismo, permite dar información explícita sobre lo que los estudiantes pueden o no hacer.

 

 

Construcción de preguntas por personal externo

 

El proceso de construcción, revisión y validación de pruebas tiene como propósito tomar decisiones sobre aspectos teóricos, metodológicos y prácticos que están encaminadas a garantizar la calidad de las pruebas desde el punto de vista académico y técnico.

 

Si bien el Icfes coordina todo el proceso de construcción de pruebas, se cuenta con la participación de universidades, asociaciones de profesionales, asociaciones de facultades, docentes de educación básica y media, profesores universitarios, estudiantes de último año de pregrado y estudiantes de postgrado, entre otros, que apoyan la puesta en marcha de los diferentes proyectos en desarrollo.

 

Para llevar a cabo esta actividad, los participantes deben dominar el marco de fundamentación conceptual, las intenciones evaluativas y las especificaciones del instrumento que se pretende desarrollar.  Asimismo, es fundamental reconocer que el propósito es producir un instrumento de evaluación con una estructura definida y no un agregado de ítems. Esta es una condición indispensable porque asegura que quienes desarrollen los ítems se comprometan con un propósito común y adelanten un trabajo articulado y armónico que asegura que cada ítem sea un aporte verdadero a la intención evaluativa, previamente definida, que se tiene con la prueba. Una vez se asegura este compromiso, puede decirse que se cuenta con las condiciones propicias para proceder a la fase de construcción de ítems.


El proceso de construcción de ítems exige dinámicas de reflexión y discusión entre pares y el apoyo de expertos que garanticen la calidad y pertinencia de cada pregunta. Una vez elaborados los ítems, son sometidos a revisiones por parte de expertos en los aspectos conceptuales o disciplinares, en técnicas de construcción, de estilo, etc., que sirven al propósito doble de controlar la calidad evaluativa y verificar que se disponga de las adecuadas condiciones editoriales del instrumento (ver figura 2).

 

Una vez aprobadas las preguntas por parte de estas instancias de revisión, pasan a ser validadas por otros docentes o expertos que no han participado del proceso de construcción y revisión anteriormente desarrollado. Además de revisar su validez conceptual, ellos verifican la pertinencia para la población evaluada.

Para aplicaciones de pruebas definitivas, es decir que ya han tenido una aplicación experimental luego de la conformación de las pruebas, son sometidas a la revisión de un especialista en el objeto evaluado, que es denominado ojo fresco, quien se encarga de verificar la integralidad de la prueba, es decir, se cerciora de la pertinencia académica y evaluativa frente al objeto y a la población evaluada.

 

Es importante mencionar que el seguimiento y evaluación de cada una de las etapas del proceso permite una cualificación constante de este, mediante la incorporación de nuevos elementos y la identificación de aspectos en los que se requiere mejoramiento.

 

Figura 2. Flujo de construcción y validación de ítems

Figura 2. Flujo de construcción y validación de ítems

 

Descargue AQUÍ la guía introductoria al diseño centrado en evidencias 2018 , elaborada por el Icfes. 

 

Visto 38804 veces Modificado por última vez en Martes, 28 Agosto 2018 15:14