jue, 15 oct 2020
¿Cómo se elaboran los exámenes?

Para la elaboración de un examen, el Icfes sigue dos etapas: el diseño de una prueba y la construcción de preguntas. La primera etapa es el punto de partida de la construcción de preguntas y, la segunda, es el procedimiento metodológico que guía la construcción de una pregunta.

¿Cómo se diseñan las pruebas?

A partir de un propósito evaluativo, el diseño de un instrumento de evaluación debe garantizar por lo menos dos elementos: validez y confiabilidad. Por validez se entiende la consistencia entre lo que se pregunta y aquello que se ha definido como característico de un área de conocimiento evaluada. Por confiabilidad se alude al grado de estabilidad, consistencia y predictibilidad de una prueba a lo largo de diversas aplicaciones.

¿Cómo se garantiza que los instrumentos de evaluación sean válidos y confiables?

Para garantizar que las evaluaciones sean válidas y confiables, el Icfes diseña las pruebas estandarizadas con base en el diseño centrado en evidencias (en adelante DCE). Esta metodología permite inferir, a partir de la recolección de una serie de evidencias, si un evaluado posee o no los conocimientos, habilidades y destrezas (en adelante CHD) definidos en el dominio de una prueba. 

Desde esta perspectiva metodológica, para diseñar evaluaciones, se deben tener en cuenta tres premisas:

(1) una evaluación debe estar diseñada a partir de un dominio y debe buscar comprender cómo los CHD se adquieren y se usan;

(2) las inferencias que se hacen sobre lo que los evaluados saben, pueden hacer o deben hacer, deben estar basadas en las evidencias recogidas por medio de la evaluación, y

(3) el propósito de la evaluación debe ser lo que motive la toma de decisiones en cuanto a su diseño, teniendo en cuenta los recursos disponibles, las limitaciones y los posibles usos que se hagan de la prueba.

¿Cómo funciona la metodología en el diseño del instrumento?

Para lograr la coherencia entre el dominio, las tareas que resuelve el estudiante y las inferencias que se deben realizar sobre los resultados obtenidos en la prueba, esta metodología propone una serie de pasos que permiten desagregar el dominio y generar un puente entre lo que se quiere evaluar (conjunto de competencias, conocimientos, habilidades o destrezas de un área) y las tareas que debería desarrollar un estudiante para dar cuenta de las CHD que se evalúan.

1. Realizar un análisis de los CHD del dominio que se planean evaluar. De allí se obtienen las metodologías, herramientas y habilidades específicas dentro de cada área del conocimiento evaluada. En otras palabras, se trata de responder a la pregunta ¿qué se va a evaluar?

2. Especificar las afirmaciones que se van a hacer sobre los rasgos de los evaluados una vez aplicada la prueba. Las afirmaciones son enunciados que se pueden hacer sobre los evaluados con base en su desempeño en una prueba; es decir, se trata de establecer qué se quiere decir del evaluado con base en sus respuestas.

3. Tomar decisiones acerca de las evidencias que se requieren para apoyar las afirmaciones que se efectúen sobre los evaluados. Según Mislevy, Almond y Lukas (2003), una evidencia es la información u observación hecha a partir de la evaluación que permite hacer inferencias sobre aspectos del desempeño de los evaluados a partir de comportamientos observables en determinadas situaciones. Para formular una evidencia, se suele indagar por ¿qué debe mostrar el evaluado que permita hacer la afirmación deseada?

4. Desarrollar las tareas que provean la evidencia deseada, teniendo en cuenta las limitaciones de la evaluación. Para Mislevy, Almond y Lukas (2003), una tarea es una unidad de trabajo que se le pide a un evaluado que realice durante una prueba. Una tarea es una actividad específica que el evaluado puede llevar a cabo mediante la selección de una opción en un ítem de opción múltiple, en la escritura de una oración o un ensayo en una prueba con preguntas abiertas, entre otros. A partir de estas tareas, se construyen los ítems de una prueba. En otras palabras, la tarea responde a lo que debe hacer un evaluado para dar cuenta de las evidencias que se esperan obtener.

5. Realizar el armado de las evaluaciones en distintas formas de prueba que evalúen todas las afirmaciones planteadas.

6. Proveer reglas de calificación para las tareas que permitan extraer las evidencias que soporten las afirmaciones.

En resumen, se puede indicar que, con base en un dominio, a través de un proceso deductivo, se generan afirmaciones, evidencias y tareas; es decir, las especificaciones que conforman la estructura de una prueba. Adicionalmente, mediante un análisis inferencial es posible, a partir de las tareas que lleva a cabo el evaluado, recolectar evidencias que permitan sustentar las afirmaciones relacionadas a un dominio.

Por otra parte, como parte de las estrategias para delimitar los CHD que pertenecen al dominio de una prueba, el DCE recomienda el desarrollo de “patrones de diseño” (Mislevy, Haertel, Riconscente, Rutstein, Ziker, 2017, p. 22). Estos patrones permiten presentar los ítems en un formato determinado, el cual considera las características de los evaluados, la edad, grado escolar e inclusive a necesidades asociadas a una discapacidad particular. Para el caso de la prueba de inglés, por ejemplo, los patrones de diseño están incorporados en las especificaciones de la prueba desde la adopción del Marco Común Europeo de Referencia para las Lenguas (Consejo de Europa, 2002) en el año 2007, y están siendo adaptados a las condiciones de accesibilidad del DUE.)

 

Bibliografía sobre el diseño de las pruebas

Mislevy, R., Almond, R., & Lukas, J. (2003). A brief introduction to evidence-centered design. ETS Research Report Series, 2003(1), i-29. doi: 10.1002/j.2333-8504. 2003.tb01908.

Mislevy, R. J., Haertel, G., Riconscente, M., Rutstein, D. W., Ziker, C. (2017). Evidence-centered assessment design. In Assessing Model Based Reasoning using Evidence Centered Design. A Suite of Research Based Design Pattern. pp. 19-24. Routledge.

¿Cómo se construyen preguntas?

El proceso de construcción, revisión y validación de pruebas tiene como propósito tomar decisiones sobre aspectos teóricos, metodológicos y prácticos que están encaminados a garantizar la calidad de las pruebas desde el punto de vista académico y técnico.

Si bien el Icfes coordina todo el proceso de construcción de pruebas, se cuenta con la participación de universidades, asociaciones de profesionales, asociaciones de facultades, docentes de educación básica y media, profesores universitarios, estudiantes de último año de pregrado y estudiantes de postgrado, entre otros, que apoyan la puesta en marcha de los diferentes proyectos en desarrollo. Es decir, el proceso de construcción de ítems exige dinámicas de reflexión y discusión entre pares y el apoyo de expertos que garanticen la calidad y pertinencia de cada pregunta.

Los pasos que se siguen para la construcción de una pregunta incluyen talleres de construcción con expertos, revisión y validaciones por parte de los gestores de las pruebas y asesores externos, correcciones de estilo, revisiones y controles a la diagramación y pilotajes. Es importante mencionar que el seguimiento y evaluación de cada una de las etapas del proceso permite una cualificación mediante la incorporación de nuevos elementos y la identificación de aspectos en los que se requiere mejoramiento.

¿Qué es el diseño universal?

El Icfes ha venido trabajando en estrategias para elaborar pruebas inclusivas, es decir pruebas que sean accesibles para toda la población y en los diferentes niveles de la educación: básica, media y superior. Para ello, ha venido adoptando los principios del diseño universal (en adelante DUE) en algunas de sus pruebas. El DUE busca que todos los estudiantes tengan la oportunidad de mostrar sus competencias con respecto a un dominio. Este diseño se define como una técnica de construcción de instrumentos que permite suprimir las barreras para que toda la población estudiantil pueda entre en comunicación con la prueba y evidencie sus conocimientos, habilidades y destrezas (en adelante CHD) o competencias en el dominio evaluado.

 

Suprimir las barreras no implica un cambio en los CHD que son evaluados y que fueron definidos en los marcos de referencia de cada área, según el propósito de la prueba.

¿Cómo se logra que una prueba sea accesible?

De acuerdo con los lineamientos del DUE, una prueba debe cumplir con los siguientes siete principios para que sea accesible:

1. Evaluación inclusiva de la población

Las pruebas del Icfes deben aplicarse a toda la población estudiantil; por tanto, deben medir el desempeño de los estudiantes independientemente de su situación socioeconómica, identidad cultural, lingüística, y de sus necesidades de aprendizaje o discapacidad física o cognitiva. Una prueba para todos sin ningún tipo de exclusión.

2. Constructo definido con precisión

Para definir con precisión el constructo evaluado, el Icfes se apoya en el diseño centrado en evidencias (DCE). Con este modelo, se busca garantizar la validez de las inferencias que se generan a partir de las respuestas sobre los CHD de los evaluados. El constructo debe tener la precisión adecuada para reconocer cuales son las habilidades y qué barreras se pueden presentar a la hora de evaluar esas CHD. Se busca prevenir o eliminar todas las posibles barreras cognitivas, sensoriales y físicas que no tengan relación con los CHD que se buscan evaluar.

3. Ítems no sesgados

Un ítem se considera sesgado si alguna subpoblación tiene una ventaja o desventaja para contestar de manera correcta la prueba. Los sesgos se dan por factores externos al proceso de educación y surgen, particularmente, cuando uno o varios ítems indagan por contenidos, habilidades o destrezas que podrían ser familiares para unos, desconocidos para otros u ofensivos para una población en particular, dadas sus características de género, raza, discapacidad, etc. En esa medida, la prueba debe garantizar que la información que circula en los textos o situaciones de evaluación no inducen a sesgo.

4. Susceptibilidad a las acomodaciones

Según los principios del DUE (Thompson, Johnstone y Thurlow, 2002), tanto los instrumentos de evaluación como los ítems permiten ciertos cambios para garantizar que los evaluados puedan acceder adecuadamente a la prueba; estos cambios se conocen como acomodaciones, sin que haya necesidad de hacer adaptaciones adicionales. Esto quiere decir que, una vez un ítem sea construido, si se han aplicado estos principios en su diseño, este podría acomodarse a otros formatos —por ejemplo, al braille—. Otro tanto sucede con las gráficas: si el contexto de un ítem construido bajo los principios del DUE presenta imágenes, estas deben ser susceptibles de describirse de manera verbal o escrita, o poder ser traducidos a la lengua de señas.

5. Instrucciones y procedimientos sencillos, claros e intuitivos

Cada instrumento debe contar con instrucciones y procedimientos que sean entendibles y aplicables por poblaciones diversas; esto permite el acceso inclusivo a las pruebas.

6. Máxima lecturabilidad y comprensibilidad

La lecturabilidad es una propiedad textual que determina la facilidad para acceder al contenido de los textos. Esta accesibilidad depende de:

  1. a. Elementos sintácticos: Se cuentan aquí, entre otros, las construcciones gramaticales sencillas de la forma sujeto-verbo-predicado; la separación de las ideas con punto seguido y no con comas; y el uso mínimo de oraciones subordinadas, palabras cortas y de pocas sílabas.
  2. b. Elementos semánticos: Los elementos semánticos hacen referencia al vocabulario no especializado y la elección de palabras de alta frecuencia de uso.
  3. c. Elementos pragmáticos: Estos elementos incluyen evitar el uso del lenguaje figurado, el doble sentido y los juegos de palabras. Solo en la medida en que la prueba busque examinar las habilidades para interpretar estas expresiones, los ítems deben incluir esos elementos pragmáticos. Por esto, en las demás pruebas en las que la pragmática no sea el objeto de evaluación, es aconsejable evitar tales recursos lingüísticos.

7.  Máxima legibilidad

La legibilidad está relacionada con el principio anterior, pero atañe a la forma de presentación de los ítems. En términos generales, la legibilidad hace referencia a la capacidad para decodificar con facilidad un texto, una gráfica o el formato de respuesta.

En el caso de los textos, esto involucra aspectos como el tamaño y tipo de letra, el contraste de color, entre otros.

Para el caso de las gráficas, tablas e ilustraciones, además de tener en cuenta aspectos de diseño, debe verificarse su relación y su pertinencia con respecto al ítem que las contiene. En lo que se refiere al formato de respuesta, por ejemplo, no se debe desfavorecer a personas con ciertas discapacidades visuales, auditivas o motrices.

Con los anteriores criterios el Icfes busca permitir a todos los evaluados con distintas situaciones socioeconómicas, identidades culturales, lingüísticas, necesidades de aprendizaje, o discapacidades físicas o cognitivas acceder a la prueba para demostrar su desempeño en los CHD evaluados.

Bibliografía sobre el diseño universal

Thompson, S. J., Johnstone, C. J., & Thurlow, M. L. (2002). Universal Design applied to large scale assessments (Synthesis Report 44). Minneapolis, MN: University of Minnesota. NCEO

Espacio exclusivo de administradores