La Teoría Clásica del Test y la Teoría de Respuesta al Ítem

Se presenta el reporte psicométrico del CENEVALÍN 2014 considerando los aspectos de dificultad y discriminación, fundamentada por la teoría clásica de los test y la teoría de respuesta al ítem. La teoría clásica permite calcular las puntuaciones de los sustentantes a partir de la puntuación verdadera y el error de medida.

La prueba se aplicó a 277 alumnos de psicología de distintas universidades mexicanas. La prueba consta de 15 reactivos que evalúan las competencias en investigación científica.

Análisis según la teoría clásica de los test.

Una vez recolectadas las calificaciones se encontraron tres grupos clasificados según las puntuaciones obtenidas. Los grupos se formaron a partir de las media de las calificaciones obtenidas (40.60) y adición o sustracción de una desviación estándar (12.82). El primer grupo lo conformaron los alumnos que alcanzaron calificaciones mayores a 53.42% o la calificación media más la desviación estándar (30 alumnos y 10.83% el del Total). El grupo intermedio lo conforman los alumnos con calificaciones que varían entre los 53.41% y los 27.78% (185 alumnos y el 66.78% del total). Mientras que el grupo final está formado por aquellos alumnos que obtuvieron calificaciones inferiores a los 27.78% o la media de las puntuaciones menos la desviación estándar (62 alumnos y el 22.39% del total).

Análisis de dificultad

El análisis por reactivo se realizó cuantificando la frecuencia con que los alumnos elegían la respuesta correcta a un reactivo en específico. Se encontró que en promedio los reactivos se respondían correctamente el 40.6% de las veces. El reactivo con un porcentaje mayor de respuestas correcta fue el R013 con un 75.01% de aciertos, mientras que los reactivos con el menor número de aciertos fueron el R06 y el R012 con 20.6% y el 20.9% respectivamente.

Para determinar la efectividad de los distractores se cuantificó la frecuencia con que los alumnos elegían cualquier respuesta distinta a la correcta. La siguiente tabla ilustra como quedaron los porcentajes de cada respuesta por reactivo.

Respuesta correcta del reactivo

Los reactivos R04, R06, R09, R11, R12 y R14 presentan un mayor porcentaje de elección en uno o en varios distractores que en la opción correcta. Específicamente en los reactivos R12 y R09, más de la mitad de los sustentantes eligieron una opción incorrecta (54.9% en la opción D y 50.2% en la opción B respectivamente) y en segundo lugar los sustentantes eligieron la opción correcta (20.9% y 31.0% respectivamente). Esto indica que este par de reactivos son demasiado difíciles y existe una posibilidad de que exista un error ya sea en la clave o en la redacción de los distractores. Algo similar ocurre en el reactivo R06 pues el porcentaje de respuestas en el distractor B (49.8%) supera en más de 20% al porcentaje de aciertos de la respuesta correcta (20.6% en la opción A).

Por otro lado el reactivo R11, la diferencia en los porcentajes de las respuestas distractoras de los incisos B (27.8%,), C (30.0%,) y D (22.7%) no supera el 8%, lo que sugiere que existe mucha ambigüedad en la redacción del reactivo, pues los sustentantes no son capaces de identificar diferencias entre estas tres opciones. En el caso de los reactivos R04 y R14, la diferencia en el porcentaje de las dos opciones más elegidas no es mayor a 5% (35.7%-40.4% y 30.3%-35.5% respectivamente) lo que también sugiere ambigüedad en la redacción de estas dos opciones o en el tallo del reactivo.

Sin embargo la posible ambigüedad en los reactivos también se presenta en aquellos en los que la opción correcta tuvo mayor frecuencia. En el caso del R07, los sustentantes se inclinan a elegir las opciones A (36.5%) y B (37.9%) siendo esta ultima la opción correcta. En el caso de las otras dos opciones, estas tienen un porcentajes mucho menores, lo que lleva a concluir que los sustentantes podrían estar usando la adivinación, teniendo únicamente como opciones factibles la A y la B.

El reactivo R05 obtuvo resultados similares. La opción B (la correcta) fue elegida el 31.8% de las veces, seguida por la opción A (27.4%) y la opción D (23.5%), mientras que la opción que menos se presentó fue la C (17.3%). Los distractores de este reactivo están causando confusión en los sustentantes, pues tienen una alta frecuencia en relación a la opción correcta, la diferencia máxima entre los porcentajes de la opción correcta y la opción plausible menos elegida es de 14.5%.

El reactivo en el que los sustentantes acertaban más es el R13, pues el 75.1% de las respuestas es la correcta. De lo distractores de este reactivo, el B se presenta el 10.5% de las veces, el C el 9.7% de las veces y el A solo el 4.7% de los casos.

En general los reactivos R02 (opción C), R09 (opción D) y R13 (opción A) tienen una opción de respuesta con un porcentaje de aparición inferior al 5%; los reactivos R01, R03, R06, R08, R12, R13, R14 y R15 tienen una opción con un porcentaje menor al 10% pero mayor al 5%. Esto nos indica que estos reactivos tienen incisos que no cumplen su papel para distraer a los sustentantes que no reconocen la respuesta correcta.

- Conclusiones:

Con base en el análisis anterior se concluye que los reactivos R04, R06, R09, R11, R12 y R14 son los reactivos más difíciles ya que presentan un porcentaje de elección mayor en varias opciones incorrectas a comparación del porcentaje de las opciones correctas.

Por otro lado en los reactivos R05, R07 y R10, aunque la mayor parte de los alumnos los contesta adecuadamente, la diferencia entre la opción con mayor porcentaje de elección y la opción con el porcentaje inmediato inferior es muy poca. Estos reactivos necesitan ser revisados y corregidos, ya que es probable que los sustentantes elijan su respuesta por adivinación.

En el caso contrario, el reactivo R13 es el más sencillo por lo que es necesario corregirlo. Es necesario verificar la redacción del tallo o los distractores pues no están jugando su papel.

TEORÍA DE RESPUESTA AL ÍTEM

Ahora se presenta el reporte psicométrico del CENAVALÍN 2014 considerando los parámetros del modelo de Birnbaum: dificultad, la discriminación y el pseudoazar o adivinación, fundamentada por la teoría de respuesta al ítem.

La Teoría de Respuesta al Ítem (TRI) o Teoría de Rasgo Latente (TRL) asume que entre la respuesta que una persona ofrece a una pregunta o prueba, y el rasgo o habilidad (puede entenderse también la competencia, actitud, aptitud, etc.) de la persona, existe una relación no lineal, que se puede expresar en términos probabilísticos.

Esta teoría plantea tres posibles parámetros para evaluar un ítem. El primero conocido como dificultad simbolizado con la letra “b” se define como el punto de la escala de habilidad donde la probabilidad de responder correctamente el ítem es igual a 0,5. Otro parámetro es el índice de discriminación que indica hasta qué punto la pregunta puede discriminar entre sujetos que tienen un nivel alto de habilidad de aquellos que tienen un nivel bajo, representado con la letra “a”. El último parámetro se denomina coeficiente de azar o pseudoazar, se representa con la letra “c” e indica la probabilidad de contestar correctamente un ítem sin tener el nivel de habilidad exigido. Este parámetro trata de representar el efecto del azar.

La prueba se aplicó a 277 alumnos de psicología de distintas universidades mexicanas. La prueba consta de 15 reactivos que evalúan las competencias en investigación científica.

Análisis según la Teoría de Respuesta al Ítem

• Análisis por dificultad:

Se encontró que el reactivo R14 presenta una alta dificultad de 5.729. Los reactivos R03, R07, R09, R10, R11 Y R15, tienen un nivel de dificultad media, sin embargo, los reactivos R02, R04, R05, R06, R12 presentan una dificultad muy baja, por lo tanto existe una alta probabilidad de ser contestada de manera acertada. El R01 tiene una dificultad media al tener el valor positivo más bajo de 0.715. Sobresale el reactivo R08 al tener una muy baja dificultad con valor de -56.110.

• Análisis por discriminación:

El reactivo R01, R10 y RR13 presentan una buena discriminación con valores similares, el R02 discrimina de una manera exagerada con un valor de 96.246. Los reactivos R03, R04, R05 Y R06, R08 y el R12 discriminan de manera negativa. Los reactivos R07, R09, R11, R14 y R15 tienen una discriminación no tan marcada como los anteriores, sin embargo, tampoco discriminan negativamente.

• Análisis por adivinación:

Los reactivos R02, R03, R04, R07, R14 y R15 presentan un nivel de adivinación demasiado difícil, es decir que los reactantes no pueden predecir con facilidad. Los reactivos R05, R06, R11 y R12, tienen una dificultad media baja. Los reactivo R08, R09 Y R10, caen en una adivinación moderada a diferencia de los ítems R01 y R013, cuya probabilidad de