Aplicabilidad de la lingüística
textual y la psicolingüística en
la composición de los ítems de
selección múltiple del examen de
estado colombiano1
Cristian Bohórquez
Universidad Tecnológica de Pereira
Risaralda, Colombia
Resumen
Se presentan los resultados de una investigación que indagó la aplicabilidad de la
lingüística textual y la psicolingüística en la formulación de preguntas del examen
de estado colombiano. El objetivo fue hacer un tanteo de error de construcción en
una muestra de ítems proveniente del ICFES. El procedimiento aplicado permitió:
1. explicar el funcionamiento textual, semántico y cognitivo de la superestructura
textual Ítem de Selección Múltiple, 2. analizar la muestra hallando una cifra de
23% de error de construcción y 3. proponer estrategias de optimización para la
composición de cuestionamientos e interpretación de resultados.
Palabras clave: ICFES, evaluación, examen de estado colombiano, prueba Saber
11, diseño de pruebas de evaluación educativa, Ítem de Selección Múltiple.
Abstract
Applicability of Text Linguistics and Psycholinguistics in Multiple-Choice
Questions of the Colombian State Exam
This article presents the results of an investigation on the applicability of text
linguistics and psycholinguistics in the formulation of the Colombian state
exam. The objective was to obtain a score of construction error in one corpus
of ICFES items. The procedure aimed: 1. to explain the textual, semantic and
cognitive functioning of the textual superstructure Multiple Choice Item, 2. To
analyze the sample finding 23% of construction error, and 3. to propose strategies
for optimizing the items composition and results interpretation.
1 Este artículo se deriva de la investigación Intervención de la lingüística textual en la
construcción de evaluaciones de tipo selección múltiple para el área de lenguaje, llevada a cabo por
el autor, entre agosto de 2009 y noviembre de 2010, dentro del marco de presentación de trabajo de
grado, Licenciatura en Español y Literatura, Universidad Tecnológica de Pereira.
Lenguaje, 2013, 41 (1),59-80
,Cristian Bohórquez
Key words: ICFES, evaluation, Colombian state exam, Saber 11 test, educational
test design, Multiple-Choice Questions
Résumé
Applicabilité de la lingüistique textuelle et la psycholingüistique dans la
composition des questions à choix multiple de l’examen d’état colombien
On présent ici les résultats d’une investigation sur l’applicabilité de la linguistique
textuelle et la psycholingüistique dans la formulation des questions de l’examen
d’état colombien. L’objectif était de faire un score d’erreur de construction dans
un corpus de questions à choix multiple de L’ICFES. La procédure utilisée a
permis de: 1. Expliquer le fonctionnement textuel, sémantique et cognitif de la
superstructure textuelle Question à Choix Multiple, 2. Analyser le corpus avec
un 23 % d’erreur de construction, et 3. Proposer des stratégies pour optimiser la
composition des questions et de l’interprétation des résultats.
Mots clés : ICFES, évaluation, examen d’état colombien, test Saber 11, conception
des tests, Questions à Choix Multiple.
Introducción
La investigación se erigió sobre dos consideraciones básicas: la
primera fue observar que los instrumentos de evaluación educativa
empleados en la prueba de estado, los ítems de pregunta, son en esencia
constructos de lenguaje. La segunda fue prestar atención a la controversia
de origen popular que cuestiona la validez de un número indefinido
de ítems de pregunta avalados y aplicados por el examen de estado
colombiano. Con base en lo anterior, se pensó qué teorías y disciplinas
lingüísticas podían aplicarse a una muestra de ítems para identificar
instrumentos defectuosos.
En el estado del arte no se hallaron trabajos que se ocuparan de
exponer ítems errados en las pruebas de estado desde alguna ciencia,
disciplina o enfoque teórico. Tampoco se encontraron estudios que
abordaran el tema del diseño de instrumentos desde teorías del lenguaje,
lo que es coherente con la siguiente afirmación del profesor Haladyna
(1990): “there is little scientific basis for multiple-choice item writing.
Most item writing knowledge is based on personal experience or wisdom
passed on from particular mentors”.
60 Universidad del Valle
, Aplicabilidad de la lingüística textual y la psicolingüística en la composición de los ítems de selección múltiple ...
La muestra observada consistió en treinta (30) ítems del área de
lenguaje en la que se determinó error de construcción en siete (7) de
ellos, lo que representó un 23% de error. Respecto a la procedencia de
la muestra, los ítems se tomaron de los compartidos por el ICFES en su
página web a manera de ejemplos de pregunta (ICFES, 2009a, 2010).
El material usado propiamente en exámenes de estado es confidencial
según la ley 1324 de 2009. Sobre el porcentaje de error hallado, para
conocer si coincide con algún margen previsto por la institución, no se
conoció alguna estadística pública que contabilice ítems descalificados
con posterioridad a su aplicación. Un referente disponible es la anulación
de dos ítems de pregunta de la prueba del concurso docente de 2009
(ICFES, 2009b). De cualquier modo, se entiende que cada pregunta del
examen de estado debe ser un instrumento confiable.
La exposición de los yerros se dio a la luz de diversas teorías
del lenguaje, como se detalla en el apartado de referentes teóricos,
y se confirmó mediante un modelo de análisis que se compuso en
este trabajo a partir de las teorías cognitivas de esquemas mentales,
modelos de situación y procesos mentales que guían la coherencia
(Vega, Díaz & León, 1999). Para llevar a cabo el análisis de la muestra
fue fundamental la explicación textual del ítem de selección múltiple
(I.S.M.) conseguida a través de los criterios de textualidad de Dressler
(Renkema, 1999).
Los problemas hallados en los ítems erróneos no obedecían a
deficiencias de redacción en el sentido gramatical más estricto, sino a
dificultades de fondo que se manifestaban en la forma. El I.S.M. fue
caracterizado como una superestructura textual susceptible de generar
desacuerdos semánticos entre su enunciador y enunciatario, es decir
los sujetos evaluador y evaluado, en la medida en que diverjan a nivel
cognitivo sus respectivas estructuras semánticas. Los diversos esquemas
mentales de los individuos, al aplicarse a la interpretación de un mismo
modelo de situación (el cuestionamiento efectuado sobre el texto),
generaban macroproposiciones diferenciadas, lo cual es un fenómeno
intrínseco al funcionamiento de la cognición humana, según lo describe
van Dijk (1983, pp. 75-76).
Se desconoce el motivo por el cual los ítems erróneos y el fenómeno
cognitivo descrito han sido pasados por alto por el órgano de evaluación
estatal. Con fundamento en esta circunstancia, se concluyó la necesidad
Lenguaje, 2013, 41 (1) 61
textual y la psicolingüística en
la composición de los ítems de
selección múltiple del examen de
estado colombiano1
Cristian Bohórquez
Universidad Tecnológica de Pereira
Risaralda, Colombia
Resumen
Se presentan los resultados de una investigación que indagó la aplicabilidad de la
lingüística textual y la psicolingüística en la formulación de preguntas del examen
de estado colombiano. El objetivo fue hacer un tanteo de error de construcción en
una muestra de ítems proveniente del ICFES. El procedimiento aplicado permitió:
1. explicar el funcionamiento textual, semántico y cognitivo de la superestructura
textual Ítem de Selección Múltiple, 2. analizar la muestra hallando una cifra de
23% de error de construcción y 3. proponer estrategias de optimización para la
composición de cuestionamientos e interpretación de resultados.
Palabras clave: ICFES, evaluación, examen de estado colombiano, prueba Saber
11, diseño de pruebas de evaluación educativa, Ítem de Selección Múltiple.
Abstract
Applicability of Text Linguistics and Psycholinguistics in Multiple-Choice
Questions of the Colombian State Exam
This article presents the results of an investigation on the applicability of text
linguistics and psycholinguistics in the formulation of the Colombian state
exam. The objective was to obtain a score of construction error in one corpus
of ICFES items. The procedure aimed: 1. to explain the textual, semantic and
cognitive functioning of the textual superstructure Multiple Choice Item, 2. To
analyze the sample finding 23% of construction error, and 3. to propose strategies
for optimizing the items composition and results interpretation.
1 Este artículo se deriva de la investigación Intervención de la lingüística textual en la
construcción de evaluaciones de tipo selección múltiple para el área de lenguaje, llevada a cabo por
el autor, entre agosto de 2009 y noviembre de 2010, dentro del marco de presentación de trabajo de
grado, Licenciatura en Español y Literatura, Universidad Tecnológica de Pereira.
Lenguaje, 2013, 41 (1),59-80
,Cristian Bohórquez
Key words: ICFES, evaluation, Colombian state exam, Saber 11 test, educational
test design, Multiple-Choice Questions
Résumé
Applicabilité de la lingüistique textuelle et la psycholingüistique dans la
composition des questions à choix multiple de l’examen d’état colombien
On présent ici les résultats d’une investigation sur l’applicabilité de la linguistique
textuelle et la psycholingüistique dans la formulation des questions de l’examen
d’état colombien. L’objectif était de faire un score d’erreur de construction dans
un corpus de questions à choix multiple de L’ICFES. La procédure utilisée a
permis de: 1. Expliquer le fonctionnement textuel, sémantique et cognitif de la
superstructure textuelle Question à Choix Multiple, 2. Analyser le corpus avec
un 23 % d’erreur de construction, et 3. Proposer des stratégies pour optimiser la
composition des questions et de l’interprétation des résultats.
Mots clés : ICFES, évaluation, examen d’état colombien, test Saber 11, conception
des tests, Questions à Choix Multiple.
Introducción
La investigación se erigió sobre dos consideraciones básicas: la
primera fue observar que los instrumentos de evaluación educativa
empleados en la prueba de estado, los ítems de pregunta, son en esencia
constructos de lenguaje. La segunda fue prestar atención a la controversia
de origen popular que cuestiona la validez de un número indefinido
de ítems de pregunta avalados y aplicados por el examen de estado
colombiano. Con base en lo anterior, se pensó qué teorías y disciplinas
lingüísticas podían aplicarse a una muestra de ítems para identificar
instrumentos defectuosos.
En el estado del arte no se hallaron trabajos que se ocuparan de
exponer ítems errados en las pruebas de estado desde alguna ciencia,
disciplina o enfoque teórico. Tampoco se encontraron estudios que
abordaran el tema del diseño de instrumentos desde teorías del lenguaje,
lo que es coherente con la siguiente afirmación del profesor Haladyna
(1990): “there is little scientific basis for multiple-choice item writing.
Most item writing knowledge is based on personal experience or wisdom
passed on from particular mentors”.
60 Universidad del Valle
, Aplicabilidad de la lingüística textual y la psicolingüística en la composición de los ítems de selección múltiple ...
La muestra observada consistió en treinta (30) ítems del área de
lenguaje en la que se determinó error de construcción en siete (7) de
ellos, lo que representó un 23% de error. Respecto a la procedencia de
la muestra, los ítems se tomaron de los compartidos por el ICFES en su
página web a manera de ejemplos de pregunta (ICFES, 2009a, 2010).
El material usado propiamente en exámenes de estado es confidencial
según la ley 1324 de 2009. Sobre el porcentaje de error hallado, para
conocer si coincide con algún margen previsto por la institución, no se
conoció alguna estadística pública que contabilice ítems descalificados
con posterioridad a su aplicación. Un referente disponible es la anulación
de dos ítems de pregunta de la prueba del concurso docente de 2009
(ICFES, 2009b). De cualquier modo, se entiende que cada pregunta del
examen de estado debe ser un instrumento confiable.
La exposición de los yerros se dio a la luz de diversas teorías
del lenguaje, como se detalla en el apartado de referentes teóricos,
y se confirmó mediante un modelo de análisis que se compuso en
este trabajo a partir de las teorías cognitivas de esquemas mentales,
modelos de situación y procesos mentales que guían la coherencia
(Vega, Díaz & León, 1999). Para llevar a cabo el análisis de la muestra
fue fundamental la explicación textual del ítem de selección múltiple
(I.S.M.) conseguida a través de los criterios de textualidad de Dressler
(Renkema, 1999).
Los problemas hallados en los ítems erróneos no obedecían a
deficiencias de redacción en el sentido gramatical más estricto, sino a
dificultades de fondo que se manifestaban en la forma. El I.S.M. fue
caracterizado como una superestructura textual susceptible de generar
desacuerdos semánticos entre su enunciador y enunciatario, es decir
los sujetos evaluador y evaluado, en la medida en que diverjan a nivel
cognitivo sus respectivas estructuras semánticas. Los diversos esquemas
mentales de los individuos, al aplicarse a la interpretación de un mismo
modelo de situación (el cuestionamiento efectuado sobre el texto),
generaban macroproposiciones diferenciadas, lo cual es un fenómeno
intrínseco al funcionamiento de la cognición humana, según lo describe
van Dijk (1983, pp. 75-76).
Se desconoce el motivo por el cual los ítems erróneos y el fenómeno
cognitivo descrito han sido pasados por alto por el órgano de evaluación
estatal. Con fundamento en esta circunstancia, se concluyó la necesidad
Lenguaje, 2013, 41 (1) 61
