DOI: http://dx.doi.org/10.14483/udistrital.jour.enunc.2016.1.a02

Pruebas Saber de lenguaje: posibilidades y retos desde la perspectiva de la evaluación formativa

Language “Saber tests”: Possibilities and challenges from the formative evaluation perspective

Sandra Gisela Martín Martínez¹

Cómo citar este artículo: Martín, S. (2016). Pruebas Saber de lenguaje: posibilidades y retos desde la perspectiva de la evaluación formativa. Enunciación, 21(1), 31-44.

Recibido: 08-marzo-2016 / Aprobado: 20-mayo-2016

¹ Magíster en Educación. UPN. Docente de la Secretaría de Educación Distrital. Correo electrónico: sgmm_11@yahoo.com,

Resumen

En este artículo se presenta una investigación cualitativa enfocada en establecer y caracterizar las relaciones y tensiones emergentes entre las pruebas Saber de lenguaje (tercer y quinto grado) y las prácticas evaluativas de los profesores de básica primaria, valiéndose de la aplicación de un cuestionario mixto a los profesores de dicho nivel de educación en un colegio distrital, así como de una entrevista semiestructurada a cuatro expertos. Las categorías evaluación y competencia comunicativa guían la construcción del marco teórico, además de ser fundamentales para analizar la información a través de las dimensiones de la crítica educativa propuesta por Eisner en su obra El ojo ilustrado (1998). Al finalizar, en las conclusiones, la evaluación se plantea como un recurso de aprendizaje, con lo que se resalta la importancia que tiene ampliar la reflexión pedagógica acerca del uso de las pruebas y sus resultados en el país.

Palabras clave: estandarización, evaluación formativa, lenguaje.

Abstract

This article presents a qualitative research focused on establishing and characterizing the relations and tensions which emerge between language “Saber tests” (Third and Fifth grade) and the elementary school teachers' assessment practices, applying a mixt question air to the teachers of the mentioned level of education and a semi-structured interview to four experts. The categories assessment and communicative competence guide the construction of the theoretical frame; besides they are fundamental in the analysis of information made through the dimensions of educational criticism proposed by Eisner in his book: The ilustrated eye (1998). In the conclusions, the assessment is raised as a source of learning, which highlights the importance of the pedagogical reflection about the use of the tests and its results in our country.

Keywords: standardization, formative evaluation, language.

Introducción

La evaluación de los estudiantes en el área de Lenguaje –al igual que en otras áreas– tiene lugar a nivel interno, cuando son los profesores quienes llevan a cabo el proceso evaluativo en las instituciones educativas; y a nivel externo, cuando diferentes entes evaluativos diseñan y aplican pruebas estandarizadas con el fin de emitir resultados comparativos que den cuenta de la calidad educativa ya sea en el entorno regional o nacional. Es frecuente que en las instituciones educativas del país los profesores desarrollen sus prácticas evaluativas tratando de guardar cierta relación con los referentes de las pruebas externas; sin embargo, esto implica que a la par, surjan también algunas tensiones de orden teórico, pedagógico y evaluativo.

En el ámbito nacional, las Pruebas Saber diseñadas por el Instituto Colombiano para la Evaluación de la Educación (ICFES) se aplican con una periodicidad anual a los estudiantes de los grados tercero, quinto, noveno y undécimo –desde este año también se aplican en séptimo– y sus resultados constituyen la principal fuente de información para que el Ministerio de Educación Nacional (MEN) establezca el índice sintético de calidad educativa (ISCE) de las escuelas y colegios de Colombia.

Es tanto el alcance que se le da a los resultados de los estudiantes en las Pruebas Saber que a través de la Resolución N.° 15883 de 2015 se estableció que para el incremento en las matrículas y pensiones se tendrá en cuenta la catalogación que tenga el colegio privado en los resultados obtenidos en el ISCE. En consecuencia, los colegios buscan afanosamente alcanzar mejores resultados en las pruebas y se adoptan medidas como el diseño de pruebas “tipo ICFES” al finalizar cada periodo escolar o semestralmente, con el propósito explícito de preparar a los estudiantes para las pruebas. La reflexión pedagógica acerca de la pertinencia de diseñar y aplicar pruebas que intenten ser similares a las diseñadas por el ICFES se queda corta, pues esta situación es una decisión naturalizada en el campo de la educación y vista con buenos ojos por distintos miembros de la comunidad educativa, después de todo, el propósito es bueno…

Teniendo en cuenta el anterior panorama, en esta investigación se cuestionó por las relaciones y tensiones que emergen entre los referentes teóricos y metodológicos de las Pruebas Saber de Lenguaje (tercero y quinto) y las prácticas evaluativas de los profesores; así se planteó como propósito construir unos criterios pedagógicos desde una perspectiva crítica que aportaran a la evaluación formativa de los estudiantes, para hacer viable el uso – en una justa medida– de las pruebas y la información de sus resultados didácticos y evaluativos. Por tanto, se asume que las pruebas son solo un instrumento más de evaluación, un recurso complementario, y que, además, resulta discutible que sus resultados sean utilizados como referente para establecer la calidad de educación de un colegio.

Políticas educativas asociadas con la evaluación de la calidad

Preguntarse por las dificultades, los retos y las posibilidades de las Pruebas Saber de lenguaje, como estrategia de evaluación de la competencia comunicativa en básica primaria, requiere situarse en el contexto de origen de estas pruebas. Según lo expuesto por Noguera (2003), en Colombia se estableció el Sistema Nacional de Evaluación de la Calidad de la Educación (SINECE) como una respuesta a las recomendaciones del Banco Mundial (BM) en el contrato de universalización de la básica primaria que estableció con el MEN; en este, se sugirió la aplicación de pruebas enfocadas a medir el logro cognitivo. En la década de 1990, durante el gobierno de César Gaviria y bajo los parámetros de la política de apertura tanto económica como educativa, se implementó en el país el diseño y aplicación de pruebas estandarizadas. Además, desde hace más de dos décadas, los estudiantes colombianos han venido participando en las pruebas diseñadas en el país y en algunas internacionales como PISA (Programme for International Student Assessment), PIRLS (Progress in International Reading LiteracyStudy) y TIMSS (Third International Mathematics and Science Study), entre otras.

La educación se ha considerado por los organismos supranacionales como el BMy la Organización para la Cooperación y el Desarrollo Económicos (OCDE) como motor de desarrollo económico, lo cual ha incidido en la formulación de políticas educativas, como es el caso de la referente a la formación y evaluación por competencias. Así, la tendencia de participar en las pruebas estandarizadas es cada vez mayor, respondiendo al interés político de medir la calidad del sistema educativo y poder generar escalas de comparación de los resultados, ya sea en el país, o en el ámbito internacional.

Las Pruebas Saber se plantearon para evaluar la calidad de la educación y se les ha otorgado gran relevancia en la normatividad de evaluación en Colombia; por ejemplo, en el Decreto 230 de 2002 sobre Evaluación Académica de las Instituciones; de igual manera, en el Decreto 1290 de 2009, por el cual se reglamenta la evaluación del aprendizaje y promoción de los estudiantes de los niveles de educación básica y media; en el Decreto 4216, por el cual se modifica el Decreto 3963 de 2009 para reglamentar el Examen de Estado de Calidad de la Educación Superior, y en la Ley 1324 de 2009, por la cual se fijan parámetros y criterios para organizar el sistema de evaluación de resultados de la calidad de la educación, se dictan normas para el fomento de una cultura de la evaluación, en procura de facilitar la inspección y vigilancia del Estado y se transforma el ICFES.

De la misma manera, la actual ministra de Educación, Gina Parody, ha implementado el modelo sintético de la calidad educativa mediante el Decreto 0325 de 2015; en este, “resulta necesario crear un espacio institucional para que los establecimientos educativos de preescolar, básica y media revisen específicamente su desempeño en calidad y definan las acciones para lograr mejoras sustantivas en este aspecto dentro del correspondiente año escolar” (MEN, 2015).

En cuanto a las mejoras sustantivas, estas no tienen lugar como efecto de una disposición legal, y mucho menos en tiempos definidos desde la inmediatez de los intereses de quienes formulan las políticas educativas de evaluación, “creer que con un plan de mejoramiento mínimo anual de estas características, hecho en un día, se va a lograr mejorar la calidad y alcanzar que Colombia sea la más educada en el año 2025, es a todas luces ingenuo” (Álvarez Gallego, 2015).

Dado lo expuesto, es vital comprender que “la educación concuerda con un proyecto cultural que abarca los factores constitutivos del ser humano y los requerimientos por una sociedad mejor” (Niño, 2002), donde los ciudadanos pueden formarse como sujetos críticos en la medida en que pueden construir conocimiento y utilizarlo para comprender mejor el mundo en el cual están situados, y al cual puede contribuir desde su realización personal, gracias al vínculo entre la educación, la familia, la sociedad y el Estado; una educación de calidad es posible cuando se piensa para el bienestar de la comunidad educativa y no solo en términos de crecimiento económico.

La evaluación de los estudiantes: entre lo normativo y la práctica en el aula

El concepto de evaluación tiene un carácter polisémico, su significado ha sido diferente dependiendo de la época histórica y del paradigma desde el cual es definida. El interés por lograr la pretendida objetividad de la evaluación puso en auge, desde el siglo pasado, el uso de los tests y las pruebas de carácter estandarizado, cuyos resultados sirven para emitir juicios de valor acerca de los logros adquiridos por los estudiantes. Sin embargo, desde la década de 1970, los teóricos de la evaluación han presentado diferentes propuestas de modelos de evaluación, algunos de ellos se enfocan en una perspectiva positivista y otros centran su interés en la comprensión del acto educativo, como es el caso de la crítica artística y la evaluación democrática.

La evaluación, vista desde el paradigma experimental, se vincula con cierto carácter instrumental en su método y con una concepción de la enseñanza como tecnología; por ejemplo, la evaluación por objetivos de comportamiento (cuyos máximos representantes fueron Tyler durante la década de 1950; Mager, desde los años sesenta, y Popham, durante los años 1970) se enfoca en actividades como comprobar el grado en que los comportamientos o conductas de los estudiantes reflejan los logros preestablecidos.

En la actualidad, el modelo de evaluación por competencias tiene gran relevancia en el contexto educativo. Este pudo originarse por el desplazamiento que se ha dado en las políticas educativas de carácter internacional del papel central de la enseñanza para enfocarse en el aprendizaje, que para el caso es asumido como la adquisición de un conjunto de habilidades. El enfoque por competencias se puede relacionar con la pedagogía por objetivos, pues la competencia tiene que ser demostrable y comprobable empíricamente; en consecuencia, según Barnett (2001, citado por Álvarez, 2011), el conocimiento no es entendido como proceso de construcción sino como un producto; además, la acción humana se desnaturaliza, debido a que las competencias se asumen como capacidades predecibles para actuar de formas determinadas que han sido definidas por otros.

El caso de la evaluación por competencias en el área de lenguaje

En el país, la apuesta por incluir la categoría competencias en la educación a través de los documentos que guían y orientan el diseño del currículo, empieza de manera formal con la formulación de los Lineamientos Curriculares y de los Estándares Básicos de Competencias. En adición, las pruebas estandarizadas llegan a ser la estrategia adecuada para lograr que se enfoquen las prácticas evaluativas y el diseño del currículo de acuerdo con los referentes de los Estándares Básicos de Educación por Competencias, lo cual responde más a intereses político-económicos que pedagógicos, pues respecto al modelo de las competencias en educación se observa que el “discurso se ha extendido sin límites geográficos definidos [...]; las competencias se imponen por decreto con la aquiescencia de quienes desempeñan funciones de responsabilidad burocrático-administrativas” (Álvarez, 2011).

Por consiguiente, para que la evaluación externa sea coherente con el modelo de las competencias, desde 2005 la Prueba ICFES ha estado alineada con los estándares; de acuerdo con Castillo et al. (2007), desde su inicio, las Pruebas Saber se hallan en estrecha correspondencia con los propósitos trazados por PIRLS, PISA y SERCE, y apropian algunas de las definiciones de competencias del área de lenguaje hechas por estas, con lo cual se intenta demostrar la pertinencia de estas pruebas estandarizadas en relación con los referentes teóricos validados por las agencias internacionales de educación. Sin embargo, aunque buscar el reconocimiento del país en un escenario global es inevitable, tal situación no quiere decir que la única preocupación sea responder a las demandas de las agencias internacionales de evaluación, donde el principal uso que se está dando a las pruebas es el de arrojar resultados que son la base para la comparación y la clasificación.

En sus primeras aplicaciones, las pruebas estandarizadas de lenguaje fueron diseñadas en Colombia con el propósito de evaluar el grado de adquisición de la competencia comunicativa por parte de los estudiantes en determinados grados, estrategia a la cual subyace la idea de que las competencias se adquieren de manera similar por los estudiantes, al finalizar algunos niveles o ciclos educativos.

Para evaluar el desarrollo de la competencia comunicativa de los niños es necesario comprender que esta se construye a lo largo de sus vidas, y que no se puede esperar que todos tengan las mismas habilidades para expresarse en su contexto social. La competencia comunicativa abarca distintos aspectos, pues como lo afirma Hymes (1996): “[...] el niño adquiere la competencia relacionada con el hecho de cuándo sí y cuándo no hablar, y también sobre qué hacerlo, con quién, dónde y en qué forma” p.22, lo cual implica, que el niño, a través de los actos del habla, haga uso del lenguaje para participar en diferentes situaciones de comunicación.

Por consiguiente, de acuerdo con lo expuesto por Álvarez (2003), la evaluación merece ser asumida como “una actividad intersubjetiva y moral que se ejerce entre sujetos” p.8, la cual, involucra en su práctica procesos de diálogo y deliberación entre los actores educativos. Como un acto ético, la evaluación remite a la necesidad de hacer explícitos los criterios con los que van a evaluar a sus estudiantes, a ser justos en lo que se refiere a tener en cuenta los avances de cada estudiante; además, está al servicio de los sujetos del aprendizaje, pues no puede ser solo un acto de medición al servicio de intereses políticos y económicos.

Metodología

Esta investigación fue concebida desde la postura epistemológica de la teoría crítica, por lo cual fue posible reconocer la realidad como una construcción social que no es inmutable; por ende, el papel del investigador supone una interacción constante con los sujetos del estudio, pues “la naturaleza transaccional de la investigación requiere de un diálogo entre el investigador y los sujetos de la investigación” (Guba y Lincoln, 2002), situación dialéctica que puede llegar a generar un cambio o transformación intelectual para propiciar una mejor comprensión de la realidad.

Igualmente, este estudio se sustenta en los planteamientos de la pedagogía crítica al reconocer a los actores educativos en su dimensión ético-política y porque asume a los profesores como intelectuales de la educación y gestores de transformación social; aquí, ellos son los más indicados para permitirnos comprender cómo se entienden y asumen las Pruebas Saber en el contexto educativo. Asimismo, en esta investigación se optó por una perspectiva metodológica cualitativa; es decir que existe una inadecuada oposición entre cualitativo y cuantitativo, pues si una investigación es cualitativa, lo es atendiendo a la naturaleza del objeto de estudio y a la postura epistemológica que permite concebirlo y categorizarlo.

Para analizar la información se recurrió a la interpretación cualitativa de los datos mediante las dimensiones de la crítica educativa propuesta por Elliot Eisner en su obra El ojo ilustrado (1998); la crítica se concibe como el arte de la revelación y como el medio para comprender desde una visión emancipadora el objeto de estudio, además, se entiende que la función del crítico es educativa en tanto se relaciona con la percepción y en cuanto profundiza el entendimiento.

Eisner plantea como dimensiones de la crítica educativa: a) la descripción, que se vale de la visualización y la emoción presentes en la escritura y la narración del investigador para dar a conocer el acercamiento detallado y vívido al aspecto de investigación; b) la interpretación, que busca explicar el significado de lo que se ha descrito mediante la contrastación con la teoría y restableciendo la relación con el contexto; c) la evaluación, relacionada con el hecho de valorar el sentido educativo de la situación descrita, y d) la tematización, en la cual se identifican los mensajes recurrentes que dominan el asunto de investigación y que permiten percibir rasgos que pueden hacer que los hallazgos de la investigación sirvan como base para comprender situaciones similares a la estudiada.

Comprendiendo la importancia que tiene la existencia de “una coherencia interna entre lo epistemológico y el método” (Páramo, 2008), y al ser la teoría crítica la postura desde la cual se concibe el objeto de estudio de esta investigación, en esta pesquisa se escogieron como técnicas de investigación apropiadas para la recolección de información: el cuestionario mixto dirigido a los profesores de la básica primaria del Colegio Leonardo Posada y la entrevista semiestructurada a expertos.

Adicionalmente, se acudió al análisis documental, por ser una técnica que permite reconocer tendencias, concepciones y supuestos tanto políticos como culturales que constituyen la base de la forma en que se comprende y se realiza la evaluación a nivel externo e interno. Se realizó el análisis de los criterios que orientan la construcción de las Pruebas Saber tercero y quinto, y así mismo, de los criterios de construcción de las pruebas de comprensión que diseñan los profesores y que se aplican semestralmente en el Colegio Leonardo Posada Pedraza, con el propósito de reconocer las posibles relaciones y tensiones entre estos dos instrumentos de evaluación, uno de carácter externo y el otro de carácter interno. Dicho análisis documental se estructuró desde las fases propuestas por Díez (2006): análisis inicial, categorización, profundización y contextualización.

Análisis de los datos

Dimensión descriptiva

De acuerdo con Eisner (1998), esta dimensión permite que otros puedan ver y comprender con claridad los hechos que se describen a través de la recreación vívida del proceso investigativo mediante el cual se le da sentido a determinada situación educativa. Por ende, es importante dar a conocer cada instrumento aplicado y su finalidad en la presente investigación: en primera instancia, el análisis documental de los criterios con que se elaboran las pruebas institucionales, y de los lineamientos para la construcción de la Pruebas Saber (tercero y quinto), permite evidenciar que las pruebas de comprensión del Colegio Leonardo Posada Pedraza tienen como un gran propósito preparar a los estudiantes del colegio para la presentación de las Pruebas Saber. Sin embargo, solo se hace referencia a algunos parámetros sencillos de elaboración de las preguntas que obedecen más a criterios de forma y que no sugieren la necesaria reflexión sobre las competencias que busca evaluar el ICFES; de hecho, al analizar dos pruebas (tercero y quinto) del área de lenguaje elaboradas por los docentes, las cuales constan de 15 preguntas de selección múltiple con única respuesta, se evidencia que la mayoría de los interrogantes se enfoca en evaluar el componente semántico a través de preguntas que requieren recuperar la información implícita de un texto, mientras que para los componentes sintáctico y pragmático no existen preguntas.

Luego del análisis documental, y con el propósito de indagar cómo los profesores de básica primaria comprenden y asumen las Pruebas Saber (tercero y quinto) en relación con sus prácticas evaluativas; además, de intentar vislumbrar el posible uso pedagógico que ellos pueden dar a estas pruebas estandarizadas en el aula de clase, se diseñó y aplicó un cuestionario mixto a 18 profesores –un poco menos de la mitad de los que conforman el nivel de la básica primaria de la institución–. Las diez preguntas realizadas guardan estrecha relación con las tres categorías que guiaron tanto la construcción teórica, como la recolección y análisis de los datos construidos (tabla 1).

Con las respuestas dadas por los profesores, fue posible inferir que desde su perspectiva, las recomendaciones de organismos supranacionales y el interés del Gobierno por tener un sistema educativo competitivo en el ámbito internacional, son aspectos que han influido en la implementación de las políticas de evaluación de la calidad educativa, y que por tanto, la aplicación de pruebas estandarizadas tienen como fin monitorear la calidad educativa e implementar estrategias de medición y comparación.

Asimismo, ante la pregunta acerca de los aspectos que está priorizando el Ministerio de Educación Nacional (MEN) para establecer la calidad educativa de las instituciones del país, 11 profesores consideran que los resultados de las Pruebas Saber, la permanencia de los estudiantes en el sistema y la cobertura escolar son el insumo para definir el índice sintético de la calidad educativa (ISCE), establecido por el MEN, para cada institución. Siete profesores afirman que desde el MEN se construyen juicios cuantitativos que responden a intereses técnicos y administrativos que desconocen la importancia de los actores educativos, recursos didácticos y modelo pedagógico de cada institución para definir la calidad de la educación.

Respecto al uso pedagógico a las Pruebas Saber, 6 profesores manifiestan que suelen diseñar evaluaciones escritas con una estructura similar a la de las Pruebas Saber, otros 6 consideran importante analizar los componentes que analizan las pruebas, para priorizarlos en lo que ellos evalúan a los estudiantes; 4 maestros indican que les interesa consultar los resultados para reflexionar sobre las causas del desempeño de los alumnos en las Pruebas Saber, solo una profesora expone que ella da un uso pedagógico a las pruebas resolviendo con los estudiantes los cuadernillos de preguntas disponibles en la página del ICFES; y por último, una docente manifiesta que suele analizar con sus estudiantes las preguntas de la prueba a nivel sintáctico y semántico, para que sea posible inferir la respuesta adecuada y desarrollar así procesos de comprensión e interpretación.

En este estudio también se aplicó una entrevista semiestructurada a cuatro expertos, la cual tuvo como propósitos indagar acerca de las posibilidades y las limitaciones de las pruebas como instrumento de evaluación, así como analizar el uso que se ha hecho de estas y de sus resultados en el contexto educativo (tabla 2).

Los expertos coinciden en afirmar que la relevancia de las pruebas y sus resultados en la toma de decisiones, planteamiento de reformas, estructuración de la planeación curricular y en las prácticas evaluativas de los maestros es bastante alta:

E1IF: (…) el Gobierno nacional considera que las pruebas son una herramienta poderosa y por eso decide que se apliquen en todos los colegios para entregar un instrumento de retroalimentación a sus planes […]. La función del MEN es ejercer inspección y vigilancia [...], y la ejerce de diferentes maneras, mirando el destino de los recursos, las contrataciones [...], mediante la aplicación de unos instrumentos para saber qué tanto los estudiantes están alcanzando estos aprendizajes que están definidos en los Estándares Básicos de Competencias.

Se entiende, entonces, que las pruebas son una estrategia de la política de evaluación, de vigilancia y rendición de cuentas, y que, además, aportan información sobre el desempeño de los estudiantes que puede ser utilizada por diferentes estamentos para la toma de decisiones en los entornos macro e institucional.

En la prueba de lenguaje se evalúa la competencia comunicativa de los estudiantes; sin embargo, tres expertos aclaran que el énfasis está en evaluar algunos rasgos de la comprensión lectora, dejando de lado la oralidad, la producción textual y la dimensión estética del lenguaje. Evaluar la competencia comunicativa es algo muy complejo, y los expertos coinciden en afirmar que resulta imposible evaluarla usando como único instrumento una prueba estandarizada. Por otra parte,

E4PD: (…) el aula sí tiene todo lo necesario, es un microcosmos en el que los docentes pueden apreciar todo el desarrollo de la competencia comunicativa, pues los niños además de hablar espontáneamente, argumentan, expresan emociones… entonces lo que está en juego es la creatividad del docente y desde luego el conocimiento profundo que se tenga de lo que significa e implica el desarrollo de la competencia comunicativa para propiciar las situaciones que favorezcan todos los aspectos de esta competencia.

En cuanto al uso pedagógico de las Pruebas Saber, los expertos afirman que este prácticamente no existe, pues los distintos sectores interesados en los resultados de las pruebas hacen un manejo inadecuado de la información que se genera. En los departamentos y ciudades, las medidas se orientan hacia la contratación de empresas expertas en pruebas, o del mismo ICFES, para capacitar a los docentes y lograr así mejorar el desempeño en las pruebas.

En adición, la tendencia de elaborar pruebas tipo ICFES en los colegios es un desacierto que indica desconocimiento del diseño y metodología de las pruebas, como también, una ausencia de reflexión sobre cómo hacer un uso pedagógico de las pruebas y sus resultados. El diseño de las Pruebas Saber es un proceso riguroso que atiende al modelo basado en evidencias (MBE) y que requiere del conocimiento de la psicometría; por lo cual, resulta inconveniente pedir a los maestros en los colegios que hagan pruebas tipo ICFES con el fin de preparar a los estudiantes para las presentación de estas pruebas. Respecto al uso pedagógico de estas y la información que aportan sus resultados, es importante señalar los siguientes comentarios de los expertos:

E3MP: Hay que ocuparse es de analizar las pruebas y de responderlas colectivamente en clase, para esto se pueden bajar del ICFES, hay una gran cantidad de pruebas estandarizadas bien construidas y liberadas, entonces para qué ponerse a inventar algo que ya está inventado; pero lo grave, es destinarle demasiado tiempo a eso y no a la lectura, a la gramática y a la literatura.

E2JC: Si el docente sabe que la Prueba Saber está siendo construida pensando en las competencias básicas fundamentales…, pues yo miraría las pruebas evidentemente, pero no para preparar a mis estudiantes para esa prueba, sino para saber cómo están siendo rastreadas dichas competencias desde allí [...], tratando de entender qué pensamiento y acción pedagógica hay detrás de ellas, porque cuando hago una pregunta de gramática, y no indago por si esto es un adjetivo o un adverbio, sino que indago dentro de una proposición que función me está cumpliendo esa partícula, eso ya me debe decir algo en torno a cuál debe ser el proceso que yo puedo adelantar en el aula.

Por consiguiente, si realmente se quiere dar un uso pedagógico a las pruebas, resulta importante que, en distintos espacios académicos, los profesores tengan la oportunidad de analizar qué y cómo evalúan las pruebas, así como la información detallada de los resultados que se puede consultar en la página del ICFES, la cual merece ser reflexionada, superando la atención simplista en el porcentaje de estudiantes que se ubica en cada desempeño. Este dato es importante –claro está–, pero si no se relaciona con lo que se esperaba de los niños en cada nivel y si no se analiza qué se les evaluó y desde qué enfoque, conocer dichos porcentajes carece de sentido.

Dimensión interpretativa

En esta fase se busca contrastar las consideraciones de los maestros y de los expertos con lo expuesto en el marco teórico, donde confluyen distintas posiciones en torno a la evaluación y las Pruebas Saber como instrumento de evaluación. En primer lugar, cuando los expertos mencionan que la medida implementada en Colombia, referente a la aplicación de pruebas nacionales estandarizadas, era la tendencia en muchos países, se evidencia una manifestación de aquello que De Sousa Santos (1998) denomina localismo globalizado, pues se considera que una medida de tanto impacto en el contexto educativo, que comenzó a tener vigencia en otros países, puede ser replicada en Colombia aun cuando las condiciones socioeconómicas y culturales del país sean bastante disímiles de las de otros en los que se venían implementando, que tampoco eran exitosas en esos contextos.

En realidad, se necesita mucho más que copiar experiencias educativas de otros países, pues, de acuerdo con Braslavsky (2006), para lograr la calidad educativa es esencial reconocer el papel de los profesores y de los padres de familia en la formación de los estudiantes como personas felices y solidarias; se requiere del compromiso del Estado y de la comunidad en general para que la educación que tiene lugar en el país procure la igualdad de oportunidades para los estudiantes.

Respecto a la evaluación del desarrollo de las competencias de los estudiantes, es importante considerar que los profesores y los expertos consideran que la aplicación de pruebas de selección múltiple con única respuesta es una estrategia inadecuada para evaluar el desarrollo de las competencias. De hecho, importantes teóricos como Álvarez (2011) y Díaz Barriga (2009) sostienen que cuando se aplican pruebas de carácter estandarizado a partir del modelo de evaluación por competencias, se puede notar que lo novedoso en este modelo parece estar solo en el discurso, pero no en la práctica, pues finalmente lo que se está provocando es un retorno al modelo de la evaluación por objetivos.

Creer que una competencia, como la comunicativa, es evaluable desde lo que se define en indicadores específicos es recortar el sentido de infinitud que tiene el desarrollo de las competencias. Por tanto, como lo proponen Pérez Abril y Barrios (2010) se hace necesario reconocer el papel fundamental que tienen la gramática, la dimensión estética al leer y al escribir, la oralidad y la participación en situaciones reales de comunicación para desarrollar la competencia comunicativa.

Por otro lado, los expertos consideran que no se está adelantando una reflexión pedagógica en las comunidades educativas acerca de lo que evalúa la prueba de lenguaje, y de hecho muy pocos profesores indican que suelen valerse de los cuadernillos del ICFES que quedan disponibles en la institución para resolverlos junto con sus estudiantes con el propósito de reflexionar sobre la intención de la pregunta, la estructura y el sentido de los enunciados, las posibles respuestas, entre otros aspectos. Si esta reflexión tuviera lugar en las aulas, sería posible construir unas opciones formativas para estas pruebas, pues según Anijovichy González (s.f.) la retroalimentación de la evaluación es la que finalmente le otorga sentido educativo para favorecer el aprendizaje de los estudiantes.

Los resultados de las Pruebas Saber de lenguaje, y el estudio de sus factores asociados aportan información que merece ser objeto de reflexión pedagógica para favorecer el desarrollo de la competencia comunicativa de los estudiantes. En consonancia con lo planteado por Pérez (2003), y Pérez y Barrios (2010), el capital cultural, las buenas condiciones de vida así como el nivel económico y la formación profesional de los padres de familia son factores que inciden positivamente en el desempeño de los estudiantes en las pruebas.

Dimensión valorativa

En esta dimensión de la crítica educativa, se establecen juicios de valor acerca de las apreciaciones hechas por los profesores y por los expertos; luego de describir e interpretar la información obtenida tanto en el cuestionario como en la entrevista, se evidencia que la manera en que se conceptualiza el término calidad desde la perspectiva de quienes formulan las políticas de evaluación en el contexto educativo guarda más relación con la medición y la rendición de cuentas que con la valoración de las experiencias educativas de los maestros y los estudiantes en la escuela.

Aunque es claro que para instancias del Gobierno, como el MEN, es imprescindible evaluar el sistema educativo a través de las evaluaciones de las instituciones educativas, de los maestros y primordialmente de los estudiantes, esto no es razón para recortar el sentido de la evaluación educativa solamente a la participación en pruebas externas. El reto de evaluar la educación desde una perspectiva democrática es algo que requiere ampliar la concepción de la calidad, hasta considerar que esta no se puede definir únicamente por los resultados de los estudiantes en las pruebas externas, en el ámbito internacional y nacional.

Cuando los expertos definen las pruebas como un instrumento de papel y lápiz, hacen una mirada justa de estas y reconocen que no es posible evaluar desarrollo de la competencia comunicativa de los estudiantes mediante la Prueba Saber de lenguaje, pues es claro que la prueba se está enfocando es en evaluar la comprensión de lectura y algunos aspectos del proceso de escritura; sin embargo, esto resulta complejo, pues es distinto cuando el estudiante lee o escribe para ser evaluado, a cuando lo hace desde la dimensión estética asociada con el disfrutar de una experiencia literaria.

Es un acierto de los participantes en la investigación reconocer que factores asociados, como el acceso a bienes simbólicos y el capital cultural que poseen los estudiantes, inciden en su desempeño en las pruebas, y que los resultados no van a mejorar solo por el hecho de aplicarlas periódicamente. Una de las estrategias más valiosas cuando se piensa en el uso pedagógico de los resultados de las pruebas es la reflexión pedagógica de los directivos docentes y de los profesores en cuanto a un proceso de revisión de la planeación curricular y la práctica pedagógica para considerar hasta qué punto es posible incluir algunos aspectos evaluados en las pruebas.

Tematización

En esta dimensión de la crítica educativa emergen aquellos temas que representan los “mensajes recurrentes que dominan la situación sobre la cual el crítico escribe” (Eisner, 1998, p. 126). Estos rasgos esenciales posibilitan la comprensión del asunto investigado, y a través de lo que Eisner denomina generalización, se convierten en una herramienta que proporciona una visión ilustrada para percibir situaciones simulares. Las temáticas que emergieron a través del desarrollo de esta investigación fueron:

• La evaluación de la calidad educativa desde la comprensión de la calidad como sinónimo de la eficacia. Cuando el concepto de calidad propio del sector industrial es extrapolado al ámbito educativo, continúa guardando relación con la eficacia, lo que en el campo de la educación significa que los estudiantes aprendan lo que deben aprender, es decir lo que está prescrito en el currículo oficial. En el caso de Colombia, es aquello que se define en los estándares básicos de competencias y recientemente en los derechos básicos de aprendizaje, y es, entonces, cuando se utilizan las pruebas estandarizadas como el instrumento que constata lo que han aprendido los estudiantes.

• La tendencia global hacia la implementación del modelo de evaluación por competencias. El interés por replicar el modelo de evaluación por competencias instaurado en otros contextos, con el argumento de considerarlo una alternativa innovadora para mejorar la calidad de la educación, es un rasgo que impregna la realidad de los sistemas educativos en diferentes países. En Colombia, el ICFES se encarga de implementar pruebas anuales en distintos grados de formación con el propósito explícito de evaluar el desarrollo de competencias de los estudiantes en las que se evidencia el interés por estar en sintonía con lo evaluado en las pruebas internacionales.

• La evaluación del desarrollo de las competencias es un proceso complejo y constante. Si se conciben las competencias desde una postura teórica específica, como en el caso del área de lenguaje, no se les puede concebir como un producto acabado. Por tanto, si se habla de evaluar las competencias de los estudiantes, se hace necesario el uso de diferentes recursos y estrategias para valorarlas a través del tiempo, lo que implica analizar y valorar sus producciones mediante la integración de la evaluación en el proceso de aprendizaje y en el desarrollo de la competencia.

• La posibilidad del uso pedagógico de las Pruebas Saber y sus resultados a partir de la reflexión pedagógica. La aplicación de estas pruebas y los múltiples usos que se hacen de sus resultados son hechos que resultan al servicio de intereses político-económicos y que desvanecen el uso pedagógico de las pruebas. Sería interesante abrir la posibilidad de conocer aquellos elementos que pueden aportar a la práctica pedagógica y evaluativa de los maestros. Analizar lo que evalúa la prueba y su relación con los aspectos evaluados por el maestro, así como la manera de indagar por determinados procesos con el fin de reflexionar sobre la práctica que va más allá de la simple negación de aquello que está instituido.

• La incidencia de aspectos como el nivel socioeconómico, el capital cultural y el acceso a bienes simbólicos en el desempeño de los estudiantes en las Pruebas Saber. Decir algo sobre el desarrollo de las competencias de un estudiante conlleva conocer –aunque sea a grandes rasgos– las características de su contexto familiar, su nivel socioeconómico, el acceso que tiene a espacios que aporten a su proceso de aprendizaje, la manera como usa su tiempo y su estilo de aprendizaje, entre otros tantos factores que inciden en las posibilidades que un estudiante tiene para desarrollar sus competencias.

• El entrenamiento de los estudiantes para las pruebas como medida adoptada por los colegios tiene implicaciones negativas a nivel pedagógico y evaluativo. El imaginario que existe al considerar que la construcción de una Prueba ICFES es algo que se puede hacer en el aula, atendiendo solo a criterios de forma en lo que se refiere a formular un enunciado con cuatro opciones de respuesta, es algo que demuestra el desconocimiento de la metodología del modelo basado en evidencias de las Pruebas Saber; sin embargo, muchas críticas se dirigen hacia el instrumento como tal y no al sistema político-económico que da origen a su aplicación.

• Los aportes de los resultados de las Pruebas Saber de lenguaje a la práctica pedagógica y evaluativa de los profesores de la básica primaria. La información que se obtiene a partir del análisis de los resultados de las Pruebas Saber de lenguaje (tercero y quinto) pueden ser un aporte valioso para los docentes, pues si la reflexión va más allá del dato y se analiza por qué a los estudiantes les cuesta comprender la función de los signos de puntuación dentro de un texto, reconocer el propósito de distintos tipos de texto o inferir a partir de lo que ha leído –por mencionar solo algunos aspectos–, es probable que los docentes opten por afianzar el trabajo en torno a la comprensión de lectura y a la producción escrita atendiendo a la diversidad de la tipología textual y a la consideración de estas como prácticas socioculturales.

Conclusiones

Desde el análisis de la información adelantada a partir de la crítica educativa, proceso que ha permitido profundizar en la comprensión acerca de las relaciones y tensiones que existen entre las Pruebas Saber y la evaluación en el aula, se construyen las presentes conclusiones que dejan ver consideraciones acerca de las dificultades, los retos y las posibilidades de dichas pruebas:

• La evaluación es el recurso del que se vale la política educativa para medir la calidad, por eso, el nivel de importancia que se le da a la evaluación estandarizada es bastante alto; esto la convierte en una actividad ligada al control y la vigilancia del sistema educativo, lo que ha llevado a que en distintas entidades territoriales prolifere la contratación de empresas especializadas en pruebas estandarizadas para capacitar docentes y entrenar a los estudiantes, con el propósito de alcanzar un mejor desempeño en dichas pruebas.

• El significado que se le otorga a las Pruebas Saber, en las políticas educativas asociadas a la evaluación de la calidad, tiene que ver con sus características de validez y confiabilidad, mientras que la evaluación del maestro en el aula de clase no se aprecia bajo estos juicios y, por tanto, no se tiene en cuenta para emitir juicios de la calidad educativa. Esta situación pone en evidencia el desconocimiento de los profesores como intelectuales de la educación.

• La decisión de diseñar pruebas institucionales “tipo ICFES”, en las que el propósito es entrenar a los estudiantes para que logren buenos resultados, resulta ser un desacierto, debido a que el sentido formativo de la evaluación se pierde y además porque los maestros no son expertos en la construcción de pruebas estandarizadas. Su formación disciplinar no tiene que ver con la psicometría.

• Aunque el objeto de evaluación de las Pruebas Saber de lenguaje es el desarrollo de la competencia comunicativa de los estudiantes, estas, según se evidencia, terminan evaluando principalmente la comprensión lectora. Resulta ambicioso buscar evaluar la complejidad del desarrollo de esta competencia a través de la Prueba Saber de lenguaje, pues dicha competencia se desarrolla en comunidades lingüísticas heterogéneas gracias a la interacción social dentro de situaciones comunicativas que tienen diversos propósitos.

• El maestro sí cuenta con las oportunidades reales para evaluar paulatinamente el desarrollo la competencia comunicativa en los estudiantes a través del uso de distintas estrategias pedagógicas donde se reconoce a los niños como seres que, a través de su expresión oral, construyen actos del haba que inciden en las actitudes y respuestas de los demás.

• A partir del análisis, los aspectos que evalúan las Pruebas Saber, así como de lo expuesto por algunos expertos, se concluye que la información que arrojan las pruebas sugiere que en el aula se debe: trabajar la diversidad de la tipología textual brindándole herramientas al estudiante para llegue a comprender de manera global un texto, y enfatizar en la comprensión de la función de marcas textuales como los conectores dentro de un texto. En todo caso, lo importante es lograr que un estudiante lea, exprese sus opiniones y escriba, no solamente porque esto se le evalúa, sino porque disfruta de hacerlo, lo cual tiene que ver con la dimensión estética del lenguaje.

Recomendaciones

Las siguientes recomendaciones tienen como propósito brindar algunos criterios que aporten a la práctica evaluativa de los profesores de básica primaria, incluyendo el uso pedagógico de las Pruebas Saber y sus resultados:

• Consolidar una postura clara acerca de lo que significa la calidad en el quehacer educativo, pues cuando el profesor asume una posición desde la cual la calidad se define teniendo en cuenta múltiples factores, los resultados de los estudiantes en las pruebas, aunque son tomados a nivel político como el referente más relevante para construir el ISCE, no son el aspecto único desde el cual los docentes pueden hablar de la calidad de la educación.

• Asumir la evaluación con intención formativa, como un recurso de aprendizaje, asegurando que el estudiante conozca los criterios bajo los cuales será evaluado, propiciando el diálogo constante y la retroalimentación como herramienta para que él reflexione sobre sus errores y logre superar sus dificultades.

• Analizar seriamente las características de las Pruebas Saber, buscando conocer los aspectos que evalúa y las descripciones cualitativas del desempeño de los estudiantes, según los niveles establecidos en las pruebas, lo cual lleva a considerar la relevancia de los aspectos evaluados en las pruebas, esto con el fin de revisar si están incluidos en la planeación curricular y evaluativa del área, o si por el contrario, la planeación abarca mucho más de lo que evalúan las pruebas.

• Generar un espacio de discusión en torno a la reflexión acerca de la pertinencia de diseñar las pruebas de comprensión institucionales, atendiendo a criterios de construcción donde se aclara que estas aportan a la preparación de los estudiantes para las Pruebas Saber, pues finalmente, en el área de lenguaje, se limita a evaluar, mediante las pruebas institucionales, las habilidades de comprensión de lectura de los estudiantes en un nivel mínimo.

Reconocimientos

Este artículo es producto de la investigación homónima, la cual se desarrolló entre los años 2013 y 2015, en el marco de la Maestría en Educación, Énfasis en Evaluación y Gestión Educativa, Universidad Pedagógica Nacional.

Referencias bibliográficas

Álvarez Gallego, A. (6 de abril de 2015). A propósito del Día E convocado por el Ministerio de Educación Nacional. Recuperado de: http://palabrasalmargen. com/index.php/articulos/nacional/item/a-proposito- del-dia-e-convocado-por-el-ministerio-de-educacion- nacional?category_id=138

Álvarez, J. (2011). Evaluar el aprendizaje en una enseñanza centrada en competencias. En: G. Sacristán. Educar por competencias. ¿Qué hay de nuevo? (pp. 206-232). Madrid: Morata.

Álvarez, J.M. (2003). La evaluación educativa en una perspectiva crítica. Opciones Pedagógicas, 28.

Anijovich, R. y González, C. (s.f.). El círculo virtuoso de la retroalimentación. En: R. Anijovich y C. González. Evaluar para aprender: conceptos e instrumentos (pp. 23-37). Buenos Aires: Aique Educación.

Braslavsky, C. (2006). Diez factores para una educación de calidad para todos en el siglo XXI. Revista Electrónica Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 4(2e), 84-101.

Castillo, M.; Triana, N.; Duarte, P.; Pérez, M. y Lemus, E. (2007). Sobre as pruebas Saber y de estado: una mirada a su fundamentación y orientación de los instrumentos de Lenguaje. Bogotá: ICFES.

De Sousa Santos, B. (1998). De la mano de Alicia: lo social y lo político en la posmodernidad. Bogotá: Uniandes.

Díaz Barriga, A. (2009). El enfoque de competencias en la educación: ¿Una alternativa o un disfraz de cambio? Unimar, 47, 67-86.

Díez Gutiérrez, E. (2006). Evaluación de la cultura institucional en educación. Santiago de Chile: Arrayan.

Eisner, E. (1998). El ojo ilustrado. Indagación cualitativa y mejora de la práctica educativa. Barcelona: Paidós.

Guba, E. y Lincoln, Y. (2002). Paradigmas en competencia en la investigación cualitativa. En: C. Denman y J. Haro. Por los rincones. Antología de métodos cualitativos en la investigación social (pp. 113-145). México: El Colegio de Sonora.

Hymes, D. (1996). Acerca de la competencia comunicativa. Forma y Función, 9, 13-37.

Ministerio de Educación Nacional (MEN) (2002). Decreto 230 por el cual se dictan normas en materia de currículo, evaluación y promoción de los educandos. Bogotá: MEN.

Ministerio de Educación Nacional. (2009). Decreto 1290. Por el cual se reglamenta la evaluación del aprendizaje y promoción de los estudiantes. Bogotá.

Ministerio de Educación Nacional. (2015). Decreto 0325. Por el cual se establece el Día de la Excelencia Educativa en los establecimientos educativos de preescolar, básica y media, y se dictan otras disposiciones. Bogotá.

Niño Z., L. (2002). Dimensiones de la evaluación de la calidad de la educación. Opciones Pedagógicas, 25, 27-42.

Noguera, C. (2003). Del currículo a la evaluación. En: A. Martínez, C. Noguera y J. Castro.Currículo y modernización: cuatro décadas de educación en Colombia (pp. 175-231). Bogotá: Magisterio.

Páramo, P. (2008). La investigación en ciencias sociales técnicas de recolección de información. Bogotá: Univerisdad Piloto de Colombia.

Pérez, M. (2003). Leer y escribir en la escuela: algunos escenarios pedagógicos y didácticos para la reflexión. Recuperado de: http://www.cerlalc.org/Escuela/enlaces/ M_Perez_Leer_y_escribir_escuela.pdf

Pérez, M. y Barrios, M. (2010). La evaluación externa de la producción escrita en Bogotá (2005-2007): más allá de la búsqueda del déficit en los estudiantes. Enunciación, 15(2), 17-31.