Articulos De Investigació

Enunciación, 2005-08-00 vol: nro:10 pág:4-14

Construcción y evaluación de consignas para evaluar la escritura como competencia para la vida

Ana Atorres

Universidad de Buenos Aires, Facultad Latinoamericana de Ciencias Sociales, Consultora de la UNESCO/LLECE. anaatorresi@uolsinectis.coM.ar

RESUMEN

Nuestra intención es ofrecer algunos elementos que orienten una más eficiente construcción y corrección de las instrucciones de producción escrita como parte esencial de la socialización de conocimientos. Por esta razón, nos centramos en la ejemplificación de los tipos de textos (Adam, 1992) cuya escritura se solicita con más frecuencia y, en consecuencia, en la de las estrategias lingüísticas involucradas en la formulación de las instrucciones o consignas que los suscitan. Al mismo tiempo, analizaremos la relación entre esas instrucciones y sus correcciones, y propondremos al lector mismo realizar una serie de reflexiones al respecto.

No consideraremos el caso de los ejercicios para ser resueltos en el lenguaje formal de la matemática (ejercicios de cálculo en general), ni el de aquellos de resolución diagramática (análisis sintáctico, por ejemplo), ni el de aquellos de resolución libre o literaria. Ni el planteo ni la resolución de esas clases de consignas dejan de ser tema de discusiones interesantes, pero la naturaleza altamente especializada de las observaciones que producirían nos excusan de acometerlas en el límite de este artículo.

PALABRAS CLAVE

Escritura, evaluación, tipos de evaluación de la escritura, evaluación de proceso, evaluación de producto, objetivos de la evaluación, instrucciones o consignas, criterios de éxito, escalas de calificación.

Introducción

"Relacionen la Revolución Francesa con la Revolución de Mayo [de 1810 en el Río de la Plata]"Reflexionen acerca de la problemática latinoamericana y sus perspectivas hacia el futuro", "¿Qué vinculación encuentran entre el texto y el cuadro?", "Elaboren un listado con las ventajas y las desventajas de cada uno de los siguientes medios de transporte: ferrocarril, barco, automóvil, avión", "Escriban un chiste en sus carpetas en el que se produzca una situación absurda en un cuartel de bomberos y una farmacia".

Las consignas anteriores fueron tomadas de libros de texto de historia, geografía, ciencias sociales y lengua de gran circulación en el medio educativo. Son, además, consignas semejantes a las que encontramos frecuentemente en los trabajos prácticos o en las evaluaciones que los docentes proponen realizar a los alumnos. Quienes elaboramos esas consignas partimos de la base de que, a lo largo de una serie de páginas o de horas de clase, hemos desarrollado el tema en cuestión -hemos explicado, hemos proporcionado materiales de lectura y guías para el afianzamiento de los conceptos, hemos ido realizando evaluaciones orales de la comprensión y demás- y que eso ha establecido entre los alumnos y nosotros un acuerdo comunicativo tal que ellos sabrán qué se les demanda. En otros términos, si no responden a la pregunta como se espera, significa que no han estudiado o que no lo han hecho suficientemente.

Pongámonos por un momento en el otro lugar: el del alumno que se ve enfrentado con la consigna. ¿En qué sentido, por ejemplo, debe relacionar la Revolución Francesa con la Revolución de Mayo? ¿Debe relatar sintéticamente las etapas de la primera, hasta su consolidación política y el surgimiento del imperio napoleónico; inscribir en éste la imposición del gobierno de José Bonaparte en España; la organización de la resistencia española y, en ese marco, la formación de juntas que serían creadas, a su vez, por los americanos y asumirían provisionalmente la soberanía, poniendo en marcha el proceso que concluiría con la independencia? ¿Debe referirse al modo en que penetraron y se difundieron las ideas plasmadas en la Declaración de los Derechos del Hombre y del Ciudadano? ¿Alas agrupaciones que se crearon en el Río de la Plata al "estilo jacobino", como las sociedades y los clubes? ¿A la calificación de algunos de los actores rioplatenses como "jacobinos" y a sus causas y consecuencias? ¿A las diferencias entre ambas revoluciones? ¿Debe escribir un relato? ¿Un informe?

Éstas son sólo algunas de varias relaciones posibles, pero bastan, creemos, para dejar planteada la necesidad de acotar o circunscribir la consigna si pretendemos, por un lado, orientar al alumno en el proceso de producción-que, recordemos, comienza con el reconocimiento del tema- y, por el otro, inducir el estudio de un tema específico. Además, esperamos, hemos dejado planteado también el problema de la corrección: ¿qué hacer ante producciones que se basen, como es esperable, en las diferentes interpretaciones de esa consigna que es viable realizar? En efecto, a pesar de la experiencia en el tema de la formulación de consignas y su corrección, uno se ve frecuentemente sorprendido por las diversas interpretaciones de los alumnos; y no estamos hablando de aquellos que "no entienden la pregunta", sino de consignas que podríamos calificar como ambiguas[1].

Por supuesto, también podemos proponernos como objetivos desarrollar o evaluar la capacidad de nuestros estudiantes para para agotar todas las relaciones posibles u obtener respuestas diversas que nosotros pondremos en relación de complementaridad, o diagnosticar el acceso a materiales de lectura, etcétera; en todos estos casos, una consigna como "Relacionen la Revolución Francesa con la Revolución de Mayo" sería una buena consigna. La segunda consigna citada al comienzo -"Reflexionen acerca de la problemática latinoamericana y sus perspectivas hacia el futuro"- tiene dos errores de orden formal: "problemática" es un adjetivo, por lo que corresponde remplazar esa palabra por "problema" y modificar el género de "latinoamericana", y "perspectivas" contiene en sí la idea de futuro, por lo que "hacia el futuro" podría eliminarse. En nuestra opinión, la instrucción presenta, además, dos obstáculos, que radican en el uso del verbo "reflexionar" y el del sustantivo "problema" sin otro complemento que "latinoamericano". Invitamos al lector a precisar lo siguiente: ¿En qué contexto o en relación con qué tarea supuestamente esperada ubicamos esos obstáculos? ¿Qué modificaciones podrían realizarse a la actividad para mejorarla?

Como hemos dicho, aun cuando violemos algunas de las convenciones del artículo académico, nos hemos propuesto representar una situación de diálogo con el lector, que, además, queda invitado a hacer uso de la dirección electrónica que encabeza el texto y respondernos efectivamente con el fin de compartir sus ideas. Entonces, vamos con otra propuesta: dados un determinado teito y un determinado cuadro, la consigna "¿Qué vinculación encuentran entre el texto y el cuadro?", citada también antes, presenta problemas similares a "Relacionen la Revolución Francesa con la Revolución de Mayo". ¿Cuáles son esos problemas? Para desgranarlos con más facilidad, le sugerimos completar una lista de los tipos de vínculos que podría tender a realizar el alumno si no recibe una orientación más precisa: vínculos de oposición, de inclusión...

Para finalizar esta introducción, una última consideración sobre nuestros primeros ejemplos. "Elaboren un listado con las ventajas y las deventajas de cada uno de los siguientes medios de transporte: ferrocarril, barco, automóvil, avión" parece una consigna incompleta; por ejemplo, ¿desde la perspectiva de quién se habla de "ventajas" y "desventajas"? ¿En qué contexto histórico hay que situar esas ventajas y desventajas? ¿En qué contexto geográfico? ¿Con qué fin debe elaborarse esa lista? ¿Cómo debería completarse la consigna con miras a eliminar ambigüedades y vacíos de información?

La escritura y su evaluación

los moaeios teoncos eiaooraaos para explicar lo que sucede al escribir coinciden, en general, en que los escritores competentes proceden más o menos del siguiente modo:

•piensan antes de escribir y mientras escriben en el tema que quieren o deben desarrollar, en la información con que cuentan al respecto, en cómo es mejor expresarla, en el receptor a quien destinan el escrito, en la finalidad o propósito de la escritura, en sus posibles efectos, y demás;

•esquematizan la organización del texto, es decir, trazan mentalmente y, luego, en borradores, un proyecto de texto y/o sucesivas versiones;

•releen el escrito para verificar si se ajusta a los objetivos planteados; corrigen (FloweryHayes, 1996).

Esta concepción del acto de escribir es relativamente reciente. En consecuencia, la idea de enseñar a construir sentidos en un texto y de evaluar ese proceso de construcción con vistas a guiar el aprendizaje es más reciente aún, tanto en el currículo de la formación docente como en las prácticas escolares.

Los manuscritos antiguos con correcciones dan cuenta de que los escritores competentes de todas las épocas revisaron y corrigieron sus escritos. La pretensión actual es que la transformación de escritores novatos en escritores expertos comience en el marco del sistema escolar.

Tipos de evaluación

Independientemente de los diversos tipos de evaluación escrita y de los objetivos con que ésta pueda efectuarse, la valoración de la capacidad de expresión escrita implica la consideración de dos aspectos complementarios y relacionados:

•el producto escrito, o los discursos que un estudiante es capaz de redactar;

•el proceso de escritura, o los procedimientos de trabajo y las estrategias que el estudiante utiliza para producir esos discursos.

La tradición escolar se ha centrado casi exclusivamente en el primer aspecto; sin embargo, el segundo no es menos importante, por lo que, si bien las evaluaciones que empleamos con más frecuencia son, sobre todo, evaluaciones de producto, nos detendremos también en las evaluaciones de proceso.

Evaluación de proceso

La evaluación del proceso de escritura consiste en la observación de las estrategias de análisis de la información y del método de redacción -o respuesta, en él caso de las materias en las que no predomina el lenguaje verbal-del alumno.

En realidad es un tipo de evaluación poco usual en el sistema educativo. Como en lugar de medir un producto estático se trata de explorar el comportamiento de un sujeto -el proceso dinámico que lleva a cabo-, esta evaluación resulta más cualitativa que cuantitativa. Antes que'la adjudicación de puntaje a cada estudiante, interesa analizar -mediante técnicas de observación y recolección de información- estilos de trabajo y, eventualmente, avances en el proceso de producción. Básicamente, se busca determinar si el alumno:

•traza mentalmente un plan, activando en su memoria sus conocimientos sobre el tema por el que se lo interroga, así como sobre los tipos de texto (Adam, 1992), los géneros discursivos (Bajtin, 1982), incluidos las demostraciones, las fórmulas, los teoremas y demás;

•redacta borradores; cuántos, qué características tienen (son textos escritos para sí mismo o para otro; incluyen palabras clave u oraciones completas, que implican poca economía de procesamiento; dependen del contexto, que no es expresado, o conforman, en realidad, un texto autónomo; tienen una estructura que refleja el proceso de descubrimiento del tema o se organizan atendiendo a la meta que se busca alcanzar);

•recupera ideas "del plan y, luego, del borrador; las reformula, las reubica, las expande; recurre a fuentes de información y apoyos como los libros de texto, las carpetas de ejercicios, los diccionarios, las gramáticas, etcétera;

•realiza correcciones en forma recursiva, privilegiando aspectos globales, o se centra dé modo exclusivo en cuestiones de superficie manteniendo la planificación inicial, o no corrige nada;

•trabaja a gusto, motivado, concentrado en la tarea, o se dispersa.

Evaluar si estas tareas se realizan o no y, en el primer caso, observar de qué modo se efectúan resultan actividades que permiten al docente reorientar al alumno atendiendo al momento del proceso en que se produce la falla.

El análisis introspectivo a posteriori de la tarea de escritura ("¿Qué liizo usted antes de escribir? ¿Revisó el texto? ¿Lo revisó mientras escribía o dejó la revisión para el final? ¿Qué correcciones introdujo?", etcétera) es un modo usual de evaluar el proceso; si bien es más rápido y menos trabajoso que otros métodos, no resulta absolutamente confiable, ya que las respuestas dadas por el escritor se ven casi siempre interferidas por lo que él cree que el docente piensa que debería haber hecho. Para asentar los datos que obtiene, el evaluador suele confeccionar grillas en las que figuran la fecha del análisis, la lista de alumnos y sus respuestas a los diversos aspectos indagados. El análisis se repite periódicamente.

Una de las metodologías de análisis del proceso de respuesta por escrito que ha resultado particularmente exitosa es el análisis de protocolos. El protocolo es el registro detallado de todos los razonamientos que hace quien realiza una tarea por escrito, desde el momento en que ésta se le plantea hasta qué la concluye; se le solicita que no deje de formular en voz alta sus reflexiones, sean del tenor que sean y que, por lo demás, trabaje normalmente (que tome notas, garabatee cuadros, escriba, etcétera). El protocolo, cuya trascripción puede alcanzar unas veinte páginas por cada hora de sesión, es muy rico en datos y, en conjunto con las notas y la versión que el escritor entrega como final, permite observar no sólo el desarrollo del producto escrito, sino muchos de los procesos intelectuales que lo produjeron. La tipificación de esos procesos permite construir w modelo que da cuenta de los procedimientos involucrados en la escritura. Aplicado al mismo sujeto en diferentes instancias de evaluación, el análisis de protocolos permite advertir modificaciones en el tipo de proceso de escritura que se realiza; para consignar estas modificaciones, el evaluador lleva un registro en el que vuelca la información recogida respecto de cada sujeto en las diferentes instancias de evaluación.

Ahora bien, la exploración de estos aspectos mediante la metodología apuntada supone un intérprete capacitado, además de un aparato grabador por sujeto; si a esto se suma que la trascripción fiel de la grabación es a veces dificultosa, se entiende que su implementación es difícil. Cabe agregar un inconveniente más para la aplicación de los análisis de protocolos a los efectos de observar las modificaciones en el proceso de escritura: los cambios de hábitos de trabajo en este campo son muy lentos y, en general, se aprecian entre ciclo y ciclo y no en períodos más breves.

Volvemos a requerir en este punto su participación: ¿Qué ventajas y qué desventajas tienen los dos modelos de análisis del proceso de escritura descritos arriba?

En las instancias de análisis e interpretación, los criterios aplicados pueden traducirse en indicadores de rendimiento globales, referidos al conjunto de la clase. Por ejemplo, la ejecución de las actividades relacionadas con la escritura del borrador puede diferenciarse de las vinculadas con la redacción del texto definitivo, y los aspectos globales de la escritura (adecuación del borrador y el texto a la consigna, pasaje del borrador al escrito, organización temática, presentación) pueden distinguirse de los locales (ortografía, legibilidad). Los datos arrojados por un análisis global permiten responder a preguntas generales y definir políticas institucionales en consecuencia[2].

Por ejemplo, si se .observara que los alumnos que produjeron textos con diversos tipos de error no habían escrito previamente borradores, ni expandido palabras clave ni, en consecuencia, habían producido modificaciones entre el borrador y el texto definitivo, podría concluirse que uno de los aspectos más problemáticos para los estudiantes es el reconocimiento de la escritura como proceso, es decir, que un texto no se escribe "de un tirón", sino que implica un ir y venir sobre las ideas iniciales para expandirlas, suprimirlas, rectificarlas, reubicarlas. Por tanto, habría que reforzar el trabajo en ese sentido.

Evaluación de producto

La tradición escolar consideraba que el docente, único poseedor de las competencias para corregir, debía estar exclusivamente a cargo de esta tarea; como demostración de su capacidad y su dedicación, debía producir la versión perfecta del texto o, al menos, señalar explícita y pormenorizadamente la solución adecuada para alcanzarla; por último, lo que se corregía era lo que el alumno consideraba versión definitiva, la cual, en general, no difería de la primera versión más que en aspectos vinculados a la presentación. Esto provocaba que el alumno esperara ser corregido y que no se percibiera como el protagonista del trabajo de producción; es decir, no podía asumir su responsabilidad ante el error y en el aprendizaje, ni desarrollar autonomía.

Actualmente, se sabe que la revisión y la autocorrección son procesos fundamentales en la composición del texto. En efecto, los alumnos, si son orientados de manera conveniente, resultan capaces de autocorregirse de la misma manera que de generar ideas.

Los trabajos actuales han comprobado que la autoevaluación da resultados positivos entre los estudiantes, sobre todo cuando, previamente, éstos han sido formados en la habilidad de corregirse por un docente que ha realizado él mismo la tarea de señalar errores en las primeras etapas de la producción del escrito y que, en consecuencia, ha mostrado caminos de autocorrección. A esta forma de corregir, la didáctica de la escritura suma otra: la corrección entre pares. Este tipo de corrección supone enseñar a los aprendices de correctores a plantear interrogantes claros, a analizar un texto en sus diversas dimensiones y a hacer observaciones que muestren al que escribe la necesidad de revisar sus elecciones.

Ya no se trata de que el docente ejerza una mirada en nombre de la preceptiva, sino de que aporte una mirada que sirva de modelo de procedimientos a seguir, colaboradora, que apunte a lograr la mayor eficacia comunicativa posible (McCormickCalkins, 1998).

Para iniciar cualquier evaluación de producto de la escritura que, independientemente de su tipo, resulte válida y confiable, es preciso tener en cuenta los objetivos, el tipo de prueba y la escala de calificación. Pero antes de meternos en este asunto, vamos a hacerle un nuevo planteo: ¿Qué ventajas y qué desventajas tiene, en su opinión, la evaluación de proceso en relación con la evaluación de producto de la escritura en el marco de situaciones de aula?

Los objetivos

Toda evaluación tiene el objetivo principal y general de permitir la toma fundamentada de decisiones. Estas decisiones pueden ir desde determinar el resultado total y final de una unidad de aprendizaje o del curso y traducirlo en un sistema de calificaciones, hasta mejorar el desarrollo de las tareas durante el curso, adecuando el dispositivo de enseñanza a las capacidades del grupo (Perrenoud, 1999).

Específicamente en el terreno de la elaboración de pruebas y trabajos prácticos, los objetivos determinan qué aspectos concretos se evaluarán. Situándonos en nuestro tema, la expresión escrita, se trata de una habilidad que supone una serie de microhabilidades -procedimientos, conceptos y actitudes- que, aunque puedan manifestarse todos y lo hagan al mismo tiempo, no pueden evaluarse siempre en su totalidad ni de modo superpuesto, ya que la medición perdería objetividad y validez.

Considerar el instrumento de evaluación y la metodología de análisis en el momento de elaborar la prueba evita estos riesgos. Por ejemplo, si se pretende evaluar la habilidad para distinguir y caracterizar en tres partes (párrafos, listas, apartados) diferenciadas por su ámbito de realización: el sindicato / el trabajo / el hogar, las actividades de las mujeres de mediados del siglo XIX, habrá que privilegiar, cuando se corrija, la pertinencia de los ejes de organización seleccionados, la organización en partes, que efectivamente se haya hecho referencia a actividades y que se las haya caracterizado, por sobre aspectos locales como la normativa ortográfica o la presentación[3].

(¿Formularía usted una consigna que permita evaluar la habilidad a la que hicimos referencia en el párrafo anterior? Si decide hacerlo, le sugerimos revisarla después de haber leído el apartado siguiente).

Las instrucciones

Una vez definidos los objetivos, debe seleccionarse la consigna o instrucción adecuada para valorarlos; la técnica más válida (por ser la más global) para evaluar conocimientos específicos vinculados a las habi- lidades de pensamiento que se manifiestan mediante la escritura es la indicación de redacción de un texto completo de ácuerdo con características definidas. Ahora bien, sobre todo en las asignaturas cuyo discurso no es predominantemente yerbal -como matemática, biología, física y demás- la escritura que predomina no es la de un texto completo, sino la del par consigna-respuesta, que constituye un género propio del mundo educativo.

El par consigna-respuesta es un texto coproducido por un docente, que propone la consigna con el fin de orientar o reforzar la interiorización dé un saber, de relevar ideas sobre un tema, de evaluar conocimientos adquiridos, etcétera, y por un alumno, que elabora la respuesta para alcanzar nuevos conocimientos, dar cuenta de ellos ante el docente y demás.

A menudo, este género impone al alumno el juego de suponer momentáneamente que el destinatario final de la respuesta (el docente) no conoce el tema sobre el cual él escribe. En efecto, sobre todo en las situaciones de evaluación, suele establecerse un "contrato" mediante el cual el estudiante, que reconoce que el docente conoce el tema (y que por eso está socialménte habilitado para evaluar su desempeño), debe suponer lo contrario para obligarse a dar la mayor cantidad de información posible-dentro de los límites de lo exigido por la consigna- sobre el asunto en cuestión. Más adelante volveremos sobre este punto.

En cuanto a la escritura de textos completos, la forma más difundida de apreciación preceptiva del producto de la escritura se conoce con el nombre de composición o redacción y exige al alumno redactar un texto que, por lo general, no tiene destinatario ni contexto de circulación determinados.

Es paradójico: la invención de la escritura nació de una necesidad práctica: registrar inventarios. Sin embargo, aún hoy persisten propuestas escolares en las que la escritura carece de toda funcionalidad: lo que se escribe no tiene utilidad más que dentro de la institución escolar.

La composición es, de hecho, una prueba que sirve "para la escuela", ya que, en tanto texto, no tiene circulación posible fuera de ella; se realiza con poca preparación por parte de los evaluadores y suele restringirse a la formulación de una instrucción del tipo: "Escribí un texto en el que relates qué hiciste durante las vacaciones", que no especifica los diversos parámetros de la situación comunicativa que acercarían la producción a la de un escrito efectuado en circunstancias auténticas (como sucedería en: "Contá algo divertido que hiciste durante tus vacaciones a un amigo que vive lejos, siguiendo el formato de la carta o el del e-mail, con la intención de responder a su interés por vos", etcétera).

Las propuestas más influenciadas por las modernas teorías lingüísticas amplían la formulación a instrucciones del tipo: "Escribí una carta a un amigo en la que relates qué has hecho durante tus vacaciones", que incluyen consideraciones acerca de la situación de comunicación (amistosa) y, en algunos casos, del género (carta). Sin embargo, aveces suelen emplearse para evaluar el producto escrito en dos o tres de sus aspectos más superficiales: la caligrafía, la ortografía y, en menor medida, la puntuación. Esto implica dejar de lado cuestiones globales como la adscripción del texto a un género discursivo, y la determinación del receptor y el propósito del escrito. Entonces, si se considéralo finalmente evaluado, hubiera dado lo mismo pedir al alumno que redactara una lista de oraciones sin relación entre sí.

Para ilustrar estos problemas, a continuación presentamos la respuesta de una alumna de séptimo año a la consigna "Redacta una crónica periodística a partir del siguiente titular". La consigna fue dada en el marco de la asignatura Lenguaje, después de haberse explicado las características de ese género periodístico. Como puede observarse a la izquierda del texto, la calificación que recibió la alumna es "muy bien". Además, insistiendo en nuestra idea de que muchos ojos críticos ven más que un par, planteamos los siguientes interrogantes e invitamos al lector a responderlos y a agregar otros: ¿Qué aspectos vinculados a la estructura del texto periodístico no contempla la corrección? ¿Qué aspectos vinculados al conocimiento del léxico (la forma y el significado de las palabras) no son . corregidos? ¿Qué aspectos referidos al necesario grado de formalidad de la situación tampoco son contemplados? Finalmente, ¿qué comentarios relacionados con la asociación minorías sexuales/criminalidad podrían haberse agregado como observación?

Cuando las cuestiones que hacen al texto como tal están ausentes en la consigna y no se las evalúa, aunque la tarea no responda al enfoque de competencias para la vida que se recomienda, la evaluación resulta justa en la medida en que no las califica. Si, en cambio, la consigna indica la redacción de un escrito sin especificar el propósito de la tarea, el portador en el que circulará, el lector al cual se dirige, el prototipo textual y el género con los que el texto debe corresponderse, etcétera y, luego, estos aspectos se evalúan, se incurre en una situación de injusticia para con el alumno.

Lo adecuado, entonces, es incluir en la formulación de la consigna instrucciones que incluyan consideraciones acerca del propósito, el tema, la situación de comunicación, el tipo de texto. Y, posteriormente, durante la corrección, no limitarse a señalar errores de superficie, sino atender a la totalidad de los aspectos pedidos que, por su parte, no deben necesariamente ser todos los involucrados en la redacción de un texto.

En el fragmento siguiente (hemos omitido el texto) de una consigna correspondiente al área de Geografía y destinada a alumnos de 16-17 años, se observa la presencia de toda la información necesaria para la resolución contextualizada de la tarea.

Aunque las consignas pueden ser muy variadas, deben garantizar que la tarea realizada por los estudiantes sea, efectivamente, la que se esperaba. Es decir, una consigna que pida una redacción con parámetros excesivamente abiertos -que no especifique, por ejemplo, si el escrito debe destinarse a alguien con quien se tiene una relación simétrica o asimétrica- no dará lugar a la evaluación de la representación adecuada del receptor en el texto.

Aunque las consignas pueden ser muy variadas, deben garantizar que la tarea realizada por los estudiantes sea, efectivamente, la que se esperaba. Es decir, una consigna que pida una redacción con parámetros excesivamente abiertos -que no especifique, por ejemplo, si el escrito debe destinarse a alguien con quien se tiene una relación simétrica o asimétrica- no dará lugar a la evaluación de la representación adecuada del receptor en el texto.

Esta observación pesa aún más cuantió se pretende evaluar distintos aspectos de la producción para adjudicarles un puntaje, ya que, en este caso, la consigna debería incluir en forma explícita todos los puntos que serán contemplados si no se quiere incurrir en situaciones de injusticia al calificar. "Escribe un relato de más de diez renglones", por ejemplo, da lugar a diferentes tipos de relatos (biografías, crónicas, cuentos, anécdotas) -con las consecuentes variaciones de tema, estilo, organización-, de muy variadas extensiones, con un uso irregularmente libre de los signos de puntuación, el vocabulario, etcétera.

Además, es necesario tener én cuenta que, por más que a partir de un escrito puedan observarse múltiples aspectos, éstos están, de alguna manera, limitados por la consigna misma. Así, no puede evaluarse la creatividad de un escritor si el género en el que debe inscribir su texto permite pocas variaciones de estructura, tema y estilo (la descripción "científica" constituye un ejemplo).

Como consecuencia de lo apuntado, en el momento de realizar el análisis de los resultados sólo podrán extraerse conclusiones respecto del desempeño en relación con la consigna que lo suscitó.

El siguiente caso, propuesto para el sexto año (11-12 años), es un ejemplo claro de consigna que da como resultado un texto que no tiene circulación fuera del aula, es decir, que no es funcional. Se observa, por otra parte, que aunque se ha demandado la escritura de una "redacción" y que ella presenta problemas de coherencia (ausencia de información que- no puede reponerse), sólo se evalúa un aspecto superficial: la ortografía.

En suma, en el caso de las pruebas- producto de escritura, una de cuyas materias es la habilidad de manejar el código de la lengua en diferentes circunstancias y para diversos fines, ha de buscarse proporcionar en la consigna toda la información necesaria para facilitar, y hasta justificar, la ulterior corrección. Veámoslo en un esquema:

Consigna clara, justa, generadora de escritos comparables

indica [por ejemplo, para evaluar si el alumno aprendió las características de la descripción Enciclopédica en relación con un tema de ciencias naturales enseñado]:

•los "pasos" que deben seguirse [búsqueda de información, planificación, puesta en texto, revisión];

•el propósito de la tarea de producción [informar] el contexto de utilización o el marco en el que circulará el escrito [enciclopedia]

•el lector al que debe dirigirse el texto [no especializado]

•el prototipo textual y el género a los que el texto debe corresponder [descripción con estructura jerárquica de X subtemas, entrada de enciclopedia]

•el tema que debe tratarse (y con qué detalle) [una especie, un problema ecológico, un ciclo reproductivo, etc., en X ideas]

A continuación presentamos una consigna propuesta en el área de Lenguaje para alumnos de séptimo año (13-14 años), así como el texto producido por uno de los alumnos. Lo invitamos a analizar punto por punto la relación entre la consigna y la respuesta: ¿Realiza el alumno una redacción? ¿La redacción versa sobre un programa televisivo? ¿En ese programa se trata un tema científico? ¿Se refiere el alumno con detalle al contenido del programa? ¿Selecciona momentos del relato que puedan considerarse interesantes? ¿Justifica por qué son interesantes para él? ¿Se refiere a aspectos del programa que no le gustaron? ¿Justifica las razones de haber elegido el programa? Si otorgáramos un punto a cada uno de estos parámetros, ¿qué puntaje obtendría el alumno?

Y no sólo eso: teniendo en cuenta los siguientes aspectos, le sugerimos reelaborar la consigna: ¿Qué justificación podría haber dado el alumno a la elección de tal programa si, en la consigna misma, se le pide que se refiera a uno que le haya interesado? ¿Necesariamente podría haber dado rasgos negativos de un programa que seleccionó porque le interesaba?

¿Qué tipo de texto debía redactar el alumno según la consigna? ¿Es posible, en un mismo texto coherente, de diez renglones pautados, describir, explicar (no "relatar") momentos clave y dar argumentos?[4].

Los criterios de éxito y las escalas de calificación

Habitualmente se considera que los criterios de éxito son el conjunto de los aspectos comunicativos generales y/o específicos que debe alcanzar el escrito para que sea apreciado como aceptable; la escala de calificación o baremo de puntuación, por su parte, es el valor numérico que se da a cada aspecto, a cada respuesta o al escrito en total.

Cualquier evaluación de producto debe tener en cuenta y determinar los objetivos o aspectos concretos que se pretende evaluar, la consigna o instrucción adecuada para valorarlos y los criterios de éxito o conjunto de los aspectos comunicativos generales y/o específicos que debe alcanzar el escrito.

La asignación a priori del puntaje que va a merecer cada consigna de una prueba e, internamente, la determinación de los aspectos que serán ponderados para asignarle una puntuación a cada consigna deberían ser cuidadosamente meditadas por el evaluador. Además de facilitarle la tarea ulterior de la corrección, éste estará en condiciones de explicitar ante sus evaluados los criterios de evaluación a partir de los cuales han obtenido una nota numérica que, de otro modo, ¡percibirán como un escarmiento (o una dádiva) arbitrario y, por lo tanto, inmerecedor de todo análisis. Por supuesto, cada asignatura exige criterios y parámetros específicos, fuertemente anclados en los contenidos curriculares; las decisiones tienen, dentro de ese marco, un margen idiosincrásico amplio.

A continuación presentamos, a modo de ejemplo, un modelo de baremo que asigna diferentes puntajes numéricos a diferentes aspectos de un escrito completo y que es especialmente indicado para el área de Lenguaje (adaptado de D. Cassany, M. Luna y G. Sanz, 1996):

Una escala de calificaciòn como la anterior que valora en distintos aspectos la calidad del escrito y que raparte el puntaje total de la prueba entre diversas propiedades del texto, es útil para el docente que desea evaluar en forma pormenorizada aspectos que van más allá de la mera adecuación a la normativa, así como para el alumno que espera reparar en su escrito elementos defectuosos determinados.

En el siguiente ejemplo puede apreciarse el uso de una sencilla escala de calificación, probablemente la más viable cuando se corrijen numerosísimos escritos. Sin embargo, esa sencillez no atenta contra el señalamiento de los aspectos sobre los que el aprendiz de escritor debería fijar especialmente su atención.

Debe cuidarse, sin embargo, el hecho de que todos los aspectos consigandos puedean evaluarse a partir de la consignada dada y, en consecuencia, en el texto producido. En efecto si se ha pedido la reacciòn de una noticia, dificilemente podrá observarse variedad en las marcas de subjetividad, porque la clase de texto "noticia" tiende a producir ilusión de objetividad evitando, entre otros procedimientos, la inclusión de subjetivemas. Las escalas, entonces, deben ser adaptadas a la cosigna.

La aplicación de grillas de corrección sintéticas en sistemas de evaluación masivos o en evaluaciones institucionales presenta el inconveniente de no permitir devolver resultados en función de cada uno de los problemas detectados; por el contrario, sólo se llega a saber que los escritos de los alumnos fueron calificados como, por ejemplo, regulares, pero no sobre qué temas volver para subsanar aquellas fallas que dieron como resultado tal calificación.

Las escalas de calificación mostradas hasta aquí son útiles por permitir evaluar en forma pormenorizada o global aspectos que trascienden los rasgos más superficiales del texto; también lo son porque, aplicadas por una misma persona, responden a criterios de evaluación en principio semejantes para todos los destinatarios. Así, cada docente podría emplear en el aula una grilla sinética porque si el pone en juego siempre el mismo criterio los alumnos resultan calificados justamente.

En el párrafo anterior hemos introducido una condición -"si él pone en juego siempre el mismo criterio"- que merece ser comentada. En efecto, se constató una cantidad de efectos sistemáticos que influyen o sesgan la ponderación de la información que dan las pruebas de los alumnos. Por un lado, parece existir entre los profesores una tendencia a distribuir las notas según una curva normal, esto es, a establecer siempre una proporción más o menos pareja de notas buenas, regulares y malas, sean cuales fueren las características de los exámenes. También parece influir el orden en el que se corrigen los exámenes: los primeros suelen obtener mejores notas que los últimos en ser corregidos. Está bastante constatada la existencia de un efecto de contraste, debido al cual la calificación otorgada a un trabajo depende, en alguna medida, de la impresión obtenida de los trabajos anteriores. Un trabajo que obtendría una nota mediana en un lote de trabajos de calidad superior puede obtener una nota buena si es corregido junto con trabajos de calidad inferior (AmiguensyZerbato-Poudou, 1999). Lo anterior debe llamarnos la atención sobre el hecho de que la evaluación del trabajo de los alumnos debe realizarse no sobre la base de un modelo de referencia que el profesor desarrolla, sino mediante la comparación genérica entre conjuntos de información y criterios objetivos. Esto es: débemos volver al primer punto considerado, los criterios, y tener presentes los sesgos introducidos en la apreciación del evaluador como efecto de diferentes factores: serie de corrección, tendencia a la normalización, propósitos, creencias. Una forma posible de "combatir" estos sesgos es la elaboración de glosarios de referencia que habrán de consultarse durante la corrección. Por ejemplo:

"Se considerará que el texto tiene un" problema de coherencia cuando se observe en él uno de los siguientes problemas:

"Se considerará que el texto tiene un" problema de coherencia cuando se observe en él uno de los siguientes problemas:

1)las proposiciones no se encadenan a partir de la repetición de algunos elementos (El perro de mi tío muerde. La vaca de mi abuela no da leche. El mursciélago de primo es orejón);

2)no se produce un desarrollo a partir del aporte constante de nueva información (Es uno de los animales domésticos más amigos del hombre. Tiene cuatro patas y está cubierto de pelo. Es amigo del hombre);

3)se introduce información que contradice un contenido previamente establecido, explícita o implícitamente (El perro es grande y pequeño);

4)los hechos referidos no están relacionados en el mundo (real o imaginario) que el texto representa (Mi perro es un animal chico porque tiene cuatro patas).

5)hay una ausencia de información que no puede reponerse (es el caso de un texto que comienza así: Ese día iba caminando por la calle y encontré un perro).

6)ausencia de coherencia título/texto; entre el título y el texto hay coherencia cuando el primero: a) designa el tema global o contenido del segundo (El siberiano, como título de una descripción de la raza llamada siberiana) o b) indica adecuadamente el género (Descripción del siberiano, Descripción de un perro singular como títulos del ejemplo anterior); los títulos-tema pueden ser: a) literales (El siberiano), b) metafóricos (Perro nieve) o c) intertextuales (La vuelta del perro).

El no cumplimiento de una de estas reglas se indicará como 'Problema de coherencia local de tipo 1,2,3, etc.', según corresponda" (Atorresi y otros, 2000).

Las grillas analíticas y las sintéticas no son tan adecuadas en evaluaciones en las que intervienen necesariamente diferentes apreciaciones sobre las propiedades referidas a la calidad del escrito. En efecto, los sistemas de evaluación y las instituciones en las que se desempeñan grupos numerosos de docentes incluyen muchos "correctores" que difícilmente pueden acordar en cuanto a la extensión de conceptos, como "adecuada utilización de las comas y los puntos", "empleo correcto de los términos científicos" o "precisión y riqueza del léxico". A lo sumo, los participantes convienen en que tal o cual uso es adecuado o inadecuado, pero no se ponen de acuerdo sencillamente en si corresponde adjudicar, de los tres puntos totales correspondientes a ese aspecto, uno o dos (en general, sí acuerdan en los extremos -el cero y el tres, por ejemplo, o el excelente y el insatisfactorio).

Por otro lado, si va a darse un puntaje al texto, el conteo de la cantidad de errores debería realizarse sobre la base de un parámetro que permita calificar con justicia textos de extensión diferente e igualmente adecuados a la consigna dada. La siguiente grilla (Atorresi y otros, 2000), por ejemplo, permite efectuar esas operaciones:

Conclusiones

Las investigaciones sobre las prácticas de evaluación escolares son relativamente bastante escasas. Este fenómeno no es local: los grandes estudios de evaluación que se realizan en el ámbito internacional efectúan en algunos casos estudios cualitativos muéstrales de las prácticas de enseñanza y los factores asociados al éxito escolar, pero no, específicamente, análisis sobre las prácticas de evaluación. Actualmente, si bien existe una tendencia a difundir la importancia del uso de los resultados de las evaluaciones nacionales, no se produce aún mucho material que ayude a los docentes a construir mejores pruebas, pruebas válidas y confiables, es decir, que proporcionen información sobre lo que se busca evaluar y no sobre otra cosa, y que varíe lo menos posible según quienes la interpreten.

Si aceptamos que en toda tarea educativa existen objetivos especificables* cuyo logro merece ser analizado, si aceptamos que la evaluación regula el aprendizaje y la intervención pedagógica,entonces ésta juega un papel muy importante y resta mucho por hacer al respecto. En este artículo quisimos hacer una pequeña contribución en ese sentido.

Como acabamos de señalar, el tema de la evaluación y sus modalidades escolares está aún abierto y exige prestar atención a muchas aristas que aquí abordamos apenas o ni siquiera rozamos. En este sentido, le proponemos una última tarea:

a)Realice una búsqueda en internet ingresando las palabras "taller escritura" y "consignas escritura". ¿Qué tipos de propuestas de talleres y consignas predominan?
b)Realice ahora una búsqueda ingresando "dificultades escritura"? ¿A qué tipo de dificultades aluden los artículos en general? ¿Coinciden con las que usted observa en la mayoría de sus estudiantes?
c)A partir del resultado de la indagación anterior, resuelva, si le parece bien formulada, la siguiente consigna de escritura: "Complete la conclusión de este artículo. Escriba un párrafo descriptivo de cada uno de los aspectos indagados y otro argumentativo- propositivo. Insértelos de modo que resulten coherentes con el resto y conserve el registro que se venía empleando".

Bibliografía

• Amiguens, R. y Zerbato-Poudou, M. 1999- Las prácticas escolares de aprendizaje y evaluación, México, Fondo de Cultura Económica.
• Atorresi, A. 2003. Las consignas de escritura académica. Buenos Aires, Flacso, posgrado virtual en constructivismo y educación.
• Atorresi, A. 2003. y otros 2000. Evaluación de la escritura, La Plata, DGCyE.
• AdamJ.M. 1992. types etprototypes: récit, argumentation, description, explication, dialogue, París, Nathan.
• Bajtin, M. 1982. Estética de la creación verbal, México, Fondo de Cultura Económica.
• Beaugrande, R.A. de y Dressler, W 1997. Introducción a la lingüística del texto, Barcelona, Ariel.
• Bernárdez, E. 1982. Introducción a la lingüística del texto, Madrid, Espasa Calpe.
• Calkins,L. 1992.Didáctica de la escritura, Buenos Aires, Aique.
• Camilloni, A. 1998. La calidad de los programas de evaluación y de los instrumentos que los componen, en Camilloni, A., Celman, S., Litwin, E. y Palou de Maté, M., La evaluación de los aprendizajes en el debate didáctico contemporáneo, Buenos Aires, Paidós.
• Camps, A. 1995. Hacia un modelo de enseñanza de la composición escrita en la escuela, en Textos, n° 5, julio de 1995, Barcelona.
• Cardona, G. R. 1999. Antropología de la escritura, Barcelona, Gedisa.
• Cassany, D. 1991. Describir el escribir, Barcelona, Paidós.
• Cassany, D. 1999- Construir la escritura, Barcelona, Paidós.
• Cassany, D. Reparar la escritura, Barcelona, Grao.
• Luna, M. y Sanz, G. 1994. Enseñar lengua, Barcelona, Grao.
• Ciaspuscio, G. 1994. Tipos textuales, Buenos Aires, Oficina de Publicaciones del Ciclo Básico Común de la Universidad de Buenos Aires.
• Flower, L. y Hayes, J. 1996. La teoría de la redacción como proceso cognitivo, en Textos en contexto. Los procesos de lectura y escritura, Buenos Aires, A.I.A. Lectura y Vida.
• García Debanc, C. 1994. Apprendre a justifier par écrit un réponse: analyses linguistiques etperspectives didactiques, en Pratiques, 84, París.
• Graves. D. 1991 • Didáctica de la escritura, Madrid, Morata.
• Graves. D. 1991 1992. Un aula donde se lea y se escriba, Buenos Aires, Aique.
• Perrenoud, P. 1999- Avaliagáo. Da Excelencia a Regulaqáo das Aprendizagens. Entre duas lógicas, Porto Alegre, Artes Médicas.
• Ribas Seix, T. 1997. Evaluar en la clase de lengua: cómo el alumno gestiona su propia escritura, en Textos de Didáctica de la Lengua y de la Literatura n° 11, enero.
• Serafini, M. R. 1985. Cómo se escribe, Barcelona, Paidós.
• Van Dijk, T. 1989. La ciencia del texto, Barcelona, Paidós.
• Wells, G. 1986. Aprender a leer y a escribir. Barcelona, Laia.
• Zamudio, B. y Atorresi, A. 2000. La explicación, Buenos Aires, Eudeba.

NOTAS

1. Buscando entre nuestras versiones borrador de pruebas presuntamente objetivas, encontramos la siguiente pregunta, que surgía de la lectura de un cuento: ¿alié significa la palabra subrayada en la siguiente oz cascada? frase:se disculpó la tortuga, c b) catarata. c) entrecortada. d) ronca. La opción que dimos por correcta en su momento fue la c, pero, por su ambigüedad (¿Acaso una voz no puede estar cascada porque sufrió un daño, repentino, independientemente del proceso de desgaste que se produce con la edad? ¿Acaso una voz cascada no puede ser tanto ronca como aguda?), el ítem resultó pésimo y hubo que descartarlo. Al reconocimiento de estas ambigüedades se llega dando la pregunta a otros lectores fuera de la situación de evaluación y escuchando sus justificaciones respecto de las• respuestas que darían, repitiendo el ejercicio de ponerse uno mismo en el lugar del lector-alumno después de un tiempo de haber elaborado la prueba y, finalmente, en evaluaciones de gran escala, por procedimientos estadísticos.
2. Algunos ejemplos de esas preguntas globales podrían ser los siguientes: ¿Cuántos alumnos escribieron? De los que escribieron, ¿cuántos ignoraron el borrador? ¿Cuántos se limitaron a escribir el borrador y dejaron Evaluación de producto en blanco el texto? ¿Cuántos dejaron en blanco el borrador y pasaron directamente a escribir el texto? ¿Cuántos emplearon el espacio asignado al borrador s escribiendo un "texto" con características de borrador? De los que completaron el borrador y redactaron el texto, ¿cuántos recuperaron ideas del borrador? c ¿Cuántos se adecuaron a la consigna? De los que versión perfecta del texto o, al menos, señalar redactaron el texto siguiendo la consigna, ¿cuántos desarrollaron la totalidad de las ideas pedidas? ¿Cuántos aportaron otras ideas pertinentes? ¿En qué medida produjeron textos coherentes? ¿En qué medida se adecuaron a la situación de comunicación? ¿Produjeron textos legibles? ¿Presentaron el texto convenientemente? Los que no redactaron el texto que debían redactar, ¿qué clase de texto compusieron? ¿Hubo un predominio de alguna clase en particular? ¿A qué se deberá?
3. Cabe aclarar que no todos los aspectos pueden ser medidos mediante una prueba de producto: las actitudes.y los procedimientos de revisión puestos en juego, por ejemplo, sólo pueden evaluarse en .una prueba de proceso.
4. Como se habrá notado, el "éxito" de una consigna depende, en gran parte, de los verbos que empleamos para formular la instrucción. El texto (Atorresi, 2003), está dedicado a definir y ejemplificar los verbos más comunes en las instrucciones de escritura académica. Compartir con nuestros alumnos, a comienzo del año, a qué llamaremos "describir", "argumentar", "resumir", "justificar" y demás allana en buena medida la tarea posterior de ambas partes. Aquí tomamos un caso presentado en dicho texto y lo adaptamos suponiendo como destinatario a un alumno del nivel medio o polimodal de la asignatura Historia:
   "Analizar: el análisis es un procedimiento de conocimiento y razonamiento. Analizar es estudiar, examinar algo, separando o considerando por separado sus partes, de modo ordenado y sistemático. Un análisis puede ser una descomposición de un todo real en partes reales (como en el caso de los análisis químicos) o puede entenderse en un sentido mental (como en 'analice la siguiente idea'). En este último caso, se analiza un concepto en los subconceptos que lo constituyen. Veamos este ejemplo: 'Grabá un programa de radio AM semanal, matutino o vespertino, completo. Analizalo a partir de las particularidades de los medios de comunicación vistas en clase'. En este caso, lo que la consigna pretende es que el programa sea examinado teniendo en cuenta variables como la propiedad del medio, la orientación ideológica de la programación total de la emisora y del programa en particular, la hora de emisión, el tipo de receptor previsto, los recursos para captar al receptor, la selección de información, el peso de los auspicios y la dinámica de los 'llamados de audiencia.