Coordinación de Planeación y Evaluación Educativa
Dirección de Evaluación del Sistema Educativo Estatal MAYO 2005
Retos de la Evaluación Cualitativa del Programa Escuelas de Calidad Resumen Los retos para la evaluación del Programa Escuelas de Calidad han sido de distinta índole, este trabajo da a conocer cómo se superaron algunos de ellos, además del cúmulo de aprendizajes que de dicha evaluación se han podido obtener. La primera parte presenta una breve introducción al Programa Escuelas de Calidad, después una descripción de la propuesta para su evaluación y por último los retos, problemas y aprendizajes para el estado de Jalisco y el equipo investigador.
I. El Programa Escuelas de Calidad La política nacional de reforma de la gestión educativa desplegada en el Programa Nacional de Educación (PNE), se concreta en estrategias como el Programa Escuelas de Calidad (PEC) que tiene el objetivo de establecer en la escuela pública de educación básica un nuevo modelo de autogestión con base en la planeación y evaluación sustentadas en la reflexión colectiva. Para el PEC los maestros, directivos, alumnos y padres de familia integran una comunidad escolar corresponsable, que identifica sus necesidades y problemas y es capaz de generar un proyecto de desarrollo propio con metas realizables orientadas hacia la mejoría de la calidad del servicio educativo. En este sentido el objetivo del PEC pretende establecer en las escuelas públicas de educación básica un nuevo modelo de autogestión con base en la planeación y evaluación sustentadas en la reflexión colectiva y se concreta a través de tres líneas de acción: 1. Apoyo financiero para la adquisición de libros, útiles y materiales escolares, didácticos y de apoyo, así como para la inversión y/o el mantenimiento de espacios educativos, mobiliario y equipo. 2. La autoevaluación y la evaluación externa son elementos fundamentales del Programa. 3. Avanzar hacia una gestión educativa estratégica para convertir a la escuela en una organización centrada en lo pedagógico, abierta al aprendizaje y a la innovación. El diseño de operación del PEC, integra una fase de evaluación y seguimiento del programa coordinada a nivel nacional por la Dirección General de Evaluación de Políticas de la Secretaría de Educación Pública, operada en nuestro estado por la Dirección General de Evaluación Educativa institución a través de la cuál se realizan las evaluaciones externas a las escuelas incorporadas al programa, con base en estándares nacionales de desempeño (medición cualitativa) y en estándares de aprovechamiento escolar (medición cuantitativa), para valorar el impacto del proyecto escolar en la calidad educativa. Con los resultados de la aplicación de los instrumentos, tanto de la autoevaluación como de la evaluación externa, se conformó el portafolio institucional para las escuelas de la muestra; esta técnica de recuperación longitudinal permite identificar cambios en las estrategias de gestión, en el clima organizacional, en las perspectivas y actitudes de los actores y eventos críticos de la operación del PEC en cada establecimiento; lo que hizo posible apreciar el valor agregado del proyecto escolar en la escuela y concentrar las evidencias para identificar patrones recurrentes en los niveles de éxito o fracaso del programa por estrato o nivel de complejidad; es decir, evidenció la transformación de la escuela a partir de la ejecución del proyecto escolar. Estándares nacionales de gestión, participación social y práctica docente La evaluación cualitativa se enfoca al estudio de los factores que permiten que los alumnos tengan buenos logros educativos a pesar de las condiciones socioeconómicas adversas de las comunidades donde viven.
2
El avance de resultados de la evaluación del PEC en sus fases I, II y III analiza los factores asociados a la enseñanza y el aprendizaje que garantizan la efectividad, y sitúa en principio en la fortaleza del CAPITAL SOCIAL, de la escuela; constituido por las redes de confianza, reciprocidad y acuerdos normativos que impactan en la organización escolar, en el liderazgo académico del directivo, el ambiente de aula y el ambiente de escuela. La fortaleza del Capital Social permite que se propicie el aprendizaje organizacional entre sus integrantes, la participación social sea un constante apoyo para la escuela, los proyectos generados en la misma cuenten con expectativas elevadas y se realicen con la participación y compromiso del colectivo escolar. La percepción del valor agregado con respecto a los estándares nacionales para evaluar el Programa de Escuelas de Calidad (apartado N° 9 de las Reglas de Operación e Indicadores de Gestión del PEC, 2002), se realiza a través de diversos instrumentos que se aplicaron en las visitas realizadas a las escuelas muestra como parte de la investigación de campo llevada a cabo durante los ciclos escolares 2001-2002, 2002-2003 y el ciclo 2003-2004. Cobertura En Jalisco durante el ciclo escolar 2001-2002 se inscribieron 149 escuelas primarias de las cuales se estructuró una muestra de 25 escuelas como parte de la investigación cualitativa nacional para conocer el impacto del programa. En el ciclo escolar 2002-2003 la cobertura fue de 614 escuelas de niveles primarias generales, telesecundarias, especial y educación indígena, estos mismos niveles participaron en el ciclo escolar 2003-2004, incrementando la cantidad de escuelas a 815. II.- Propuesta de evaluación La Dirección General de Evaluación de Políticas (DGEP) de la Secretaría de Educación Pública ha desarrollado diversas experiencias de evaluación cualitativa en los últimos años1, permitiendo conocer de manera sistemática procesos relativos a la práctica pedagógica y la gestión escolar, logrando descubrir modelos recurrentes y factores diferenciales en la dimensión previamente denominada como la ¨caja negra¨ del sistema educativo, esto para referirse a las escuelas y a sus aulas. Los estudios han sido ejecutados por los miembros de las áreas estatales de evaluación, muchos de los cuales no han tenido preparación previa en investigación o evaluación de campo, se les han impartido diplomados especializados en evaluación cualitativa y se les ha acompañado directamente o mediante supervisión cercana con asesores especializados. Los resultados de las evaluaciones cualitativas han permitido descubrir en los procesos de aula y de escuela, una perspectiva institucional del quehacer de la política educativa nacional, identificando las condiciones de efectividad de las decisiones del sistema en cuanto a su calidad, equidad y pertinencia.
Formación de competencias de evaluación en los equipos técnicos La evaluación cualitativa fue desarrollada por equipos técnicos estatales especialmente conformados para esta tarea, los cuales operaron bajo la dirección de una coordinación central. Los equipos técnicos estatales se formaron mediante una selección de materiales de documentales, talleres de evaluación cualitativa y redes de acompañamiento. 1
Entre los estudios se encuentran los dos estudios diplomados de investigación cualitativa coordinados por el autor de esta propuesta y ambos publicados por la Dirección General de Evaluación de la SEP, el primero se titula Las escuelas primarias rurales y los apoyos de los programas compensatorios (en coautoría con Nora Rangel) y el segundo ¿Cómo transformar las escuelas? lecciones desde la gestión escolar y la práctica pedagógica.
3
En los talleres de evaluación cualitativa participaron los equipos técnicos estatales y fueron concertados por la coordinación técnica central del estudio. Durante el primer año de funcionamiento del programa de Escuelas de Calidad se ofrecieron talleres, con una duración de 20 horas cada uno. Metodología La realización de esta investigación educativa está sustentada en el Modelo CIPP como sus siglas lo indican se refiere al Contexto, Insumos, Procesos y Productos, elementos básicos presentes en esta investigación. También se sostiene en la Teoría Fundamentada (Grounded Theory) originalmente desarrollada por Glaser y Strauss (1967), como método para la comprensión de los procesos de conceptualización sobre patrones emergentes que se identifican a través de los datos sistemáticamente recogidos y analizados. Este método difiere de otras perspectivas cualitativas una vez que las perspectivas tradicionales recogen los datos antes de empezar el análisis a partir de una hipótesis inicial, donde el análisis queda como actividad final, en contraste, los investigadores que usan Grounded Theory obtienen las categorías teóricas que emergen de los datos y que sirven para definir las próximas actividades de recolección, este proceso ha estado vigente a lo largo de la investigación ya que la recopilación de datos ha variado acorde a las necesidades de la misma. ¿Qué es el modelo CIPP? Corresponde a los modelos globales de evaluación que son interpretativos y comprensivos, ya que permiten establecer el significado de las acciones y de las actividades que se desarrollan en los proyectos y programas. “Su enfoque globalizador y holístico, que no busca causas ni efectos, sino que interpreta y comprende procesos que por ser epistemológicos pueden convertirse en subjetivistas”2. “Este método según Castillo y Gento (1995)3 ofrece la siguiente clasificación de método como Modelo conductista-eficientista cuyo autor de este método Stufflebeam (1967) lo concibió con la finalidad educativa para la toma de decisiones, su paradigma dominante es mixto, (cualitativo/cuantitativo) su contenido de evaluación se cifra en: Contexto, Insumos, Procesos y Productos y se recomienda su aplicación por un evaluador externo. El diseño corresponde a un estudio cualitativo longitudinal y transversal con grupos no equivalentes, con observaciones pre y post4, con enfoque en las observaciones tanto en los aspectos presupuestos en la teoría del programa5, como en su operación en la escuela6, principalmente en cuanto a considerar la evaluación misma como uno de los elementos constitutivos del mejoramiento de la propia escuela como organización7. En el estudio es tan importante identificar el impacto8 atribuible al PEC como los procesos que promueve en las unidades de análisis9 (Gestión Escolar, Práctica Pedagógica y Participación 2
M la Francesco V. Giovanni, Aportes pedagógicos al proceso de autorregulación y acreditación institucional, 2001 Trabajo presentado para ascender a profesor titular VRAC. 3 Escudero, Tomás (2003) Desde los tests hasta la investigación evaluativo actual. Un siglo, el XX, de intenso desarrollo de la evaluación en educación, consultado Octubre 01-2004, Página de Internet 4 Clina, T. R., Program Assessment, Reading, Mass.: Addison-Wesley, 1999; Linsay, G. y Desforges, M., Baseline Assessment: practice, problems and possibilities, London: David Fulton Publishers; y Arnau, J., Diseños Longitudinales aplicados a las ciencias sociales y del comportamiento, México: Limusa. Citado por Armando Loera en: Reporte Desctripivo de la Línea ded Base de la Evaluación Cualitativa del PEC 1. 5 Chen, Huey-Tsyh, Theory-Driven Evaluations, Newbury Park, Calif.: Sage Publications, 1990. 6 Cfr. King, J.A., Morris, L.L. y Fitz-Gibbon, C. T., How to Assess Program Implementation, 7 Cfr. Russ-Eft, D. y Preskill, H., Evaluation in Organizations: a systematic approach to enhancing learning, performance,and change, Cambridge, Mass.: Perseus Publishing. 8 Cfr.Baker, J.L. Evaluación del Impacto de los proyectos de desarrollo en la pobreza: manual para profesionales, Washington, D. C.: Banco Mundial, 2000; Schalock R.L.,Outcome-based Evaluation, New Cork; Kluwer Academy 2001, Citado por Armando Loera en: Reporte Desctripivo de la Línea ded Base de la Evaluación Cualitativa del PEC 1. 9 Fullan, M. G., The New Meaning of Educational Change, New York: Columbia University Press, 1991; Santos Guerra, M. A.,Evaluación Educativa (dos tomos), Buenos Aires: Magisterio del Río de la Plata, 1996 y Hopkins, D. A., Evaluation for SchoolDevelopment, KucKingham, U.K.: Open University, 1994.
4
Social). En el diseño y desarrollo del estudio se ha tratado de seguir los lineamientos metodológicos sugeridos por el Comité Sanders para la evaluación del programa.10 De tal manera que se realizaron cinco tipos de evaluaciones: evaluación contextual, evaluación de insumos o recursos, evaluación de procesos, evaluación de productos y en este caso, la evaluación del valor agregado cuantitativo y cualitativo. Selección de la muestra Las escuelas de la muestra, fueron seleccionadas de manera aleatoria por la Dirección General de Evaluación Educativa y que voluntariamente aceptaron el proceso de evaluación cualitativa fueron visitadas al menos en dos periodos de cinco días en cada ciclo escolar a diferencia del primer ciclo donde fue necesario hacer la negociación de entrada. MUESTRA JALISCO Muestra inicial
Ciclo escolar 2001-2002
Ciclo escolar 2002-2003
Ciclo escolar 2003-2004
25 escuelas
23 escuelas
20 escuelas
19 escuelas
UBICACIÓN GEOGRÁFICA DE LA MUESTRA POR MUNICIPIOS Guadalajara
8
7 escuelas
7 escuelas
6 escuelas
Tlaquepaque
4
4 escuelas
3 escuelas
3 escuelas
Tonalá
2
2 escuelas
1 escuelas
1 escuelas
Zapopan
5
4 escuelas
3 escuelas
3 escuelas
Ameca Lagos de Moreno Ocotlán
1
1 escuela
1 escuela
1 escuela
1
1 escuela
1 escuela
1 escuela
1
1 escuela
1 escuela
1 escuela
1
1 escuela
1 escuela
1 escuela
1
1 escuela
1 escuela
1 escuela
1
1 escuela
1 escuela
1 escuela
25
23 escuelas
20 escuelas
19 escuelas
Tepatitlán Tlajomulco de Zúñiga Zapotlán el Grande TOTAL
Negociación de la evaluación. La entrada a la escuela por parte del equipo estatal de evaluación cualitativa consistió en describir el proceso de la evaluación a los directivos y docentes, establecer las tareas y compromisos, definir fecha para la primer visita y proceder a que la escuela que acepte el proceso lo haga con la mayor formalidad posible (resolución de Consejo Técnico o de Participación social, contrato de evaluación, firmas simples de aceptación, etc.). Instrumentos Los instrumentos aplicados en el estudio fueron diseñados de manera cooperativa entre el equipo técnico central y los equipos técnicos estatales, se sometieron a valoración de campo bajo los mismos equipos. La coordinación mantuvo especial cuidado en que se aplicaran los mismos instrumentos, bajo los mismos procedimientos en la ejecución del trabajo de campo debido a que el estudio comparó datos semejantes a nivel nacional. En los instrumentos a desarrollar se consideraron instrumentos ya experimentados en procesos semejantes en México o en otros 10
Sanders, J. R. (Comité Conjunto de Estándares para la Evaluación Educativa), Estándares para la Evaluación de Programas,Bilbao: Ediciones Mensajero, 1998.
5
países, siempre viendo las peculiaridades y especificidad de este estudio cualitativo, así como las condiciones concretas del estudio.
Instrumentos para definir del estado inicial de la gestión escolar: 1. Mapa conceptual participativo de inicio de programa para conocer la conceptualización que el colectivo escolar tiene de gestión escolar, práctica pedagógica y participación social. 2. Encuesta al director sobre gestión escolar a directivos y docente 3. Encuestas a docentes. 4. Encuestas de indicadores de desempeño dirigidas a padres de familia, miembros de la comunidad, profesores, docentes y supervisores 5. Copia del proyecto de la escuela 6. Primer entrevista etnográfica al director de la escuela. 7. Diarios de campo. Instrumentos para determinar el estado intermedio de la escuela: 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14.
Estudio del contexto de la escuela. Historia del establecimiento. Entrevista etnográfica al director de la escuela. Entrevistas de grupo de enfoque con docentes y directivos para determinar estilos de liderazgo y medición de capital social institucional. Entrevistas de grupo de enfoques con familias y líderes de la comunidad para determinar el capital social comunitario e institucional. Encuestas a padres de familia sobre la Participación Social. Registro de la práctica pedagógica mediante videograbación de la enseñanza de las matemáticas de 4º. grado. Llenado de instrumento de autoevaluación para el docente de 4º grado videograbado. Autoevaluación de cuadernos. Evaluación de desempeños de los alumnos de alto y bajo aprovechamiento y no polarizados de 4º grado. Entrevistas etnográficas a alumnos percibidos por sus maestros como de alto y bajo rendimiento. Encuesta de estilos de enseñanza. Encuesta de estilos de aprendizaje. Diarios de campo.
Instrumentos para la identificación del estado final de la escuela: 1. Encuesta de indicadores de desempeño institucional de fin de ciclo. 2. Entrevista etnográfica al director(a) del establecimiento. 3. Diarios de campo. Instrumentos para concentración y procesamiento de la información. Los instrumentos con carácter de encuesta se procesaron a través del Programa Estadístico para las Ciencias Sociales, SPSS. Los estadísticos resultantes se constituyeron en insumos, además de la recuperación de la información captada por entrevistas y videos, para la triangulación y el seguimiento trasversal y longitudinal a través de la elaboración de matrices: ¾ ¾ ¾ ¾
Factuales Inferenciales. Comparativas. Megamatrices
6
El procesamiento de la información a través de matrices conjuntó los datos cualitativos y cuantitativos, admitió la comparación de casos con la línea de base y los años posteriores, dando seguimiento a las recurrencias e incidencias e hizo posible emitir inferencias y desarrollar constructos hipotéticos sobre el posible impacto y valor agregado que se hacen presentes en cada escuela. Productos: • Portafolio escolar • Reportes de caso y estatales El Portafolio Escolar Para la sistematización del portafolio, cada etapa de la evaluación retornó la información a la escuela en forma de reportes escritos de caso, presentaciones power point, diversos informes sobre las capturas de datos procesados de manera que estén listos para su consulta, consideración y/o retroalimentación para el siguiente ciclo escolar. El portafolio institucional aporta evidencias de la transformación de la escuela organizadas de acuerdo a estrategias de gestión, clima organizacional, perspectivas y actitudes de los actores, estrategias de liderazgo y cooperación con base en logros académicos. Con este material los equipos técnicos estatales de evaluación trabajaron para determinar el valor agregado del proyecto escolar por centro escolar e identificar las diferencias entre los miembros de la muestra y para la presentación de los reportes del estudio cualitativo de cada entidad; a su vez, el equipo central elabora un reporte nacional sobre el funcionamiento del programa.
Los reportes de caso y estatales Durante la investigación se triangularon los instrumentos descritos y las observaciones registradas en los diarios elaborando categorías y subcategorías que daban estructura y peso específico a las inferencias como base a la realización de los reportes de caso de la línea de base sobre los siguientes aspectos: 1. Descripción del Contexto, 2. Retrato de la Escuela, 3. ¿Cómo se enseña español y matemáticas? (incluyendo la descripción de clima de aula e interrelaciones entre el docente y su forma de trabajo ante el grupo) 4. Organización de la escuela, 5. Actores sociales que participan en la escuela 6. ¿Cómo ha sido la vida de la escuela a partir del PEC?
En la 2 fase del seguimiento se agregaron los valores, y los reportes giraron en torno a describir el estado que guardaban las tres unidades de análisis a un año de la investigación, así como dar cuenta de la operatividad del programa y del uso y manejo del portafolio escolar. La fase 3, se centró en conocer los impactos positivos y negativos a partir del PEC para tratar de encontrar el Valor agregado que aportó el PEC. Recuperando los elementos que incorporó la segunda fase para la contrastación entre los casos se hicieron nuevas y mejores inferencias; asimismo, teniendo en cuenta el nivel de logro de las escuelas según la base de datos de resultados en estándares nacionales por cuartil de eficacia de la escuela, decil del nivel socioeconómico. Esta tercera fase se centró en el conocimiento de los impactos positivos y negativos encontrados y evidenciados en los proyectos y Programas Anuales de Trabajo (PATs), los cambios logrados en cada una de las unidades de análisis, inferir cuáles de ellos se debían al PEC para destacar aquellas cosas que prevalecen desde la línea de base, referenciar los avances con relación a los objetivos y metas del proyecto, los logros y las dificultades, polarizando estos
7
aspectos en la evolución comparativa entre las escuelas, tipificando los casos por sus desempeños e intentar explicar los resultados. III. Retos, problemas y aprendizajes Integración del Equipo Investigador En este punto es necesario hacer notar que de acuerdo a las disposiciones de la DGE de la SEP, ahora Dirección General de Evaluación de Políticas, para la integración del equipo investigador fue necesario solicitar a los diferentes niveles educativos del estado, personal con cierto perfil y disposición de tiempo completo para este fin, de tal manera que se lograra una investigación cualitativa con cierta unificación de criterios. El equipo evaluador se conformó por cinco investigadoras cuyo perfil profesiográfico fue de 4 docentes de educación primaria, 2 con licenciatura (una de ellas con experiencia en otras investigaciones cualitativas realizadas por la DGE), 2 con maestría en investigación educativa y una docente con licenciatura en educación preescolar que se desempeñaba como supervisora técnica. Los retos de este proceso de integración se circunscribieron a la dificultad que implica dentro de una investigación cualitativa, la interpretación objetiva de la realidad, al realizar los análisis concretos, conceptualizaciones claras y precisas en los diagnósticos, detecciones de problemas, clasificaciones de los mismos, identificación de los procesos de evolución, para realizar el cruzamiento de datos cualitativos y cuantitativos, y establecer sus asociaciones e inferencias. En el trabajo de campo: La negociación de entrada que se hizo al iniciar del trabajo con las escuelas, determinó la disposición de los docentes para aceptar y colaborar con la investigación realizada. El equipo investigador logró un acercamiento significativo con la mayoría de los docentes, que si bien en un principio se cuestionaban el porqué sus escuelas eran motivo de esta evaluación muestral, en algunos casos se reflejó rechazo al trabajo que con ellos se llevaría a cabo, sin embargo a partir de la primera reunión colegiada, al exponerles el plan de trabajo del primer año, se logró captar la atención e interés de la mayoría de los docentes, traduciéndose esto en la diversidad de datos vertidos en los instrumentos, la apertura en el diálogo con los entrevistados y el desarrollo de los primeros mapas conceptuales elaborados por la escuela, manifestando conceptualizaciones sobre las tres unidades de análisis objeto de este estudio (gestión escolar, práctica pedagógica y participación social) que tenían los involucrados. Uno de los retos a vencer durante el primer año de la investigación, fue la aparente contradicción entre las respuestas que los informantes dieron a algunos instrumentos como los indicadores de desempeño, los cuales evaluaban con el valor máximo de 4 puntos en la escala estimativa correspondiente a la expresión totalmente; durante el segundo año se reflejó un retroceso en los promedios que evaluaban el trabajo del director, el proyecto escolar, la organización de la escuela y los procesos de evaluación que se viven en su interior. Estos contrastes en las valoraciones emitidas fueron cuestionados a los informantes durante la lectura del primer reporte de caso, los participantes manifestaron que, en el primer año, emitieron esas valoraciones altas (4 totalmente) por temor a que se les retirara el financiamiento acordado para la continuidad de sus proyectos. En el segundo año de la investigación, se sintieron con mayor confianza para expresar las verdaderas opiniones, positivas o negativas sobre los diferentes tópicos tratados, esto se manifestó en una baja considerable entre los promedios de la primera y segunda fases. Cuando se dio a conocer el segundo reporte de caso, se consultó nuevamente a los participantes sobre el particular, algunos comentaron que habían querido ser honestos y evidenciar las carencias y objetivos no alcanzados durante el primer año.
8
Durante el tercer año de la investigación se apreciaron nuevamente valoraciones distintas, se incrementaron los promedios y en la última entrevista con el colectivo escolar al presentar el comparativo de las evaluaciones en los tres años, los informantes percibieron las diferencias en los tres ciclos evaluados, comentando que esa última valoración era la más cercana a su realidad, lo que se pudo validar al hacer la triangulación de las distintas fuentes de información de los demás instrumentos que sí coincidían con los argumentos de los actores. Las triangulaciones realizadas con estos instrumentos multifactoriales han sido coyunturales y han impactado en las tres unidades de análisis (Gestión Escolar, Práctica Pedagógica y Participación Social), han reflejado el trabajo y la integración que se vive en la escuela. Lo más trascendente en los docentes y el directivo fue conocer la opinión que de ellos y de su desempeño tienen los padres de familia, la comunidad y sus alumnos. Grupos de enfoque Los grupos enfoque con padres de familia y miembros de la comunidad implicaron un reto para la escuela principalmente, porque al inicio de la investigación, algunos docentes y directivos de las escuelas que nunca habían trabajado coparticipativamente, reflejaron cierto temor a que se conocieran las verdaderas opiniones de los padres de familia y miembros de la comunidad que serían entrevistados, principalmente porque por sus características este instrumento es un diálogo abierto con los convocados y ofrece la oportunidad de analizar las respuestas, ampliarlas y obtener observaciones sobre el lenguaje corporal de cada uno de ellos, ya que estas sesiones fueron videograbadas. La primera observación importante como resultado de los grupos de enfoque fue que los padres de familia no coincidieron con el problema principal de la escuela detectado por los docentes y directivos para la elaboración del proyecto escolar. Se puso en evidencia que entendían los problemas de la escuela desde perspectivas diferentes, quizás por la falta de comunicación que existía entre ellos. Al realizar la socialización de los resultados de este grupo de enfoque, con el consejo técnico escolar se impactó en su estructura y su organización al tener conocimiento de los comentarios positivos o negativos en cuestiones tan simples como las razones por las cuales los padres de familia inscriben a sus hijos en cada escuela, a su vez se pusieron en evidencia las interrelaciones que tienen lugar en el plantel, el trato que reciben como padres de familia, su percepción del trabajo y trato a sus hijos, así como el porqué no cambian a sus hijos de escuela, adjudicando valor al capital social del equipo docente. Aplicación de la videograbación al docente de 4º grado Este reto fue uno de los más grandes a vencer, al inicio de la investigación, porque la mayoría de los docentes sintieron temor y aceptaron esta actividad más por obligación que por convicción, aunque en algunos casos no se logró el permiso de los docentes para la videograbación de sus prácticas de español y matemáticas. En los casos en que se realizaron videograbaciones, cuando se les preguntaba a los docentes, cómo se habían sentido con esta actividad, ellos manifestaron haberse sentido con temor o tensionados, pero que poco a poco se fueron desinhibiendo y se olvidaron de la cámara para finalmente sentirse cómodos con la experiencia. Durante el proceso de la autoevaluación del video, los docentes, hicieron críticas objetivas de su actuar y afirmaron sentirse satisfechos con la experiencia, pero sobretodo manifestaron haberse dado cuenta de las muletillas que utilizan al dirigirse a sus alumnos, de cómo son reiterativos con sus explicaciones, así como del grado de participación que permiten a sus alumnos, de la forma en que se desplazan en el aula, de las distinciones que hacen con algunos alumnos, del trato que les dan. Posteriormente, en las sesiones grupales que se realizaron, socializaron esta experiencia con otros compañeros, manifestaron estar contentos de haberse dado la oportunidad de verse en su realidad e invitaban a otros docentes a vivir esta actividad durante el siguiente ciclo escolar.
9
Evaluación de desempeños de español y matemáticas Esta actividad más que un reto, nos proporcionó como equipo investigador muchos aprendizajes a nivel local, personal e institucional. Fue satisfactorio llevarla a cabo por sus características, pues implica poner en una situación de evaluación dialógica/reflexiva a los alumnos para conocer la forma en que construyen sus pensamientos y ponen en juego las habilidades alcanzadas en las asignaturas de español y matemáticas, entre los hallazgos relevantes de esta actividad se destacan: 1. 2. 3. 4.
Apreciación docente sobre el nivel de aprovechamiento de sus alumnos. Problemas de lateralidad. Realidad vs. Planteamiento de problemas matemáticos. Alumnos con necesidades educativas especiales.
1..- El aprendizaje más significativo fue el de haber descubierto las potencialidades de algunos alumnos considerados por sus maestros como de bajo aprovechamiento y que al aplicarles la evaluación ponían en evidencia sus conocimientos y habilidades, en ocasiones con mejores resultados que los obtenidos por los alumnos considerados por el docente como de alto aprovechamiento, la problemática radicaba en que eran más lentos para realizar sus trabajos y por no terminarlos en el tiempo requerido por sus maestros se implicaba una falta de capacidad o conocimiento. 2.- Otro gran aprendizaje, fue descubrir en algunos alumnos considerados como de bajo aprovechamiento en matemáticas, que su problema no radicaba en el razonamiento o en el uso adecuado de las operaciones básicas, sino en un problema de lateralidad al realizar las sumas u otras operaciones básicas, ya que procedían en sentido inverso, por lo que nunca sus resultados iban a ser correctos; sabían procedimientos, conocían qué tipo de operaciones realizar, pero al efectuarlas, no obtenían los resultados exactos por este problema. 3.- Otra experiencia, fue entender la realidad del niño ante el problema matemático que tiene que resolver, si bien el problema representa una situación ficticia, el alumno en algunas ocasiones se interioriza en él y responde al problema desde su realidad por ejemplo: El problema a resolver, plantea la necesidad de gastar $100.00 comprando distintos artículos representados gráficamente, el alumno tiene la opción de decidir en qué gastará su dinero, pero muchos alumnos no gastaban la totalidad, algunos afirmaban que ya habían concluido el problema cuando aún les faltaba dinero por gastar, al cuestionarles porqué no gastaban más si aún tenían dinero las respuestas giraron en torno a: • • • •
“…Tengo que guardar para mi camión.” “… lo que me sobró mejor lo guardo en mi alcancía.” “…quiero comprarme una paleta.” “…ya no quiero comprar más.”
La riqueza de poder entablar este tipo de diálogos con los alumnos sobre algo que aparentemente era una respuesta incorrecta, nos abre reflexiones interesantes sobre los planteamientos que hacemos en los problemas matemáticos, ya que en el texto les decimos que él va a decidir que artículos va a adquirir y lo que podría parecer una respuesta incorrecta no lo era. 4.- Esta actividad puso de manifiesto una situación crítica que se vive en algunas de las escuelas que tienen alumnos con necesidades educativas especiales, en este caso en particular al evaluar un alumno en la asignatura de español, se detectó que no podía leer, ni escribir, se pregunta a la docente sobre el particular y nos informa que este alumno tiene necesidades educativas especiales y forma parte del grupo que atiende USAER en el plantel; en la entrevista etnográfica aplicada al
10
alumno y preguntarle sobre la utilidad que tiene para él el saber leer y escribir contestó: …”porque si leo y escribo poquito paso de año”. Esta respuesta fue la que nos llevó a poner en común del Consejo Técnico esta problemática, al investigar más sobre el asunto, encontramos: a) El alumno no ha reprobado ningún grado y no es capaz de leer, confunde vocales y consonantes, solo identifica algunos monosílabos más comunes como el, la, un, una, si y no. Su nivel de lectura y escritura es presilábico. b) Se le pasa de año por la evolución que manifiesta en el transcurso del año escolar, aunque este no sea el mínimo suficiente dentro de los criterios de aprobación y niveles de logro correspondientes al grado. c) Su maestra trata de brindarle atención especial además de la del equipo USAER. d) La docente le consiguió una beca a la familia para que al menos cuenten con mejor alimentación. e) La escuela ha legitimado y certificado a este tipo de alumnos en muchas ocasiones. f) Los docentes tienen opiniones encontradas por no saber cómo actuar con este tipo de alumnos; si dejarlos pasar como lo han hecho, entregando a la sociedad futuros ciudadanos con un certificado de 6º grado para que puedan formar parte de la clase trabajadora o reprobarlos, negándoles la oportunidad de tener acceso al trabajo. Todas estas reflexiones abrieron un parte aguas muy importante que cuestionó la responsabilidad de la escuela ante la sociedad como formadora de futuros ciudadanos, el papel y responsabilidad de cada uno de los docentes, sus valores éticos, la función del equipo USAER en el plantel y en el municipio, la función de la gestión escolar, la responsabilidad de las autoridades educativas, la imagen de la escuela ante la comunidad etc., esta actividad les permitió entender mejor sus actos y darse cuenta de lo que implican estas decisiones.
Este mismo instrumento permitió al equipo Jalisco, obtener algunos datos importantes para dar seguimiento a lo largo de la investigación y poder entablar una evolución de cómo se enseña español y matemáticas en las escuelas de Jalisco, tomando en cuenta algunos aspectos de la asignatura de español como la lectura y expresión oral, el uso y evaluación de la ortografía, expresión escrita y en el caso de las matemáticas, sobre el uso y manejo de problemas, trabajo en equipo, uso del punto decimal, dominio de operaciones básicas, aplicación del cálculo mental.
Otros grupos de enfoque aplicados con los docentes y con los padres de familia, nos permitieron conocer desde diferentes perspectivas, las estrategias de trabajo aplicadas en los grupos, con respecto al uso de las bibliotecas de aula, los libros del Rincón de Lecturas y las actividades del Programa Nacional de Lecturas encaminadas a mejorar la comprensión lectora, en el caso de las matemáticas, se puso en evidencia el uso y manejo de los contenidos de la asignatura con apoyo de los ficheros y el conocimiento de los enfoques del programa, destacándose que los docentes que atienden los grupos de 1º a 3º enfatizan como necesidad principal para que los alumnos comprendan y logren un mejor aprovechamiento, el uso de materiales concretos que les permitan hacer las asociaciones pertinentes en la resolución de problemas. Retos en el terreno de la investigación evaluativa La parte operativa de la evaluación, representó algunos retos para realizarse, por la magnitud de instrumentos aplicados y del número de informantes, los tiempos para la captura y organización de la información, algunos de orden administrativo para lograr contar con el equipo adecuado y tener oportunamente cubierto aspecto financiero para realizar las visitas foráneas principalmente. Sin embargo el reto mayor en esta investigación cualitativa, radicó en poner en práctica todos los conceptos vertidos en los diplomados, para la estructuración de las diferentes matrices y realizar el análisis de los datos, la triangulación de los instrumentos, manejar los distintos programas
11
estadísticos para la investigación y encontrar los patrones recurrentes que permitieran categorizar y construir las matrices factuales, inferenciales, comparativas y megamatrices para la elaboración de reportes de caso y de estado Otro reto muy significativo que afectó al equipo investigador fue el vencer la subjetividad en la redacción de los diarios de campo para que se constituyeran en fuentes confiables de información y de evidencia de los argumentos vertidos en los reportes de caso. Resulta difícil identificar los rasgos que permiten, en la redacción, plantear objetivamente los problemas detectados durante el proceso de cada una de unidades de análisis, definir su importancia y precisar la evolución o retroceso. Para el equipo evaluador, fue un proceso de aprendizaje continuo, tenaz y contra reloj, porque la responsabilidad y la tarea fueron de gran magnitud, e implicaron un proceso agotador de trabajo en algunas ocasiones, porque imponía tiempos muy cortos para completar amplias capturas, remitirlas al equipo de Heurística Educativa para su validación, asistir a diplomados, construir matrices, hacer los análisis matriciales, buscar las constantes cuanti-cualitativas, procesarlas y además definir la estructura para la elaboración de los reportes de caso y estatal.
12
