Implementación de una evaluación ­nacional del ­rendimiento ­académico Evaluaciones nacionales del rendimiento académico VOLUMEN 3 Implementación de una evaluación ­nacional del ­rendimiento académico Editores Vincent Greaney Thomas Kellaghan © 2016 Banco Internacional de Reconstrucción y Fomento/Banco Mundial 1818 H Street NW, Washington, DC 20433 Teléfono: 202-473-1000; Internet: www.worldbank.org Algunos derechos reservados 1 2 3 4 19 18 17 16 La presente obra fue publicada originalmente por el Banco Mundial en inglés en 2012, con el título Implementing a National Assessment of Educational Achievement. Vol. 3 of National Assessments of Educational Achievement. En caso de discrepancias, prevalecerá el idioma original. El presente documento ha sido realizado por el personal del Banco Mundial, con aportaciones externas. Las opiniones, las interpretaciones y las conclusiones aquí expresadas no son necesariamente refl ejo de la opinión del Banco Mundial, de su Directorio Ejecutivo ni de los países representados por este. El Banco Mundial no garantiza la exactitud de los datos que fi guran en esta publicación. Las fronteras, los colores, las denominaciones y demás datos que aparecen en los mapas de este documento no implican juicio alguno, por parte del Banco Mundial, sobre la condición jurídica de ninguno de los territorios, ni la aprobación o aceptación de tales fronteras. Nada de lo aquí contenido constituirá ni podrá considerarse una limitación ni una renuncia de los privilegios y las inmunidades del Banco Mundial, todos los cuales están reservados específi camente. Derechos y autorizaciones Esta publicación está disponible bajo la licencia Creative Commons Reconocimiento 3.0 IGO (CC BY 3.0 IGO): http://creativecommons.org/licenses/by/3.0/igo. La licencia Creative Commons Reconocimiento permite copiar, distribuir, comunicar y adaptar la presente obra, incluso para fi nes comerciales, con las siguientes condiciones: Cita de la fuente. La obra debe citarse de la siguiente manera: Greaney, Vincent, y Thomas Kellaghan. 2016. Evaluaciones nacionales del rendimiento académico. Volumen 3: Implementación de una evaluación nacional del rendimiento académico, Vincent Greaney y Thomas Kellaghan, editores. Washington, DC: Banco Mundial. DOI:10.1596/978-1-4648-0747-3. Licencia: Creative Commons Reconocimiento CC BY 3.0 IGO. Traducciones. En caso de traducirse la presente obra, la cita de la fuente deberá ir acompañada de la siguiente nota de exención de responsabilidad: “La presente traducción no es obra del Banco Mundial y no deberá considerarse traducción oficial de este. El Banco Mundial no responderá por el contenido ni los errores de la traducción”. Adaptaciones. En caso de que se haga una adaptación de la presente publicación, la cita de la fuente deberá ir acompañada de la siguiente nota de exención de responsabilidad: “Esta es una adaptación de un documento original del Banco Mundial. Las opinions y los puntos de vista expresados en esta adaptación son exclusiva responsabilidad de su autor o de sus autores y no son avalados por el Banco Mundial”. Contenido de terceros. Téngase presente que el Banco Mundial no necesariamente es propietario de todos los componentes de la obra, por lo que no garantiza que el uso de dichos componentes o de las partes del documento que son propiedad de terceros no violará los derechos de estos. El riesgo de reclamación derivado de dicha violación correrá por exclusiva cuenta del usuario. Si se desea reutilizar algún componente de esta obra, es responsabilidad del usuario determinar si debe solicitar autorización y obtener dicho permiso del propietario de los derechos de autor. Como ejemplos de componentes se puede mencionar los cuadros, los gráficos y las imágenes, entre otros. Toda consulta sobre derechos y licencias deberá enviarse a la siguiente dirección: Publishing and Knowledge Division, The World Bank, 1818 H Street NW, Washington, DC 20433, USA; fax: 202-522-2625; correo electrónico: pubrights@worldbank.org. ISBN (edición impresa): 978-1-4648-0747-3 ISBN (edición electrónica): 978-1-4648-0748-0; 978-0-8213-8589-0 (inglés) DOI: 10.1596/978-1-4648-0747-3 Diseño de la portada: Naylor Design, Washington DC Microsoft, Access, Excel, Office, Windows y Word son o bien marcas comerciales registradas o marcas comerciales de Microsoft Corporation en los Estados Unidos y/o en otros países. SPSS es una marca registrada de IBM. WesVar es una marca registrada de Westat. ÍNDICE PRÓLOGO xv ACERCA DE LOS AUTORES Y EDITORES xix AGRADECIMIENTOS xxiii SIGLAS xxv INTRODUCCIÓN 1 Parte I La logística de una evaluación nacional Sarah J. Howie y Sylvia Acana 1. PREPARACIÓN PARA LA EVALUACIÓN NACIONAL: DISEÑO Y PLANIFICACIÓN 11 Comité director nacional 11 Diseño de una evaluación nacional 12 Planificación 13 Elaboración de un presupuesto 17 2. PERSONAL E INSTALACIONES NECESARIOS PARA UNA EVALUACIÓN NACIONAL 19 Requisitos del personal 20 Instalaciones 31 Nota 33 v vi | ÍNDICE 3. PREPARATIVOS PARA LA ADMINISTRACIÓN EN LAS ESCUELAS 35 El contacto con las escuelas 36 Organización de instrumentos 39 Preparación de las escuelas 40 4. LA ADMINISTRACIÓN EN LAS ESCUELAS 45 El examinador 45 Problemas de administración frecuentes 49 Control de calidad 50 5. LAS TAREAS SIGUIENTES A LA ADMINISTRACIÓN 55 Calificación de las pruebas 55 El registro de datos 58 Análisis de los datos 61 Redacción del informe 62 Parte II Metodología de muestreo de escuelas Jean Dumais y J. Heward Gough 6. DEFINICIÓN DE LA POBLACIÓN DE INTERÉS 67 7. CREACIÓN DE LA BASE DE MUESTREO 71 La base de muestreo 71 Estudio de caso Sentz 74 Nota 79 8. ELEMENTOS DE LA TEORÍA DEL MUESTREO 81 Muestreo aleatorio simple 82 Muestreo aleatorio sistemático 83 Muestreo por grupos 85 Estratificación 90 Asignación de la muestra a diferentes estratos 95 Muestreo con probabilidad proporcional al tamaño 97 Muestreo de etapas múltiples 102 Obtención de muestras 104 II.A MUESTREO: CARPETAS Y ARCHIVOS 117 ÍNDICE | vii  Parte III Preparación, validación y gestión de datos Chris Freeman y Kate O’Malley 9. MANUALES DE CODIFICACIÓN 125 10. GESTIÓN DE DATOS 133 Captura de datos 133 Preparación de la planilla para la captura de datos usando microsoft access 138 11. VERIFICACIÓN DE DATOS 163 Documentación 163 Coherencia entre archivos 164 Coherencia en el interior de un archivo 166 12. IMPORTACIÓN Y FUSIÓN DE DATOS 175 Los peligros de la transferencia de datos entre programas 175 Exportación de datos de SPSS a access 176 Importación de datos conexos 178 Fusión de datos a partir de tablas diferentes utilizando búsquedas de access 180 Control de la versión 180 Seguridad de los datos 184 13. DATOS DUPLICADOS 187 Utilización de access para comprobar la existencia de números de identificación duplicados 187 Búsqueda de registros duplicados 189 Utilización de access para comprobar nombres duplicados 192 III.A DEPURACIÓN Y GESTIÓN DE DATOS: CARPETAS Y ARCHIVOS 197 Parte IV Ponderación, estimación y error de muestreo Jean Dumais y J. Heward Gough 14. CÓMPUTO DE LAS PONDERACIONES DE LA ENCUESTA 203 Ponderaciones de diseño 203 Ajuste de la ponderación para respuestas omitidas 211 viii | ÍNDICE Exportación e importación de datos limpios 223 Post-estratificación: uso de información auxiliar para mejorar las estimaciones mediante el ajuste de ponderaciones 223 15. USO DE MUESTRAS ALEATORIAS SIMPLES PARA EL CÁLCULO DE ESTIMACIONES Y SUS ERRORES DE MUESTREO 229 Estimación del total poblacional 230 Estimación del promedio poblacional 235 Estimación de una proporción poblacional 235 Estimación de subgrupos en la población 236 Conclusión 237 16. USO DE MUESTRAS COMPLEJAS PARA EL CÁLCULO DE ESTIMACIONES Y SUS ERRORES DE MUESTREO 239 17. TEMAS ESPECIALES 249 Respuesta omitida 249 Estratificación, clasificación de la base de muestreo y selección de muestras ­ 251 Escuelas de tamaño mayor al promedio 252 Escuelas de tamaño menor al promedio 254 Normas para juzgar la adecuación de la tasa de respuestas 257 IV.A NOTACIÓN ESTADÍSTICA PARA EL CÁLCULO DE LAS ESTIMACIONES 259 IV.B COMPARACIÓN DE LOS DATOS SRS400 Y LOS DATOS DEL CENSO 261 IV.C ESTIMACIÓN DEL ERROR DE MUESTREO CON TÉCNICAS DE REMUESTREO 265 Utilización del muestreo replicado 266 Estimación con el método jackknife 267 IV.D CREACIÓN DE ZONAS Y REPLICACIONES JACKKNIFE, Y CÁLCULO DE LAS PONDERACIONES JACKKNIFE 273 REFERENCIAS 283 ÍNDICE | ix  EJERCICIOS 7.1 Introducción 75 8.1 Cálculo del tamaño de la muestra y asignación a los estratos 98 8.2 Selección del muestreo SRS de 400 estudiantes 104 8.3  Probabilidad PPT estratificada sin sustitución, selección de escuelas: lectura de los archivos de escuelas y de asignación de escuelas ­ 107 8.4  Probabilidad PPT estratificada sin sustitución, selección de escuelas: combinación de los archivos de escuelas y de asignación de escuelas 108 8.5  Probabilidad PPT estratificada sin sustitución, selección de escuelas: selección de escuelas 108 8.6  Probabilidad PPT estratificada sin sustitución, selección de escuelas: identificación de las clases elegibles 110 8.7  Probabilidad PPT estratificada sin sustitución, selección de escuelas: depuración de la base de muestreo 112 8.8  Probabilidad PPT estratificada sin sustitución, selección de escuelas: selección de una clase por escuela 113 9.1  Captura de datos de evaluación nacional en un manual de codificación 132 10.1 Creación de una base de datos 135 10.2 Creación de las variables de la base de datos 140 10.3 Creación de campos adicionales en la base de datos 142 10.4 Fijación de valores por defecto 144 10.5  Uso de la regla de validación y de las propiedades del texto de validación 145 10.6 Captura de datos de campo en la base de datos 148 10.7 Crear un formulario 151 10.8 Cambiar la estructura del formulario 152 10.9  Ingreso de datos al formulario 154 10.10 Importación de datos a SPSS 159 11.1 Verificación de datos con Excel 165 11.2 Utilización del comando Frequency en el Paquete SPSS 169 11.3 Utilización del comando Frequency para encontrar valores faltantes 171 12.1 Exportar datos desde SPSS a Access 177 12.2 Importar datos de la escuela a Access 179 12.3 Crear una búsqueda simple en Access 181 x | ÍNDICE 13.1 Crear una búsqueda “Encontrar duplicados” en Access 188 13.2 Usar la consulta Find Duplicates para localizar nombres de alumnos duplicados 193 14.1 Ponderación de diseño de un muestreo aleatorio simple de 400 alumnos 204 14.2 Ponderación de diseño para una muestra con PPT de escuelas y clases 207 14.3 Cómo agregar resultados de las pruebas de un muestreo aleatorio simple de 400 alumnos 209 14.4 Cómo agregar resultados de las pruebas para un diseño con PPT ­ 212 14.5 Ajuste de ponderación por respuestas omitidas para muestra aleatoria simple de 400 alumnos 216 14.6 Ajuste de ponderación por respuestas omitidas para una muestra con PPT 220 15.1 Estimación para SRS400 231 16.1 Estimación de varianza con el método jackknife para una muestra con PPT 241 16.2 Cálculo de diferencias entre géneros en una prueba de matemáticas 243 FIGURAS 6.1  Los porcentajes de estudiantes en poblaciones deseadas, definidas y alcanzadas 69 7.1.A Datos escolares de Sentz 76 7.1 Mapa de Sentz 78 8.1 Muestreo SRS sin sustitución de escuelas 83 8.2 Muestreo aleatorio sistemático de escuelas 85 8.3 Muestreo por grupos de escuelas 86 8.4 Muestra aleatoria sistemática de escuelas 91 8.5 Muestreo de etapas múltiples 103 8.6 Extractos de datos 109 8.7 CLASS_FRAME 111 II.A.1 Estructura del directorio de archivos de muestreo 120 9.1 Ejemplo de una página de portada de prueba 127 9.2  Manual de codificación de cuestionario para la información demográfica (contextual) del alumno 128 9.3  Manual de codificación de prueba para los campos de ítems de matemáticas 3a 131 ÍNDICE | xi  0.1 1 Planilla de captura de datos (Access 2007) 134 10.1.A Creación de una nueva base de datos Access 135 10.1.B Diseño de presentación de la base de datos 136 10.5.A Ejemplo para regla de validación 146 10.5.B Ejemplo de texto de validación: sexo 146 10.5.C Validación de valores codificados: edad 147 10.5.D  Validación para valores de texto: idioma de la prueba 147 10.6.A Elementos de los datos de campo: Pregunta 1 149 10.6.B Elementos de los datos de campo: Pregunta 2 149 10.6.C  Estructura del campo para todos los datos del ítem demográfico 150 10.7.A Crear un formulario para captura de datos 151 10.7.B Campos de formulario generados automáticamente 152 10.8.A Mover campos del formulario 153 10.8.B Redimensionado de campos 154 10.9.A  Datos de los estudiantes que se ingresan en el formulario 155 10.9.B Resumen de la respuesta a ítems de los estudiantes 156 10.9.C Registro 1 con datos ingresados 156 10.9.D Ejemplo de un intento de captura de un dato no válido 157 10.10.A Importación del archivo de datos 160 12.1.A Seleccionar variables para exportar 177 12.3.A Agregar tablas a la búsqueda 181 12.3.B Unir tablas 182 12.3.C Variables de búsqueda 183 12.3.D Resultado de búsqueda 184 12.1 Mensaje de alerta de uso exclusivo 185 13.1.A Campos con valores duplicados 188 13.3.B Agregar tablas a la búsqueda 189 13.1 Registros duplicados identificados 190 13.2  Documentación de la corrección de los errores de ID de los alumnos 191 13.3 Eliminar un registro 191 13.4 El mismo ID de estudiante para dos estudiantes 191 13.5  Documentación de la corrección de los errores de ID de los alumnos 192 III.A.1 Estructura del directorio de gestión de archivos y depuración de datos 199 IV.D.1 Lista de variables disponibles 277 xii | ÍNDICE IV.D.2 Zonas jackknife en WesVar 278 IV.D.3 Ponderaciones de las replicaciones en WesVar 279 IV.D.4 WesVar: creación de etiquetas 280 IV.D.5 WesVar: abrir captura de pantalla 281 RECUADROS 2.1 Sistemas de numeración utilizados en evaluaciones nacionales 25 2.2 Requisitos de almacenamiento 32 3.1 Ejemplo de una carta a las escuelas 37 3.2 Empaque de los instrumentos 41 4.1 Formulario de seguimiento de los alumnos 48 4.2 Formulario de administración de la prueba 51 4.3 Ejemplos de preguntas planteadas por los supervisores de control de calidad en la prueba TIMSS 52 5.1 Formulario de seguimiento del instrumento 56 TABLAS 1.1  Fragmento de un plan del proyecto de una evaluación nacional 15 1.2  Listado de fondos de financiación para una evaluación nacional 18 2.1  Ventajas y desventajas de las categorías del personal para la administración de la prueba 29 3.1  Evaluación nacional: formulario de seguimiento de las escuelas 38 3.2 Lista de control de empaque 42 5.1  Tabla ficticia de las características de los maestros de escuela primaria 63 7.1  Elementos esenciales de una base de muestreo para una evaluación nacional 73 II.A.1 Descripción del contenido de las carpetas 118 9.1  Explicación de los encabezados de las columnas del manual de codificación 130 10.1  Variables típicas recopiladas o capturadas en evaluaciones nacionales 138 III.A.1 Ejercicios 198 III.A.2 Soluciones de los ejercicios 198 ÍNDICE | xiii  14.1  Muestreo aleatorio simple estratificado con asignación uniforme 206 14.2  Muestra aleatoria simple estratificada: población urbana y rural y tamaños de la muestra y tasas de respuesta 218 14.3  Muestra aleatoria simple estratificada: población urbana y rural y tamaños de muestra, tasas de respuesta y ­ ponderaciones ajustadas por respuestas omitidas 219 14.4  Encuesta de escuela: distribución post-estrato del personal por género 225 14.5  Estimaciones de la encuesta ajustadas por respuesta omitida 226 14.6  Estimaciones de la encuesta ajustadas por respuestas omitidas antes y después del ajuste post-estratificación 228 17.1  Base de muestreo con diferente orden de medidas de tamaño dentro de los estratos 252 17.2  Base de muestreo para 10 escuelas y ponderaciones de diseño asociadas, si son seleccionadas 253 17.3 Base de muestreo ajustada 254 17.4 Base de muestreo 256 17.5 Base de muestreo modificada 257 IV.B.1 Datos de Sentz basados en el censo 261 IV.B.2 Comparación de estimaciones calculadas con y sin las ponderaciones de los valores del censo, inicio del curso escolar, muestra aleatoria simple 262 IV.B.3 Comparación de estimaciones calculadas con y sin las ponderaciones de los valores del censo, momento de la evaluación y muestra aleatoria simple 263 IV.C.1 Cálculo de la varianza estimada del muestreo usando el muestreo replicado 267 IV.C.2 Preparación de la estimación de varianza con el método j ­ackknife 269 IV.C.3 Estimación de la varianza del muestreo con el método j ­ackknife 271 PRÓLOGO Medir los resultados del aprendizaje de los alumnos es necesario para hacer un seguimiento del éxito del sistema escolar y para mejorar la calidad de la educación. La información sobre el rendi- miento de los alumnos puede usarse como base para una amplia variedad de políticas y decisiones educativas, entre ellas el diseño e implementación de programas para la mejora de la enseñanza y el aprendizaje en las aulas, la identificación de estudiantes retrasados, de forma que puedan recibir el apoyo que necesitan, y la provisión de la asistencia técnica y formación pertinentes allí donde más se necesiten. Esta serie de publicaciones con el título Evaluaciones nacionales del rendimiento académico, de la que este es el tercer volumen, se centra en procedimientos novedosos que deben seguirse para garantizar que los datos (tales como los puntajes de las pruebas y la información contextual) producidos a través de un ejercicio de evaluación nacio- nal a gran escala sean de alta calidad y aborden las preocupaciones de los responsables de las políticas, los responsables de la toma de deci- siones y otros actores del sistema educativo. El volumen 1 de la serie describe los propósitos y las características clave de las evaluaciones nacionales del rendimiento académico y está dirigido principalmente a los responsables de las políticas y de la toma de decisiones en el ámbito educativo. El volumen 2 aborda el diseño xv xvi | PRÓLOGO de dos tipos de instrumentos de recopilación de datos para los ejerci- cios de evaluación nacional: las pruebas de rendimiento estudiantil y los cuestionarios de contexto. El presente volumen 3 de la serie, Implementación de una evalua- ción nacional del rendimiento académico, se centra en las tareas prácti- cas propias de la implementación de un ejercicio de evaluación nacional a gran escala, e incluye instrucciones paso a paso sobre logís- tica, muestreo, y gestión y depuración de datos. Al igual que los volú- menes 2 y 4 de la serie, este volumen está dirigido fundamentalmente a los equipos de los países en desarrollo y emergentes encargados de llevar a cabo el ejercicio de evaluación nacional. El volumen 4 de la serie trata de cómo generar información sobre los ítems y los puntajes de las pruebas y cómo relacionar los puntajes de las pruebas con otros factores educacionales. Por último, el volu- men 5 describe cómo redactar informes basados en las conclusiones de la evaluación nacional y cómo usar los resultados para mejorar la calidad de la política educativa y la toma de decisiones. El volumen 5 debe interesar en especial a los responsables de preparar informes de evaluación o de comunicar o usar sus conclusiones. A medida que los lectores progresen en la lectura de este tercer volumen de la serie Evaluaciones nacionales del rendimiento acadé- mico, quedará patente que la realización exitosa de un ejercicio de evaluación nacional es una tarea compleja que requiere considera- bles conocimientos, habilidades y recursos. Al mismo tiempo, las investigaciones han demostrado que el beneficio de contar con eva- luaciones nacionales bien ejecutadas puede ser considerable, pues la calidad de la información provista sobre los niveles de rendimiento estudiantil y sobre los factores escolares y extraescolares podría ser de ayuda para elevar dichos niveles de rendimiento. (Y a la inversa, el “costo” de una evaluación nacional mal ejecutada puede ser dispo- ner de información inexacta acerca de los niveles de rendimiento estudiantil y los factores conexos). Una implementación de buena calidad puede incrementar la confianza de los responsables políticos y otros grupos de interés en la validez de las conclusiones de la eva- luación. Puede incrementar también la probabilidad de que los res- ponsables políticos y otros grupos de interés usen los resultados de PRÓLOGO | xvii  la evaluación nacional para desarrollar planes y programas sólidos diseñados para mejorar la calidad de la educación y los resultados del aprendizaje de los alumnos. Marguerite Clarke Especialista Superior en Educación Enero de 2012 ACERCA DE LOS AUTORES Y EDITORES Sylvia Acana dirige la Evaluación Nacional del Progreso en Educación de Uganda (NAPE). Es ex profesora de ciencias en educación secun- daria y especialista en la materia en la Junta Nacional de Exámenes de Uganda. Ha proporcionado apoyo técnico en evaluación al Centro de Investigación en Política Económica (Economic Policy Research Centre) y a Save the Children. Es miembro del Comité Ejecutivo de la Asociación Internacional para la Evaluación Educativa (AIEE) y vicepresidenta del Consejo de Administración del Loro Core Primary Teachers’ College. Posee una maestría en medición y evaluación educativa. Jean Dumais es jefe del Grupo Consultivo Estadístico de la Dirección General de Estadísticas de Canadá y estadístico especializado en encuestas como rama metodológica. Le interesa en especial la evalua- ción educativa. En los últimos años Dumais ha supervisado la imple- mentación de las actividades de muestreo y estimación del estudio comparativo de formación docente (TEDS-M) de la Asociación Internacional para la Evaluación del Rendimiento Académico, y el Estudio Internacional sobre Docencia y Aprendizaje (TALIS) de la Organización para la Cooperación y el Desarrollo Económicos (OCDE). Se ha desempeñado también como evaluador de muestras para una serie de evaluaciones comparativas internacionales en el campo de la educación. xix xx | ACERCA DE LOS AUTORES Y EDITORES Chris Freeman es director de investigación en el Consejo Australiano para la Investigación Educativa. Su trabajo se ha enfocado a aspec- tos de las evaluaciones a gran escala realizadas en la mayoría de los estados y territorios australianos. Entre los trabajos a escala nacional que ha llevado a cabo se encuentran el Programa de evaluación nacional de lectoescritura y aritmética elemental, encuestas en áreas curriculares relacionadas con las ciencias, y dirección de la imple- mentación de programas de la OCDE. Ha cooperado también estre- chamente con programas de monitoreo nacionales en el Pacífico Sur y Oriente Medio. Sus actuales áreas de interés incluyen el impacto de las estimaciones en las evaluaciones nacionales a gran escala. J. Heward Gough es estadístico especializado en encuestas por mues- treo y hasta hace poco ha sido consultor estadístico sénior en el Grupo Consultivo Estadístico de la Dirección General de Estadísticas de Canadá. Posee amplia experiencia en el desarrollo de metodologías de encuesta y consultoría estadística, incluyendo cinco años en el Centro Latinoamericano y Caribeño de Demografía (CELADE) de Naciones Unidas. Gough ha impartido cursos sobre métodos estadísticos, técni- cas de muestreo y metodología de encuestas en la Dirección General de Estadísticas de Canadá, para clientes externos en el país, y para oficinas estadísticas nacionales en Colombia, Cuba, Eritrea, Perú y Zambia. Ha participado en un proyecto de desarrollo de capacidad estadística en Burkina Faso. Vincent Greaney es consultor educativo. Ha sido especialista jefe en educación en el Banco Mundial y ha trabajado en África, Asia y Oriente Medio. Ex docente, investigador en el Centro de Investigaciones Educativas del St. Patrick’s College en Dublín, y pro- fesor visitante Fulbright en la Universidad del Oeste de Michigan en Kalamazoo. Miembro de la Galería de Honor de la Lectura de la Asociación Internacional de Lectura. Sus áreas de interés incluyen la evaluación, la formación docente, la lectura y la promoción de la cohesión social a través de la reforma de los libros de texto. Sarah J. Howie es directora del Centro de Evaluación y Examen y pro- fesora de educación en la Universidad de Pretoria. En Sudáfrica, ha coordinado evaluaciones internacionales en comprensión lectora, mate- máticas, ciencias y tecnologías de la comunicación y la información. ACERCA DE LOS AUTORES Y EDITORES | xxi  Además de impartir formación en investigación en una diversidad de países, Howie ha participado en comités nacionales e internacionales dedicados a controlar y evaluar la calidad educativa. Sus áreas de interés profesional incluyen la evaluación a gran escala, la evaluación de alum- nos y la evaluación de desempeño y de programas. Thomas Kellaghan es asesor educativo. Ha sido director del Centro de Investigación Educativa del St. Patrick’s College, Dublín, y es miembro de número de la Academia Internacional de Educación. Ha trabajado en la Universidad de Ibadán en Nigeria y en la Queen’s University en Belfast. Sus áreas de interés en investigación incluyen la evaluación de exámenes, la desventaja educativa y las relaciones entre la escuela y el hogar. Se ha desempeñado como presidente de la Asociación Internacional para la Evaluación Educativa, y ha trabajado en cuestiones de evaluación en África, Asia, Latinoamérica y Oriente Medio. Kate O’Malley es investigadora en el Consejo Australiano de Investigación Educativa. Ha colaborado estrechamente en una serie de evaluaciones nacionales en Australia y en las evaluaciones trienales de educación cívica y ciudadanía y de uso y comprensión de TIC, el Programa de evaluación nacional anual de lectoescritura y aritmética elemental (NAPLAN) y la Evaluación Básica de Ciencias de Secundaria (ESSA). Ha sido coordinadora del componente austra- liano del Segundo Estudio sobre Tecnologías de la Información en Educación (SITES), de la IEA, y el Estudio Internacional sobre Docencia y Aprendizaje (TALIS) de la OCDE, y fue coautora de los informes para ambos proyectos. AGRADECIMIENTOS La preparación de la serie de libros Evaluaciones nacionales del rendi- miento académico, de la cual este es el tercer volumen, estuvo a cargo de un equipo dirigido por Vincent Greaney (consultor, Red de Desarrollo Humano, Grupo de Educación, Banco Mundial) y Thomas Kellaghan (consultor, Centro de Investigación Educativa, St. Patrick’s College, Dublín). Otras personas que contribuyeron a la serie son Sylvia Acana (Junta Nacional de Exámenes de Uganda), Prue Anderson (Consejo Australiano de Investigación Educativa), Fernando Cartwright (Dirección General de Estadísticas de Canadá), Jean Dumais (Dirección General de Estadísticas de Canadá), Chris Freeman (Consejo Australiano de Investigación Educativa), J. Heward Gough (Dirección General de Estadísticas de Canadá), Sara J. Howie (Universidad de Pretoria), George Morgan (Consejo Australiano de Investigación Educativa), T. Scott Murray (Data Angel, Canadá), Kate O’Malley (Consejo Australiano de Investigación Educativa) y Gerry Shiel (Centro de Investigación Educativa, St. Patrick’s College, Dublín). El trabajo se llevó a cabo bajo la dirección general de Ruth Kagia, directora de educación, y de su sucesora Elizabeth King y Robin Horn, director, Red de Desarrollo Humano, Grupo de Educación, todos ellos del Banco Mundial. Robert Prouty inició el proyecto y lo ges- tionó hasta agosto de 2007. Marguerite Clark lo ha gestionado desde entonces mediante revisiones y publicaciones. xxiii xxiv | AGRADECIMIENTOS Agradecemos las aportaciones realizadas por el grupo de examen: Al Beaton (Boston College), Zewdu Gebrekidan (Asesor de Evaluación, Etiopía), Eugenio González (Educational Testing Service), Kelvin Gregory (Junta de Estudios de Nueva Gales del Sur), Louis Rizzo (Westat) y Carlos Rojas (Banco Mundial). Marguerite Clarke y Robin Horn aportaron comentarios útiles. Hilary Walshe ayudó a preparar las diversas versiones de este docu- mento. Recibimos también aportaciones y apoyo de Peter Archer, Jung-Hwan Choi, Mary Rohan, Hans Wagemaker y Hana Yoshimoto. Queremos dar las gracias a las siguientes organizaciones por los permisos concedidos para reproducir su material: el Consejo Australiano de Investigación Educativa, la Asociación Internacional para la Evaluación del Rendimiento Académico y Dirección General de Estadísticas de Canadá. El diseño, la edición y la producción del libro fueron coordinados por Janice Tuten y Paola Scalabrin, de la Oficina del Editor del Banco Mundial; la impresión fue coordinada por Nora Ridolfi. El Consejo Australiano de Investigación Educativa, el Programa de Asociación Banco-Países Bajos, el Centro de Investigación Educativa en Dublín, el Fondo Fiduciario de Irlanda para la Educación, la Dirección General de Estadísticas de Canadá y el Fondo Fiduciario de Rusia de Ayuda a la Educación para el Desarrollo (READ) han apoyado generosamente la preparación y publicación de la serie. ­ SIGLAS AIEE  Asociación Internacional para la Evaluación Educativa CDN comité director nacional CINE  Clasificación Internacional de Niveles Educativos ID Identificador o número de identificación IEA  Asociación Internacional para la Evaluación del Rendimiento Educativo JK método jackknife NAMA  Evaluación nacional del logro en matemáticas PASW Programa de análisis predictivo PPT probabilidad proporcional al tamaño SAS Programa de análisis estadístico SPSS Paquete estadístico para ciencias sociales SUDAAN Análisis de datos de encuestas TIMSS  Estudio Internacional de Tendencias en Matemáticas y Ciencias UPM unidad primaria de muestreo xxv INTRODUCCIÓN La importancia de obtener pruebas de la calidad de la educación, no solo de su impartición sino también del aprendizaje estudiantil, ha sido una cuestión central de la política educativa en todo el mundo desde la década de 1990. Durante un tiempo considerable, se ha tenido la impresión de que muchos niños obtienen escasos beneficios de su experiencia escolar, en especial si dicha experiencia se limita a solo unos pocos años en el sistema educativo. No obstante, los gobier- nos reconocen ahora la necesidad de contar con información más objetiva y sistemática sobre el grado de éxito de las escuelas a la hora de transformar los recursos en aprendizaje estudiantil. Tal informa- ción se requiere para (a) obtener una imagen adecuada de los niveles nacionales de logros del aprendizaje, especialmente en las áreas curri- culares clave; (b) comparar los niveles de rendimiento académico de las subpoblaciones (por ejemplo, niños y niñas, grupos lingüísticos o étnicos, alumnos urbanos y rurales), lo que puede tener importantes implicaciones a la hora de juzgar la equidad del sistema; (c) hacer un seguimiento de los cambios en el rendimiento académico a lo largo del tiempo; y (d) orientar las decisiones normativas y de gestión rela- cionadas con la provisión de recursos. El procedimiento usado para evaluar el aprendizaje estudiantil a nivel del sistema se denomina evaluación nacional; su administración es 1 2 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO una actividad compleja que requiere diversas habilidades y ­ recursos materiales. El eje de la evaluación es la recopilación de datos en las escuelas, fundamentalmente a través de respuestas a instrumentos de evaluación y cuestionarios por parte de los alumnos organizados en grupos. No obstante, las actividades comienzan mucho antes de la reco- pilación de datos y se extienden bastante después de esta. Debe desig- narse una institución que se encargue de recopilar los datos, deben tomarse decisiones sobre las cuestiones normativas y de i ­nvestigación que hay que abordar, y deben diseñarse y ensayarse las pruebas y cues- tionarios. Durante la preparación de las pruebas definitivas, es necesario identificar poblaciones y muestras de escuelas y alumnos, hay que ponerse en contacto con las escuelas, y seleccionar y capacitar examina- dores. Tras la administración de las pruebas, se requerirá mucho tiempo y esfuerzo para preparar los datos para su análisis, llevar a cabo los aná- lisis, redactar informes y difundir los resultados de la evaluación. Aunque muchos sistemas educativos se han comprometido desde 1990 a llevar a cabo una evaluación nacional, pocos contaban con la amplia gama de destrezas requeridas para realizar las múltiples tareas de la misma. A consecuencia de ello, muchas evaluaciones han tenido una calidad deficiente. Esta serie de publicaciones, Evaluaciones nacio- nales del rendimiento académico, de la cual este es el tercer volumen, se diseñó para abordar la mejora de la calidad de las evaluaciones nacionales. La serie se centra en los más recientes procedimientos que deben seguirse al implementar los componentes de una evaluación para garantizar que los datos que éstos proporcionen sobre el apren- dizaje estudiantil sean de alta calidad y aborden las inquietudes de los responsables de la formulación de políticas y de la toma de decisiones, así como de otros actores del sistema educativo. El volumen 1, Evaluación de los niveles nacionales de rendimiento académico (Greaney y Kellaghan, 2008), describe los conceptos y procedimientos clave de una evaluación nacional y está destinado ­ fundamentalmente a los responsables de la formulación de políticas y la toma de decisiones en el ámbito educativo. Los temas abordados son los propósitos y las características principales de una evaluación nacional, los motivos para llevar a cabo una evaluación y las ­principales decisiones que deben tomarse en el diseño y la planificación de una evaluación. Se describen asimismo las evaluaciones internacionales INTRODUCCIÓN | 3  del rendimiento académico, que comparten muchas características de procedimiento con las evaluaciones nacionales (como el muestreo, la administración y los métodos de análisis). Los volúmenes 2, 3 y 4 ofrecen una descripción paso a paso del diseño y la implementación de una evaluación nacional y del análisis de los datos recopilados en la misma. Están dirigidos fundamental- mente a los equipos de países en desarrollo responsables de llevar a cabo una evaluación. El volumen 2, Desarrollo de pruebas y cuestiona- rios para una evaluación nacional del rendimiento académico (Anderson y Morgan, 2008), describe el desarrollo de las pruebas de rendimiento académico, los cuestionarios y los manuales de administración. El libro viene con un CD complementario que contiene ítems de prue- bas y cuestionarios tomados de evaluaciones nacionales e internacio- nales y un manual de administración de la prueba. El volumen 4, Análisis de los datos de una evaluación nacional del rendimiento académico (Cartwright y Shiel, de próxima publicación), tiene dos partes. La primera está diseñada para ayudar a los analistas a llevar a cabo análisis básicos de los datos recopilados en una evalua- ción nacional. La segunda mitad del libro trata de la generación de datos relativos a los ítems aplicando la teoría clásica de las pruebas y los modelos de respuesta al ítem. Se incluye un CD que permite a los usuarios aplicar procedimientos estadísticos a los conjuntos de datos y comprobar sus niveles de dominio en relación con las soluciones mostradas en las capturas de pantalla en el texto. El volumen 5, Utilización de los resultados de una evaluación nacio- nal del rendimiento académico (Kellaghan, Greaney y Murray, 2009), proporciona directrices para describir los resultados de una evalua- ción nacional en informes técnicos, comunicados de prensa, informes para responsables políticos, e informes para profesores y grupos de especialistas. Examina también el modo en que pueden usarse los resultados de una evaluación nacional para guiar la gestión política y educativa, influir en el currículo y en la práctica lectiva, y aumentar la concienciación pública sobre los problemas educacionales. Sus conte- nidos deben interesar en especial a (a) quienes tengan la responsabili- dad de preparar informes de evaluación y de comunicar y difundir los resultados y (b) los usuarios de los resultados (responsables políticos, dirigentes educativos y personal escolar). 4 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO El presente volumen, Implementación de una evaluación nacional del rendimiento académico, al igual que los volúmenes 2 y 4, se centra en las tareas prácticas ligadas a la ejecución de un programa de eva- luación a gran escala. Tiene cuatro partes: la primera parte (“La logís- tica de una evaluación nacional”) ofrece una visión general de las tareas relacionadas: cómo se organizan y ejecutan las actividades esen- ciales de una evaluación, qué personal y recursos se necesitan, y qué tareas siguen a la recopilación de los datos. La segunda parte (“Metodología de muestreo de escuelas”) pre- senta una metodología para seleccionar una muestra de estudiantes que sea representativa de los estudiantes del sistema educativo. Se describen los principios en que se basa el muestreo, así como procedi- mientos paso a paso que pueden ejecutarse en casi cualquier evalua- ción nacional. Los lectores deben poder seguir los procedimientos de muestreo trabajando con un conjunto realista de materiales de forma- ción y comprobando sus progresos con la ayuda de las capturas de pantalla y los archivos de datos con soluciones. Un CD complementario contiene archivos de datos de apoyo. Para reproducir los diversos pasos en la evaluación de demostración, el usuario necesitará SPSS (Paquete estadístico para ciencias sociales), que incluye el módulo complementario de muestras complejas, y WesVar, de Westat. SPSS se usa también para algunas partes sobre análisis del volumen 4 de la serie. El programa WesVar y su guía de usuario pueden descargarse del sitio web de Westat2. Tras describirse cómo se define la población de interés, se exponen los pasos necesarios para crear un marco muestral. Se presenta el caso de un pequeño país ficticio (Sentz), cuyos datos se usarán para los diversos ejercicios. Esta parte del volumen concluye con una descrip- ción de los conceptos básicos y los métodos de muestreo probabilístico. La tercera parte (“Preparación, validación y gestión de los datos”) describe procedimientos para depurar y gestionar los datos recopila- dos en una evaluación nacional. Estos procedimientos son elementos esenciales de un proceso de garantía de calidad. Describe también cómo exportar e importar los datos (es decir, hacer que los datos estén disponibles en un formato que sea apropiado para los usuarios de un programa estadístico como Microsoft Access, SPSS, WesVar y INTRODUCCIÓN | 5  Microsoft Excel). El objetivo primordial de esta parte es posibilitar que el equipo de evaluación nacional desarrolle y ejecute un conjunto de procedimientos sistemático para ayudar a garantizar que los datos de la evaluación sean exactos y fiables. Tras el muestreo, la administración de la prueba y la captura y depuración de datos, el siguiente paso es preparar los datos para su análisis. La cuarta parte (“Ponderación, estimación y error de mues- treo”) describe una serie de pasos de preanálisis importantes, entre ellos la elaboración de estimaciones, el cálculo y la utilización de ponderaciones de encuestas, y el cálculo de estimaciones. Los ejerci- ­ cios se basan en el trabajo previo llevado a cabo sobre el conjunto de datos de Sentz (en la segunda parte). La parte que trata del cálculo de estimaciones describe cómo se calculan estas así como los errores de muestreo a partir de muestras simples y complejas, como las pre- paradas para Sentz. Por último, se abordan una serie de temas, entre ellos las respuestas omitidas y cuestiones relativas a los centros esco- lares de tamaño mayor al promedio y de tamaño menor al promedio. Los procedimientos descritos en este volumen (y en los volúmenes 2 y 4) están diseñados para garantizar la calidad de una evaluación nacional. La importancia de adoptar procedimientos apropiados se reitera a lo largo de la primera parte al abordar los diversos compo- nentes de una evaluación: • Contratar a un equipo competente para llevar a cabo la evaluación • Decidir la dotación de personal, las instalaciones y los equipos requeridos para llevar a cabo una encuesta a gran escala • Controlar la calidad de los ítems producidos por los redactores de ítems • Instruir a las personas encargadas de recopilar los datos de las escuelas y supervisar su desempeño • Controlar la exactitud de las puntuaciones y el registro de los datos • Garantizar que los análisis estadísticos de los datos recopilados en la evaluación sean adecuados y aborden las cuestiones que preocu- pan a los responsables políticos, los dirigentes educativos y otros grupos de interés. La calidad de algunos componentes de una evaluación nacional con frecuencia se da por sentada, presumiblemente al suponer que el 6 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO personal responsable de los componentes posee los conocimientos necesarios, aunque tal supuesto puede que no esté siempre garanti- zado. Por ejemplo, aunque se podría suponer que las personas con experiencia en el desarrollo de exámenes públicos tienen las habilida- des requeridas para una evaluación nacional, se necesitan muchos enfoques diferentes al desarrollar pruebas para la selección de estu- diantes y desarrollar pruebas para describir los niveles de logro del sistema educativo. Sea cual sea el bagaje, el conocimiento o las habili- dades del personal que lleva a cabo una evaluación nacional, se nece- sitan estudios o revisiones, llevados a cabo quizá por un consultor externo, a fin de evaluar la calidad de algunos de los componentes de la evaluación (por ejemplo, las pruebas empleadas para evaluar el ren- dimiento académico de los alumnos o la idoneidad de los procedi- mientos de muestreo usados). La garantía de calidad requiere un conjunto de acciones planifica- das y sistemáticas para ofrecer pruebas de que la evaluación nacional se ha llevado a cabo según estándares profesionales elevados. En el capítulo 5 del volumen 1 de esta serie, Evaluación de los niveles nacio- nales de rendimiento académico, se señala una serie de cuestiones rele- vantes para determinar la confianza que los grupos de interés pueden tener en los resultados de una evaluación. Se describen las actividades relacionadas con cinco componentes de una evaluación nacional (diseño, implementación, análisis de datos, redacción de informes, y difusión y utilización de los resultados), y se sugieren actividades que deben servir para aumentar la confianza. Asimismo se indican los errores frecuentes en las evaluaciones nacionales para cada compo- nente. Todas estas cuestiones pueden configurar una lista de compro- bación que un equipo de evaluación nacional podría usar para evaluar la calidad de su trabajo. Normalmente se incorporan medidas de garantía de calidad espe- cíficas a varios componentes de la evaluación nacional: desarrollo de las pruebas, administración de estas en las escuelas, puntuación de los ítems, captura de datos y depuración de datos. En el volumen 2 de esta serie, Desarrollo de pruebas y cuestionarios para una evaluación nacional del rendimiento académico, se describen medidas para capaci- tar a los encargados del desarrollo de las pruebas y a los correctores de las mismas y para comprobar la calidad de las puntuaciones. En el INTRODUCCIÓN | 7  capítulo 4 de este volumen se abordan cuestiones relacionadas con la garantía de calidad de la administración de las pruebas en las escuelas, que requiere particular atención ya que es un aspecto en que pueden producirse fácilmente desviaciones de la norma. En la tercera parte (capítulos 9 a 13) se describen procedimientos para resolver proble- mas de calidad en el registro, la depuración y la gestión de los datos. Si bien existen normas para llevar a cabo una evaluación nacional, los responsables de su implementación deberán a veces aplicar su propio criterio (por ejemplo, en el muestreo y el análisis). En ocasiones puede que requieran también el consejo de profesionales más experimentados al tomar determinadas decisiones. Y siempre deben estar preparados para adaptar sus prácticas a la luz de los desarrollos en el conocimiento y la tecnología que inevitablemente se producirán en años venideros. NOTAS 1. En 2009–10, el programa principal de SPSS se denominó Predictive Analytic Software (PASW). 2.  El sitio web es http://www.westat.com/westat/statistical_software/WesVar​ /index.cfm. PA RT E 1 LA LOGÍSTICA DE UNA EVALUACIÓN NACIONAL Sarah J. Howie y Sylvia Acana La primera parte ofrece una visión general de las tareas propias a la implementación de una evaluación nacional. Describe el importante papel que puede desempeñar un comité director o asesor nacional, con representantes de los principales actores del sistema educativo, en el diseño, la planificación y la implementación de una evaluación y en la comunicación de sus resultados. Se identifica el personal y las insta- laciones requeridos para llevar a cabo una evaluación, y se esbozan las actividades relativas a la preparación para una evaluación, su adminis- tración en las escuelas y las actividades posteriores a esta. Será nece- sario tomar decisiones en diversos momentos de la evaluación, según las circunstancias locales, pero los procedimientos adoptados deberán cumplir siempre las normas básicas. De otro modo, se comprometería la calidad de la evaluación y por ende, el valor de sus resultados. Muchos de los temas tratados en la primera parte se examinan con más detalle en partes ulteriores de este volumen, así como en otros volúmenes de la serie. 9 1 CA P Í T U L O PREPARACIÓN PARA LA EVALUACIÓN NACIONAL: DISEÑO Y PLANIFICACIÓN Este capítulo describe las cuestiones principales que debe tenerse en cuenta en el diseño de una evaluación nacional. Destaca la relevancia de crear un comité para supervisar su diseño e implementación, determina los temas importantes de la planificación y concluye con una descripción de las cuestiones presupuestarias. COMITÉ DIRECTOR NACIONAL En muchas evaluaciones nacionales, aunque no en todas, el Ministerio de Educación designa un comité director nacional (CDN) o un comité asesor para supervisar el diseño y la implementación de la evaluación. Dicho comité ofrece varias ventajas. En primer lugar, el comité puede resultar de ayuda para garantizar que la evaluación tenga prestigio y que goce de credibilidad entre los organismos gubernamentales, las instituciones de formación de docentes, las organizaciones que repre- sentan a los docentes y otros participantes clave de la comunidad en general. En segundo lugar, puede contribuir a establecer las cuestiones políticas clave que deben abordarse en la evaluación. En tercer lugar, puede actuar como canal de comunicación entre los actores clave que participan en el proceso educativo, una consideración importante 11 12 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO tanto para diseñar una evaluación como para aumentar las probabili- dades de que sus resultados sean relevantes para la creación de políti- cas y la toma de decisiones. En cuarto lugar, un CDN puede ayudar a resolver los problemas administrativos y financieros que pudieran sur- gir durante la implementación de la evaluación. Por último, el comité puede tener un papel importante en el caso de que la evaluación pro- voque reacciones negativas en los políticos, al temer que la publicación de las conclusiones dé lugar a un debate político que reflexione sobre su administración, o en los representantes de los docentes, que pueden percibir las evaluaciones como una nueva forma de responsabilidad. La composición de un CDN variará entre los diferentes sistemas educativos, dependiendo de la organización y estructura de poder del sistema. Cabría esperar la participación en el comité de representantes del ministerio de educación (especialmente, analistas de políticas y organismos que elaboran los currículos); del organismo que implementa la evaluación; de los docentes, formadores de docentes y padres; y de los principales grupos étnicos, religiosos y lingüísticos (véase el volumen 1, Evaluación de los niveles nacionales de rendimiento académico). El tamaño del comité debe reflejar la necesidad de un equilibrio entre el número mínimo de participantes que deben estar representa- dos y los costes y esfuerzos logísticos necesarios para organizar las reuniones del comité. Esto último es especialmente relevante en un país donde los miembros del comité deben trasladarse largas distan- cias y pernoctar en la localidad donde se celebran las reuniones. Como se indica en el volumen 1, el CDN debe tener un número limitado de reuniones. La necesidad de dichas reuniones probablemente sea mayor en las fases inicial y final de la evaluación. DISEÑO DE UNA EVALUACIÓN NACIONAL El equipo designado para realizar una evaluación debe trabajar desde el inicio en estrecha colaboración con el CDN, si este ha sido creado. El equipo de evaluación nacional y el CDN, junto con los organismos de financiación (normalmente, el ministerio de educación) deben alcanzar acuerdos en relación con los objetivos, el diseño general y el alcance de la evaluación teniendo en cuenta los recursos disponibles, PREPARACIÓN PARA LA EVALUACIÓN NACIONAL: DISEÑO Y PLANIFICACIÓN | 13  incluyendo el personal y el presupuesto. La elaboración propiamente dicha del diseño podría ser encomendada al CDN o al equipo que realiza la evaluación nacional. El diseño debe tener en cuenta las siguientes cuestiones: • Indicar las cuestiones políticas que se analizarán. • Especificar la población objetivo que se evaluará. • Indicar si la evaluación se basa en una muestra o en la población objetivo completa (censo). • Establecer las áreas del currículo o constructos que se evaluarán. • Describir los instrumentos de recopilación de datos (pruebas y cuestionarios) y los métodos que se utilizarán para reunir la información. • Asignar la responsabilidad para desarrollar pruebas y cuestionarios. • Puntualizar las cuestiones específicas que los análisis deben abordar. • Asignar la responsabilidad de preparar informes finales y otros documentos (por ejemplo, informes para los responsables de las políticas) y decidir el número de copias de cada informe. • Especificar las actividades de divulgación para garantizar que el sistema educativo conozca los resultados de la evaluación y se ­ beneficie de ellos. Un tema que se debe tener en cuenta en el diseño de un estudio es si se deben supervisar los cambios que se producen con el paso del tiempo, realizando una nueva evaluación en una fecha futura. Además, es importante considerar si la evaluación se realizará en más de un grado para ofrecer información sobre el rendimiento en diferentes niveles del sistema educativo. También se debe tener en cuenta el presupuesto que se ha asignado a la evaluación y los servicios de apoyo de los que se puede disponer sin un coste adicional. PLANIFICACIÓN Se debe elaborar un plan detallado para la implementación de la evaluación nacional que refleje el diseño general. Un plan del proyecto ­ es un documento que describe las actividades, las tareas, la duración, 14 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO los plazos y las personas involucradas en él. El plan debe ocuparse de los siguientes asuntos: • Especificar el alcance de la evaluación nacional • Identificar las principales actividades y tareas • Asignar recursos para cada actividad en términos de los individuos responsables • Desarrollar una agenda con fechas de inicio y conclusión para cada actividad. El plan debe servir como referencia para todo el proyecto y como base para supervisar su progreso. Por ejemplo, el CDN puede utilizar el plan para comprobar si existen discrepancias entre las fechas de entrega alcanzadas y previstas, lo que serviría de ayuda en la gestión de la evaluación. En la Tabla 1.1 presentamos un ejemplo de una sección del plan del proyecto desarrollado para Sudáfrica. El plan completo, que abar- caba muchas más actividades de las que se presentan aquí, se aplicó a un periodo comprendido entre inicios de 2004 y diciembre de 2006. El plan para la evaluación nacional debe tener en cuenta el calendario de aprobación de los fondos de financiación. No es una medida prudente reclutar personal ni contratar servicios y equipamiento hasta que no se hayan garantizado los fondos para gastos recurrentes y de inversión. Los planes de muchas evaluaciones nacionales se basan en estima- ciones no realistas del tiempo requerido. En particular, en los países en desarrollo se debería prever una gran variedad de problemas relacio- nados con: las demoras para contratar al personal, encontrar expertos cualificados, obtener datos exactos y actualizados sobre escuelas y cantidad de alumnos, capacitar al personal local en tareas específicas (por ejemplo, redacción de ítems, muestreo, análisis estadístico), efec- tuar la prueba previa y desarrollar versiones finales de pruebas de ren- dimiento académico, obtener permiso para administrar pruebas y cuestionarios, e imprimir materiales y depurar datos. Es probable que las estimaciones temporales que se basan en estudios internacionales de rendimiento, o estudios realizados en países industriales, sean inadecuadas porque dichos estudios normalmente no encuentran pro- blemas como, por ejemplo, deficiencias en los sistemas de comunica- ción y transporte, interrupciones del suministro eléctrico, y prácticas PREPARACIÓN PARA LA EVALUACIÓN NACIONAL: DISEÑO Y PLANIFICACIÓN | 15  TABLA 1.1 Fragmento de un plan del proyecto de una evaluación nacional Horas de Actividad principal y trabajo Fecha subactividades Duración necesarias inicial Fecha final Persona Planificación y 1 mes 40 05/01/04 05/02/04 convocatoria de la reunión del CDN Seleccionar a los participantes y comunicarse con ellos Determinar una fecha adecuada para la reunión Organizar transporte, lugar, alojamiento, reunión y refrigerios Enviar invitaciones Especificar un marco 1 mes 120 05/01/04 05/02/04 para la evaluación Seleccionar una 2 meses 160 05/02/04 05/04/04 muestra de colegios Especificar la población objetivo Contactar con el Departamento de Educación para conseguir información sobre los colegios Preparar los procedimientos de muestreo de colegios y dentro de cada colegio Tomar un muestreo Finalizar el muestreo Desarrollar 4 meses 640 20/02/04 30/06/04 instrumentos Desarrollar, editar, y finalizar guías de ítems y puntuaciones (continúa) 16 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO TABLA 1.1 Fragmento de un plan del proyecto de una evaluación nacional (continúa) Horas de Actividad principal y trabajo Fecha subactividades Duración necesarias inicial Fecha final Persona Seleccionar a los redactores de ítems Designar a los redactores de ítems Capacitar a los redactores de ítems Redactar los ítems de las pruebas y los muestreos, y el manual de administración Revisar los ítems de las pruebas Ensayar los ítems de las pruebas Desarrollar guías de puntuación Calificar los ítems de las pruebas Después de una revisión formal, seleccionar el conjunto final de ítems de las pruebas y del muestreo Terminar el diseño y comprobar la diagramación de la prueba Estimar el tiempo asignado a cada prueba Preparar el manual de administración y las guías de puntuación Fuente: adaptado de Howie 2004. PREPARACIÓN PARA LA EVALUACIÓN NACIONAL: DISEÑO Y PLANIFICACIÓN | 17  ­aborales y restricciones que limitan la cantidad de tiempo que los l individuos pueden dedicar a las tareas de una evaluación nacional. ELABORACIÓN DE UN PRESUPUESTO Es fundamental tener un presupuesto realista y obtener suficiente financiación para evaluaciones a gran escala. Muchos esfuerzos por rea- lizar evaluaciones nacionales han fracasado debido a un presupuesto bruto insuficiente. Al no existir ninguna fórmula establecida para esti- mar el coste de una evaluación nacional, el equipo encargado de reali- zarla podría comenzar por elaborar un presupuesto aproximado basado en las diversas fases del proyecto y luego dedicarse a perfeccionarlo. El diseño de la evaluación debe reflejar el presupuesto disponible. De forma alternativa, dado un presupuesto predeterminado, se pueden realizar adaptaciones en el diseño inicial. Siempre que sea posible, los expertos de la evaluación y los responsables de la toma de decisiones financieras deben participar en las discusiones presupuestarias. Al crear un presupuesto, se deben enumerar todas las actividades principales del diseño de la evaluación y asignar plazos y costes a cada ítem (actividad y subactividad o tarea) (véase Greaney y Kellaghan, 2008; Ilon, 1996). Completar este proceso puede llevar varios días. Los costes y las condiciones pueden variar ampliamente de un país a otro. Normalmente, se tienen en cuenta las tarifas nacionales de remu- neración para tipos específicos de tareas. En algunos casos, es posible que sea necesario realizar ajustes para reflejar la falta de cualificación en áreas profesionales clave (como por ejemplo, el análisis ­ estadístico). Se debe garantizar una cobertura presupuestaria para los probables aumentos salariales a lo largo de la vigencia de la evaluación (que normalmente es de 2 a 3 años) debido a la inflación, y también en previsión de cualquier eventualidad (contingencias). Listado de fondos de financiación En la Tabla 1.2 se presenta un listado de los principales gastos propios de una evaluación nacional. Dado que las circunstancias varían de un país a otro, algunos gastos pueden no ser relevantes en algunas evaluaciones. 18 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO En ciertos países, la recopilación de datos para una evaluación nacional supuso hasta un 50 % del presupuesto, mientras que en otro país el regis- tro de los datos correspondió a aproximadamente un 20 % del presu- puesto. Los costes a tener en cuenta por los organismos existentes deben establecerse al inicio. Por ejemplo, el ministerio de educación podría asu- mir los costes del tiempo que los inspectores de los colegios invierten en administrar los instrumentos de la evaluación, o una oficina nacional de censos podría ofrecer los servicios de un experto en muestreo. TABLA 1.2 Listado de fondos de financiación para una evaluación nacional Procedencia de los fondos de financiación Fondos dedicados a la evaluación Otros Sin Partidas nacional fondos financiación Personal Instalaciones y equipamiento Diseño del marco de la evaluación Diseño de los instrumentos y desarrollo Formación (por ejemplo, redacción de ítems, recopilación de datos) Ensayo experimental Traducción Impresión Comité director nacional Desplazamientos locales (a los colegios) Recopilación de datos Calificación de los datos (no concluyente) Registro de datos Procesamiento y depuración de datos Análisis de datos Redacción de informes Impresión de informes Comunicado de prensa y publicidad Conferencia sobre los resultados Consumibles Comunicaciones Actividades de seguimiento 2 CA P Í T U L O PERSONAL E INSTALACIONES NECESARIOS PARA UNA EVALUACIÓN NACIONAL Si se acepta que la razón para llevar a cabo una eva- luación nacional es proporcionar información válida sobre los logros de los estudiantes en el sistema educativo, las decisiones sobre el personal que llevará a cabo la evaluación y las instalaciones que se necesitarán son fundamentales. Puede anticiparse toda clase de problemas si el personal no es competente o si las instalaciones no son las adecuadas. Por ejemplo, es posible que la prueba utilizada no proporcione información válida y confiable sobre el rendimiento estudiantil en el área del plan de estudios o del constructo evaluado; que la muestra seleccionada no represente adecuadamente la población objetivo; que los estudiantes que realizan la prueba no sean los que se había seleccionado; que los examinadores no sigan con precisión las indicaciones para la administración de la prueba; que los datos recogidos en la escuela no se ingresen de manera correcta en la base de datos; que el análisis estadístico de los datos no sea adecuado; que se extraigan conclusiones injustificadas (por ejemplo, relacionadas con la causalidad) y que los informes brinden información inadecuada sobre aspectos técnicos del estudio, sobre el contenido de las pruebas de rendimiento académico, los métodos utilizados o sobre los errores y sesgos previstos. Este capítulo describe el personal, las instala- ciones y el equipamiento necesarios para una evaluación nacional con el objetivo de ayudar a evitar los problemas mencionados, con el fin de 19 20 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO contribuir a la calidad del ejercicio. La planificación para el control de calidad debe comenzar con la planificación del proyecto. REQUISITOS DEL PERSONAL Por lo general, el personal no solo debe tener competencias de espe- cialista, sino que también debe estar conformado por personas comprometidas y de mentalidad abierta, atentas al detalle y dispues- ­ tas a dedicar horas adicionales más allá de la jornada de trabajo ­normal. En cuanto a la idoneidad técnica y la eficiencia, estos atributos son más importantes que la antigüedad dentro de un departamento de gobierno o de una institución educativa. El grado de financiamiento proporcionado para la evaluación nacio- nal determinará en gran medida la cantidad y el nivel de habilidad de los miembros del personal clave. La propuesta de planificación o de diseño puede ayudar a esclarecer los roles y las funciones de los miem- bros del personal. Así, la identificación de la población objetivo (por ejemplo, el grado) y de las áreas del plan de estudios o de los construc- tos evaluados indicará el conocimiento y las competencias requeridas de los redactores de ítems, mientras que la decisión de apoyar la eva- luación en una muestra en lugar de la población total señalará la nece- sidad de una persona especializada en el muestreo probabilístico. Algunos miembros del personal, por ejemplo los redactores de ítems, los examinadores o el personal de captura de datos, serán contratados de modo temporal en distintas etapas. Esta sección describe la función de los miembros del personal clave o centrales (por ejemplo, el coordi- nador nacional) así como las funciones del personal adicional, como los examinadores, quienes deberán llevar a cabo la evaluación. Coordinador nacional El coordinador nacional1 deberá dar las indicaciones generales y dirigir todas las etapas de planificación e implementación de la evaluación nacional. Debe ayudar a garantizar que la evaluación • Aborde los interrogantes clave sobre políticas solicitados por el ministerio. PERSONAL E INSTALACIONES NECESARIOS PARA UNA EVALUACIÓN NACIONAL | 21  • Sea técnicamente adecuada. • Se lleve a cabo a tiempo y dentro del presupuesto. El coordinador nacional debe ser respetado dentro de la comunidad educativa y debe tener acceso a los grupos de interés educativo clave al igual que a las fuentes de financiamiento principales. Debe tener una visión de conjunto. Los coordinadores nacionales se habrán reclutado en comités de exámenes públicos, ministerios nacionales de educación, universidades e instituciones de investigación. Deben estar familiariza- dos con los conceptos clave en las mediciones educativas y con el plan de estudios o constructo evaluados. Deben también contar con una vasta experiencia en el desarrollo de pruebas, en la gestión de proyec- tos y en el manejo de grandes grupos de personas y poseer excelentes aptitudes de liderazgo y buenas competencias comunicativas. Algunas de las responsabilidades clave del coordinador nacional podrían incluir: • Desempeñar funciones de enlace con organizaciones nacionales y organismos relacionados con la educación e informar a un comité director nacional. • Administrar el personal y el presupuesto en cada etapa de la evaluación. • Proporcionar capacitación y liderazgo a los redactores de ítems. • Revisar pruebas, cuestionarios y materiales relacionados para garan- tizar que los contenidos sean apropiados y no estén sesgados (por ejemplo, en relación con varones y mujeres, estudiantes rurales y urbanos, o pertenencia a un grupo étnico). • Proporcionar orientación sobre la interpretación de los resultados de la prueba. • Coordinar y garantizar la calidad de las publicaciones posteriores a la evaluación nacional. • Gestionar las relaciones públicas, incluida la realización de semina- rios de concienciación y sensibilización durante la evaluación nacional y después de esta. Coordinador nacional adjunto Es posible que sea necesaria la participación de un coordinador nacio- nal adjunto según la estructura del sistema educativo, el alcance de la 22 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO evaluación, las exigencias de tiempo sobre el coordinador nacional y la disponibilidad de fondos. El coordinador nacional adjunto debe contar con muchas de las características requeridas del coordinador nacional y debe apoyar y desempeñarse como sustituto de este cuando sea necesario. Podrían asignársele responsabilidades fundamentales en cuestiones concretas de la evaluación, tales como el desarrollo de la prueba o la gestión de datos, o podría centrarse en asuntos operativos o de logística. Es esencial que tenga un conocimiento detallado del plan general de implementación de la evaluación nacional. Coordinadores regionales En países grandes que cuentan con sistemas administrativos regiona- les, el equipo de evaluación nacional debe considerar el nombra- miento de coordinadores regionales para organizar las pruebas y colaborar con las escuelas y los examinadores. Tales coordinadores serían responsables de la asignación y entrega de materiales a los exa- minadores y deberían verificar los contenidos de las cajas provenien- tes de la oficina central. También serían responsables de los materiales que se envían desde las escuelas finalizada la administración de la prueba y del cuestionario. En virtud de estas disposiciones, la oficina del coordinador se convertiría en la oficina regional y el lugar para el almacenamiento de los instrumentos de la evaluación. Redactores de ítems La experiencia sugiere que los docentes en ejercicio con un buen dominio del currículo suelen ser redactores de ítems eficientes. Resulta conveniente garantizar que los docentes provengan de ­ distintos tipos de escuelas, incluso escuelas rurales y remotas. Académicos, funcionarios de exámenes públicos e inspectores esco- lares han colaborado en el boceto de ítems piloto para algunas eva- luaciones nacionales. Esta experiencia, sin embargo, no fue siempre positiva, ya que estas personas con frecuencia carecen del contacto con la realidad en el aula y es posible que tengan expectativas altas y poco realistas sobre los estándares del desempeño académico de los estudiantes. PERSONAL E INSTALACIONES NECESARIOS PARA UNA EVALUACIÓN NACIONAL | 23  Debe capacitarse a los redactores de ítems sobre cómo analizar el plan de estudios, desarrollar objetivos de aprendizaje, identificar con- cepciones erróneas frecuentes y errores de los estudiantes, redactar ítems que proporcionen información de diagnóstico y juzgar la cali- dad de los ítems de la prueba piloto en términos tanto de contenido como de propiedades estadísticas. Normalmente se los contrata para trabajar a tiempo parcial. Después de un período de prueba, es posi- ble que el coordinador de desarrollo de la prueba tenga que prescindir de los servicios de algunas personas que no hayan producido ítems buenos o que sean descuidadas en términos de la atención a los deta- lles o en el archivo. Estadístico Un estadístico es responsable de la adecuación técnica de los análisis estadísticos. Es probable que participe en el diseño de una evaluación, en el desarrollo de una base de muestreo nacional y en la selección de la muestra representativa utilizada en la evaluación nacional. Él o ella también ayudan a interpretar los resultados de la prueba piloto y de la prueba final, pueden participar en la construcción de la base de datos y brindan orientación o llevan a cabo los análisis de los resulta- dos de la evaluación. El volumen 4 en esta serie, Análisis de los datos de una evaluación nacional del rendimiento académico, describe muchas de las tareas estadísticas en una evaluación. El perito en estadística debe ser competente en el uso del paquete SPSS (Paquete estadístico para ciencias sociales), WesVar, Excel y Access. Es posible que no se requieran los servicios de un estadístico a tiempo completo. El trabajo puede ser abundante en la etapa inicial, cuando las actividades se centran en el diseño y, en particular, en el muestreo y pilotaje de los instrumentos, y también una vez que se hayan recogido y depurado los datos. Entre las fuentes de estadísticos competentes se encuentran las universidades y algunos departamentos de gobierno. La oficina nacional de censos puede ser una fuente particularmente buena. ­ En algunas circunstancias, contratar los servicios de un estadístico externo, de otro país, puede ser necesario para ayudar en el muestreo, análisis y en la interpretación de los resultados. Si se contrata a un el ­ 24 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO estadístico externo, se esperará que este colabore en el desarrollo de la capacidad técnica dentro del equipo de evaluación nacional. Encargado de datos El encargado de datos en última instancia tiene una gran parte de la responsabilidad sobre la calidad de los datos que se utilizan en el análisis. En particular, es responsable de la precisión de los datos, específica- mente, de la codificación, depuración y el registro correctos de los datos de la prueba y del cuestionario. Deberá tener un conocimiento práctico de Microsoft Word, Excel y Access, así como de SPSS y WesVar. Idealmente, deberá contar con una amplia experiencia en la gestión de datos, ser designado desde el comienzo de la evaluación y participar en el muestreo y en la codificación y el diseño de instrumentos. Con la aprobación del coordinador nacional, y junto con el estadís- tico de la encuesta que trabaja en el diseño y la base del muestreo, el encargado de datos prepara los procedimientos y el sistema de nume- ración que se utilizarán durante la evaluación. Este sistema debe apli- carse a las escuelas, las clases y los alumnos. El sistema de numeración es un elemento clave del control de calidad. Es necesario para las actividades de muestreo y debe imple- ­ mentarse, a más tardar, al momento de la selección de la muestra. El encargado de datos debe garantizar que los cuadernillos individua- les, los cuestionarios y las hojas de respuesta (si se utilizan) de los estudiantes puedan ser identificados numerándolos antes de enviar los materiales para su administración. La numeración previa resulta esencial para monitorear el nivel de participación de los estudiantes y para verificar la seguridad de los materiales. Para identificar las escuelas seleccionadas para la evaluación es posible utilizar los números identificadores de las escuelas que se hayan registrado en el sistema de información sobre la gestión de la educación. Otra alternativa es catalogar las escuelas utilizando un sis- tema de numeración que identifique la provincia o región, la escuela y el alumno en particular. El Recuadro 2.1 muestra ejemplos de dos sistemas de numeración. El primero identifica escuelas individuales; el segundo identifica no solo a escuelas individuales sino también estudiantes de esas escuelas. PERSONAL E INSTALACIONES NECESARIOS PARA UNA EVALUACIÓN NACIONAL | 25  RECUADRO 2.1 Sistemas de numeración utilizados en evaluaciones nacionales Los siguientes son ejemplos de sistemas de numeración utilizados en evaluaciones nacionales: 1. Se utiliza una cifra de cuatro dígitos. El primer dígito representa la región; el segun- do, la zona; el tercero, el distrito y el último, la escuela. El número 5342 se refiere a la escuela número 2, que está situada en el distrito 4, en la zona 3, en la región 5. 2. Se utilizan seis dígitos. El primer dígito indica la provincia, los tres dígitos siguientes indican el número de la escuela y los dos últimos dígitos son el código de identifica- ción del alumno. Por ejemplo, el alumno número 200537 se refiere a un estudiante que se encuentra en la provincia 2, en la quinta escuela de la lista y que es el número 37 en la lista de la clase. En etapas clave de la evaluación, se necesitará de un programador informático o alguien con conocimientos y experiencia suficientes en configuración y administración de bases de datos. En algunas circuns- tancias, es posible que se acuda a la misma persona para que cumpla distintos roles: programador y encargado de datos, o encargado de datos y estadístico, según los expertos disponibles localmente. La ter- cera parte trata sobre la depuración y gestión de datos, competencias clave requeridas de un encargado de datos. Diseñadores gráficos o encargados de ilustraciones Un diseñador gráfico o encargado de ilustraciones tiene la responsabi- lidad de darles una apariencia profesional a todas las pruebas, los manuales e informes asociados a la evaluación nacional. Deberá pro- porcionar la representación gráfica a los ítems de la prueba, así como los cuadros, gráficos y demás ilustraciones utilizados en los informes. Las compañías editoriales e imprentas constituyen fuentes de personal experimentado. Un diseñador gráfico o encargado de ilustraciones debe estar disponible cuando se le necesite y se le debe informar con suficiente tiempo de los plazos de entrega probables. El CD que acom- paña el volumen 2, Desarrollo de pruebas y cuestionarios para una eva- luación nacional del rendimiento académico, contiene ejemplos de ítems de prueba bien presentados con material de apoyo pictórico y gráfico. 26 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO Traductores En muchos países, gran parte de la población estudiantil no comparte el mismo idioma, en cuyo caso es necesario traducir los instrumentos. Indudablemente, los traductores deben tener un alto grado de habili- dad en los idiomas de la traducción y deben estar familiarizados con el contenido del material que deben traducir. Se recomienda contar con al menos dos traductores por idioma. Es posible que ambos tra- duzcan la misma prueba de manera simultánea, comparen los resulta- dos y si surgen inconsistencias, lleguen a un acuerdo mediante la discusión. Este proceso se denomina traducción simultánea. Otra alternativa es que una persona traduzca desde el primer idioma al segundo y luego dar el texto traducido al otro traductor, quien deberá traducirlo desde el segundo idioma nuevamente al primero. Se com- paran las versiones y una vez más se resuelven las diferencias mediante discusión. Este proceso se denomina retrotraducción. A pesar de los esfuerzos de los traductores, por una variedad de razones, incluidas las diferencias entre las estructures del idioma, lograr una equivalencia exacta entre una prueba y su versión traducida puede resultar muy difícil o incluso imposible. Las pruebas piloto proporcionan una buena oportunidad para eliminar palabras o términos lingüísticamente complejos. En Ghana, ­ por ejemplo, se solicitó a los alumnos que tradujeran algunas palabras (del inglés) a los idiomas locales durante una prueba piloto para iden- tificar las palabras que con frecuencia se malinterpretan. De manera algo similar, los niños sudafricanos subrayaron palabras que no com- prendían durante la fase de prueba piloto. Esa información ayudó a modificar los ítems para el estudio principal. Los servicios de traduc- tores normalmente se requieren solo durante la preparación de las versiones piloto y definitivas de las pruebas y cuestionarios, y cuando se están preparando los informes para su publicación. Persona de enlace con la escuela La persona de enlace con la escuela o coordinador de la escuela puede ser un maestro o asesor de la escuela, aunque no puede ser el docente actual de los estudiantes seleccionados para la evaluación. PERSONAL E INSTALACIONES NECESARIOS PARA UNA EVALUACIÓN NACIONAL | 27  Con frecuencia, el director de la escuela es quien cumple esta ­ función. La persona de enlace con la escuela sirve como punto de contacto en las escuelas para el equipo de evaluación nacional y ayuda a garantizar que el personal de la escuela esté al tanto de la evaluación. Organiza el sitio para administrar la prueba, establece los horarios y las fechas de esta con los alumnos y los docentes, y recibe al equipo de evalua- ción el día de la prueba. Se asegura de que se completen los formula- rios de seguimiento de los estudiantes y se distribuyan los cuestionarios para docentes y escuelas. Garantiza que se reciban y se guarden de manera segura todos los materiales de evaluación y que se devuelvan al centro nacional o regional después de la administración de la prueba. También debe asegurarse de que el salón de clases utilizado para la evaluación sea amplio para que aloje a todos los estudiantes seleccionados para realizar las pruebas, y permita dejar suficiente espacio para evitar que los estudiantes se comuniquen con otros y copien. La persona de enlace con la escuela esencialmente respalda al equipo de evaluación y hace todos los arreglos necesarios para asegu- rar la realización ordenada de la evaluación en una escuela. Personal de registro de datos Algunos equipos de evaluación nacional emplean personal de captura de datos profesional para registrar o capturar datos de pruebas y cues- tionarios. Las personas seleccionadas para realizar esta tarea deben tener experiencia en el ingreso de datos y ser reconocidos por su velo- cidad y precisión. Un registro de datos descuidado puede poner en riesgo la calidad de la evaluación. Una alternativa al registro de los datos interno es contratar a una agencia externa para este trabajo. En ese caso, uno o más miembros del equipo de evaluación deben con- trolar la calidad del trabajo periódicamente. Ya sea que el registro de los datos se lleve a cabo internamente o se subcontrate, el control de la calidad es esencial. Los escáneres electrónicos se utilizan cada vez más para registrar los datos de cuestionarios y pruebas, que luego se archivan para su depuración y análisis. Sin embargo, en algunos países no se dispone de acceso a escáneres o a servicios de mantenimiento necesarios para el respaldo de datos. 28 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO Examinadores En algunos países, los maestros administran las pruebas de evaluación nacional a sus propios alumnos. Sin embargo, en la mayoría de los casos se encomienda esta tarea a docentes que no sean quienes ense- ñan a los alumnos que realizan la prueba o a personas externas a la escuela. Las prácticas laborales locales, los niveles de compensación económica y la disponibilidad del personal constituyen factores importantes en la selección de los examinadores. Dentro del personal de administración de la prueba se ha incorporado docentes (incluso docentes retirados), inspectores de escuelas, capacitadores de docen- tes y funcionarios de exámenes públicos, así como estudiantes univer- sitarios (en especial estudiantes de carreras de educación y psicología). En algunos países, se contrata para la recolección de datos a un ­ organismo especializado en esa actividad. Los posibles examinadores deben tener las siguientes características: • Buenas habilidades comunicativas y de organización. • Experiencia de trabajo en escuelas. • Confiabilidad, capacidad y disposición a seguir instrucciones con precisión. En la Tabla 2.1 se resumen algunas ventajas y desventajas de emplear personal proveniente de distintos contextos. Las desventajas se pueden abordar mediante pautas claras y capacitación intensiva. La administración defectuosa de la prueba tiende a ser la fuente más común de errores en una evaluación nacional; por consiguiente, debe prestarse especial atención a la selección, capacitación y supervisión de los examinadores y administradores del cuestionario. ­ Las personas asignadas para estas funciones deben ser ante todo­ confiables, responsables y comprometidas. ­ Los examinadores deben: • Garantizar que los docentes y demás miembros del personal no estén presentes en el aula al momento de la administración de las pruebas. • Verificar que solo los estudiantes seleccionados en la muestra realicen las pruebas. ­ PERSONAL E INSTALACIONES NECESARIOS PARA UNA EVALUACIÓN NACIONAL | 29  TABLA 2.1 Ventajas y desventajas de las categorías del personal para la administración de la prueba Categoría Ventajas Desventajas Docentes Están cualificados profesionalmente Es posible que tengan dificultades para desaprender las prácticas usuales (por ejemplo, ayudar a los estudiantes) y aprender nuevas formas de tratar con los alumnos Están familiarizados con los niños Es posible que sientan que también se los evalúa y puedan intentar ayudar a los niños (si se está evaluando a su propia clase) Es posible que resulten menos Es posible que resulten costosos costosos que otros, específicamente y difíciles de organizar y en traslado y estancia capacitar Es probable que tengan un manejo fluido del idioma local o del área Inspectores y Es probable que tengan Podrían ser demasiado capacitadores experiencia en el salón de clases autoritarios de docentes Participarán como socios en la Pueden sentirse tentados a evaluación nacional, lo que puede realizar actividades de generarles un interés en los inspección además de resultados administrar las pruebas Es probable que conozcan la Probablemente resulten más ubicación de la mayoría de las costosos que los docentes escuelas Puede que sientan que no necesitan seguir las instrucciones como se detallan en el manual Estudiantes Están disponibles, especialmente Pueden no ser muy confiables universitarios durante las vacaciones de la universidad Es probable que sigan las Pueden carecer de la autoridad instrucciones necesaria para tratar con los administradores, directores y demás personas Están más dispuestos que otros a Es más difícil que se hagan soportar condiciones de viaje responsables desfavorables (continúa) 30 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO TABLA 2.1 Ventajas y desventajas de las categorías del personal para la administración de la prueba (continúa) Categoría Ventajas Desventajas Pueden utilizar con frecuencia una Es posible que no tengan fluidez oportunidad de trabajo en el idioma local Son relativamente poco costosos Es posible que no comuniquen un sentido de respeto y autoridad frente a los estudiantes Personal de Están calificados profesionalmente Es posible que sean demasiado evaluación o la autoritarios, en especial si se les comisión designara supervisar exámenes examinadora públicos Son directamente responsables Pueden carecer de experiencia ante la autoridad que los nombra reciente en el salón de clases y por lo tanto no demostrar una sensación de autoridad frente a los estudiantes Tienden a ser confiables Pueden carecer de experiencia en el nivel educativo en particular que se está evaluando Son buenos para llevar registros Mantenerlos en el campo resulta costoso Tienden a consultar antes de tomar Es posible que no tengan fluidez decisiones importantes en el idioma local • Familiarizarse con las pautas de administración de la prueba y cumplirlas con exactitud. • Dar instrucciones claras y en voz alta. • Asegurarse de que los estudiantes comprendan el procedimiento para proveer sus respuestas. • Atenerse estrictamente a los plazos. • Cuidar que los estudiantes no copien o evitar otras formas de comunicación entre ellos. • Recoger todos los materiales al finalizar la prueba. • Anotar e informar sobre cualquier irregularidad que ocurra antes, durante o después de la prueba. PERSONAL E INSTALACIONES NECESARIOS PARA UNA EVALUACIÓN NACIONAL | 31  Calificadores En muchas evaluaciones nacionales, las respuestas a todos o la mayo- ría de los ítems se ingresan al sistema de captura de datos y se califican por computadora. Cuando los ítems son abiertos, se necesita la cola- boración de los calificadores. Los calificadores de la prueba deben tener un conocimiento ­ adecuado de la materia que se está evaluando. En muchos países, los docentes llevan a cabo la tarea de calificación. Sin embargo, puede que sea difícil reclutar docentes durante el ciclo escolar, cuando posi- blemente solo estén disponibles fuera del horario de clases. Algunas evaluaciones nacionales utilizan personal de la comisión examina- dora. Otros emplean los servicios del personal del ministerio de edu- cación o de estudiantes universitarios. Independientemente de su contexto o su condición, los calificadores deben capacitarse específi- camente para la puntuación de las pruebas de la evaluación nacional en particular. Un miembro del equipo central debe controlar la cali- dad de la puntuación a diario y debe prescindir de los servicios de los calificadores deficientes. INSTALACIONES Los participantes de la administración de una evaluación nacional necesitan espacio para trabajar y una serie de materiales. Espacio para el personal Los principales miembros del personal necesitan oficinas seguras y equipadas con computadoras. Se necesita espacio para libros y archi- vos. Los miembros del personal a tiempo parcial también necesitan algún sitio de oficina. Se aconseja contar con acceso a una sala amplia para las reuniones de grupo, ya que las evaluaciones nacionales tien- den a implicar muchas reuniones con especialistas en la materia, redactores de ítems y otras personas. 32 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO Espacio para la organización y el almacenamiento de instrumentos Se deben tomar las medidas necesarias para responder a las necesi- dades de espacio para el empaque de pruebas que se distribuirán a las escuelas. Algunas evaluaciones nacionales alquilan auditorios u otros espacios en instituciones de aprendizaje. Los requerimientos de espacio pueden ser considerables (consúltese el Recuadro 2.2). Para obtener una idea de cuánto espacio se necesitará para abastecer a todas las escuelas en la evaluación nacional, puede resultar útil desempacar al menos los cuadernillos de prueba y demás materiales de una sola escuela. Se necesita una instalación de almacenamiento amplia, tanto antes como después de la puntuación y la captura y depuración de datos. De ser posible, se debe reservar un lugar específico para el registro de datos. Este debe incluir un escritorio de trabajo adecuado, con espacio para una computadora, para cada uno de los miembros del personal de registro de datos. Se necesitará espacio adicional para guardar y organizar los cuadernillos que se estén procesando. Los cuadernillos y los cuestionarios deben ser fácilmente accesibles, ya que es posible que haya que verificar algunos ítems. RECUADRO 2.2 Requisitos de almacenamiento Las dimensiones de los cuadernillos de las pruebas y de los cuestionarios inciden en las necesidades de altura y profundidad de los estantes de almacenamiento. Por lo general, los cuadernillos se imprimen en hojas de tamaño A4 (210 × 297 milímetros, u 8,27 × 11,69 pulgadas). La mayoría de las veces, los cuadernillos se agrupan por clase y por escuela. Si un cuadernillo de prueba sobre una de las áreas temáticas mide 1,5 milímetros de espesor y la muestra nacional comprende 5000 alumnos, se requiere un espacio de almacenamiento mínimo de 7,5 metros. Se necesitará espacio de almacenamiento adicional para los cuadernillos de otras áreas del plan de estudios, para los cuestionarios para docentes y alumnos, y para los manuales de administración de los coordinadores de escuela, así como para la correspondencia, material de embalaje, y demás de la evaluación nacional. PERSONAL E INSTALACIONES NECESARIOS PARA UNA EVALUACIÓN NACIONAL | 33  Equipamiento y suministros La cantidad y el tipo del equipamiento y de los suministros que se necesiten variarán según el tamaño de la evaluación nacional y las condiciones locales. El equipamiento básico fundamental incluye • Teléfonos, escritorios, sillas, archivadores, estantes, mesas para embalaje, armarios y carritos para trasladar los instrumentos. • Suministros normales de oficina (papelería, libretas, cartuchos de tinta, discos, cintas, perforadoras, tijeras, engrapadoras, bolígrafos, lápices, cinta de embalaje, hilo, etiquetas, pegamento y bolígrafos gruesos). • Papel de embalaje y cajas o bolsas. • Vehículos para transportar las pruebas y demás materiales cuando sea necesario. El presupuesto disponible ayudará a determinar la cantidad y ­alidad del equipamiento técnico. Algunos equipos de evaluación c nacional (por ejemplo, en los ministerios de educación o en universi- dades) pueden tener acceso a equipamiento electrónico como com- putadoras, software (como por ejemplo Microsoft Office y SPSS), impresoras, fotocopiadoras, escáneres y faxes. Puede que otros equi- pos tengan que comprar o alquilar algún material. El software ade- cuado puede optimizar la precisión y la eficacia, especialmente en áreas como el registro, la captura, la depuración y el análisis de los datos, así como el diseño gráfico. NOTA 1. Es posible que en algunos países se utilicen otros términos. 3 CA P Í T U L O PREPARATIVOS PARA LA ADMINISTRACIÓN EN LAS ESCUELAS El coordinador nacional debe informar a las escue- las de su selección para la evaluación nacional tan pronto como sea posible, luego de la selección de la muestra. Invitarlos a participar es un acto de cortesía. La experiencia acumulada hasta la fecha indica que la gran mayoría de escuelas públicas en países en vías de desarro- llo está dispuesta a participar en una evaluación nacional. En algunos países, las escuelas pueden optar por no participar. Lo más probable es que sean las escuelas privadas (que no están incluidas en muchas evaluaciones nacionales), las que puedan tener esa opción. En varias jurisdicciones, las escuelas públicas no pueden negarse. En algunos países, se requiere el permiso de los padres para que sus hijos puedan participar en la evaluación, en ese caso deben tomarse medidas para obtenerlo. Es suficiente con pedirles a los padres que tan solo respondan si se niegan a conceder el permiso. En ese caso, si los padres no responden, se presume que dan su consentimiento. Este capítulo describe las medidas preparatorias para la administra- ción de una evaluación nacional. Estas medidas incluyen el contacto con las escuelas, la organización de los instrumentos y la preparación de las escuelas. 35 36 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO EL CONTACTO CON LAS ESCUELAS De ser necesario, se debe obtener el permiso del ministerio de educa- ción o de la autoridad educativa de la región antes de contactar a las escuelas. Cuando se contacta y se invita a participar a las escuelas, se debe solicitar a estas que acusen recibo de la invitación. La comunica- ción inicial se debe mantener periódicamente hasta el día anterior a la evaluación. Se debe solicitar a la escuela que designe a una persona de contacto, una persona de enlace con la escuela o un coordinador para la evaluación. El equipo de evaluación nacional debe esforzarse por establecer y mantener una buena relación con las autoridades educa- tivas locales, si es que estas existieran. Informar a las escuelas Muchas escuelas, especialmente de nivel primario, prefieren cartas para poder archivarlas. En Uganda, la agencia de evaluación nacional envía cartas a todas las escuelas seleccionadas como también a cada oficina de educación del distrito. A este paso le siguen llamadas tele- fónicas (mayormente mediante teléfonos celulares) y notas entrega- das por bodaboda (ciclistas y motociclistas contratados para transportar personas o equipaje). La primera comunicación debe informar a las escuelas que han sido seleccionadas para participar de una evaluación nacional consúltese el Recuadro 3.1). Debe además incluir fechas provisorias (­ para la administración de exámenes. Una nota de recordatorio, que debe llegar a las escuelas un mes antes de la evaluación, debe informar la fecha exacta y dar más detalles acerca del ejercicio de evaluación en sí mismo. Se recomienda confirmar la participación de la escuela dos semanas antes de la evaluación y hacerlo nuevamente el día anterior al evento. El equipo de evaluación nacional debe mantener una lista o un formulario de seguimiento actualizado con todas las escuelas partici- pantes, para ayudar con la supervisión del progreso del trabajo de campo. El formulario debe proporcionar información de las escuelas, como el nombre de esta, su tamaño y la información de contacto (consúltese la Tabla 3.1). PREPARATIVOS PARA LA ADMINISTRACIÓN EN LAS ESCUELAS | 37  RECUADRO 3.1 Ejemplo de una carta a las escuelas Estimado____________________: Me dirijo a usted para solicitar su apoyo para la Evaluación nacional de rendimiento académico en matemáticas del año 2012 (NAMA), que está siendo dirigida por el Centro Nacional de Investigaciones para la Investigación Educativa. Como debe saber, el nivel de rendimiento en matemáticas de un estudiante en el sistema educativo se evalúa cada cinco años. En octubre de 2012, se recopilará información de estudiantes de sexto grado de 160 escuelas de todo el país. Los estudiantes van a ser evaluados en dos períodos de una hora durante la tercera semana de octubre. Su escuela ha sido seleccionada al azar para participar de este importante estudio nacional. Su inspector escolar local lo visitará durante los próximos dos meses para responder a cualquier pregunta que pueda tener y para discutir acerca de la participación de su escuela. Las fechas precisas de las evaluaciones serán confirmadas a través de la radio local. Un representante del Centro Nacional de Investigaciones para la Investigación Educativa les administrará la evaluación y un cuestionario breve a los estudiantes y le solicitará también a usted y al maestro de la clase que completen cuestionarios. Toda la información que se recopile en su escuela será tratada de forma confidencial, y los resultados individuales de los estudiantes y de las escuelas no se divulgarán en absoluto. Bien al contrario, la información recopilada será empleada por el Ministerio de Educación para ayudar a identificar las fortalezas y debilidades del aprendizaje en el sistema. El Ministerio utiliza la información para mejorar la calidad del aprendizaje de nuestros estudiantes y NAMA cuenta con el respaldo y la aprobación de la Unión Nacional de Maestros. No necesita hacer preparativos elaborados para la evaluación, pero debe informar a los niños la semana previa a la evaluación. Los alumnos no tienen que prepararse para la evaluación. Se le dará a cada alumno un lápiz para completar la prueba y el cuestionario, y se le permitirá quedarse con el lápiz luego de finalizar la evaluación. Atentamente, Director Centro Nacional de Investigaciones para la Investigación Educativa TABLA 3.1 Evaluación nacional: formulario de seguimiento de las escuelas Nombre, dirección Nombre y Prioridad Número de y número número telefónico Estado Fecha de Fecha de de la identificación telefónico de la del coordinador Tamaño de (participante o envío del recepción Fecha de escuelaa de la escuela escuela de la escuela la escuela no participante) material del material la prueba 1 1 1 1 1 1 1 1 1 2 2 2 38 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO 2 2 Fuente: adaptado de TIMSS 1998c. a. Las escuelas seleccionadas de la muestra son de prioridad 1. Las escuelas de reemplazo son de prioridad 2. PREPARATIVOS PARA LA ADMINISTRACIÓN EN LAS ESCUELAS | 39  Reemplazo de escuelas En la medida de lo posible, luego de la selección de las escuelas, estas no se deben cambiar o sustituir. A pesar de los esfuerzos del equipo de evaluación nacional, sin embargo, puede que sea necesario realizar algu- nos reemplazos de escuelas. Si se anticipara la necesidad de reemplazar algunas escuelas, esa posibilidad se podría analizar con el estadístico de muestreo para implementar procedimientos de muestreo adecuados y seleccionar correctamente las escuelas de reemplazo. Bajo ninguna cir- cunstancia debe permitirse que la selección de las escuelas de reem- plazo la lleve a cabo el examinador o el funcionario escolar local. Este tema se discute con más detalles en la segunda parte de este volumen. ORGANIZACIÓN DE INSTRUMENTOS El coordinador nacional o su designado debe controlar la calidad de los exámenes, cuestionarios y manuales para verificar que: 1. Se eliminen los errores ortográficos y tipográficos. 2. El tamaño de la fuente de los cuadernillos de prueba sea lo sufi- cientemente grande. Las fuentes de tamaño grande son particular- mente importantes para los niños. Se recomienda usar una fuente de 14 puntos para 3.° y 4.° grado, y una fuente de 12 puntos para grados superiores. Un conjunto de pruebas de rendimiento acadé- mico nacional usa una fuente de 16 puntos para 1.° y 2.° grado; una fuente de 13 puntos para 3.°, 4.° y 5.° grado; y una de 12 puntos para 6.° grado. Las preguntas o los números de ítems deben utilizar una fuente más grande. 3. Se utilice un espaciado adecuado entre las líneas del texto. 4. Los diagramas sean simples y claros. Cuando sea posible, deben estar en la misma página que el texto en cuestión. Una persona cualificada para la captura de datos y que esté familia- rizada con paquetes informáticos como Microsoft Office debe escri- bir las pruebas, los cuestionarios y demás materiales. Los secretarios de redacción contratados por la comisión examinadora contarán con una vasta experiencia en la formulación de preguntas y en la 40 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO confección de las ilustraciones que las acompañan, así como en la seguridad de las evaluaciones. Las medidas para el ahorro de costos que deben tenerse en cuenta en esta etapa incluyen: • La preparación de los cuadernillos de prueba de modo que se ajus- ten a un número de páginas uniforme. • Prestar cuidadosa atención a la edición, especialmente de versiones finales, lo que evitará la reimpresión de cuadernillos de prueba a causa de errores tipográficos o gráficos serios. • Dejar a la imprenta el tiempo necesario para imprimir las pruebas y los cuestionarios para evitar el pago de tarifas por horas extras cuando la tarea deba ser completada en un tiempo relativamente corto o cuando la impresora tenga otras prioridades. Tres personas deben editar independientemente las versiones fina- les de todos los materiales empleados en una evaluación nacional. Este sistema se prefiere en lugar de solicitar al mismo editor que examine cada documento tres veces. Cuando se ordenan las series de impresio- nes, se deben solicitar copias adicionales para cada paquete de escuela previendo la necesidad de escuelas de reemplazo y el deterioro de algunas copias. El volumen 2 de esta serie, Desarrollo de pruebas y cuestionarios para una evaluación nacional del rendimiento académico, contiene una sección extensa sobre el diseño y la impresión. PREPARACIÓN DE LAS ESCUELAS Los líderes de los equipos de evaluación nacional efectivos planifican rigurosa y anticipadamente la administración de la evaluación en las escuelas. También tienden a delegar responsabilidades a la vez que mantienen el control general del proceso de preparación mediante medidas de control de calidad, particularmente supervisando el trabajo de los demás. ­ Empaque Se debe establecer y documentar una serie de procedimientos de empaque. El Recuadro 3.2 ejemplifica un conjunto de muestra. PREPARATIVOS PARA LA ADMINISTRACIÓN EN LAS ESCUELAS | 41  Se requiere una lista de control de empaque. Los integrantes del personal de la evaluación nacional deben firmar y fechar los casilleros ­ apropiados en las columnas “Empacado” y “Devuelto” de la lista de control de empaque. La persona de enlace con la escuela debe proce- der de la misma manera con los casilleros en la columna “Recibido” luego de controlar el material enviado desde la oficina de evaluación nacional. La Tabla 3.2 presenta una copia de una lista de control utilizada en una evaluación sudafricana. ­ RECUADRO 3.2 Empaque de los instrumentos Los siguientes son procedimientos típicos para el empaque de los instrumentos: • Agrupe los cuadernillos en unidades de 20. • Disponga las unidades en orden antes de colocar en sobres. • Controle manualmente un número de muestras cuando los cuadernillos sean contados por una máquina. • Incluya pruebas adicionales en caso de enfrentar circunstancias inesperadas (por ejemplo, alumnos agregados). • Utilice materiales de empaque resistentes pero económicos (por ejemplo, sobres plásticos). • Tome nota del contenido de cada paquete y agregue a las hojas las firmas de las personas que lo armaron al finalizar el empaque de cada conjunto de ítems. • Etiquete cada paquete claramente y en negrita. • Agregue un adhesivo de color o una marca para indicar que el paquete está completo. • Etiquete cada caja al menos en dos lados. • Prepare una lista de control de empaque (consúltese la Tabla 3.2) para que los examinadores puedan comprobar que cuentan con los materiales necesarios. • Prepare un paquete de materiales para cada escuela. • Coloque los materiales para cada distrito en una caja o bolsa resistente. 42 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO TABLA 3.2 Lista de control de empaque Número Ítem Empaquetado Recibido Devuelto 40 Cuadernillos para estudiantes 40 Cuestionarios para estudiantes 45 Lápices 45 Gomas de borrar 5 Cuadernillos adicionales 5 Cuestionarios adicionales 45 Bandas elásticas Sobres con la dirección del 3 remitente Formularios para la 2 administración de la evaluación Formulario de seguimiento del 1 estudiante Entrega Las circunstancias locales van a determinar el método más apropiado y rentable de entrega y recogida de materiales para la evaluación nacional. En algunos casos, los materiales se entregan en oficinas centrales que son seguras (por ejemplo, distritos educativos u oficinas ­ gubernamentales locales) y los examinadores los recogen mediante el uso de transporte público. En otros casos, en los que existe un sis- tema de entrega seguro y confiable, los materiales se envían a los hogares de los examinadores. A veces, los equipos de examinadores viajan juntos en un vehículo y se los deja con los materiales necesarios en las escuelas. Manual para la administración de la evaluación En aras de la eficiencia y para limitar la cantidad de documentos que los examinadores deben cargar, la información principal relacionada con el tiempo, la preparación del alumno, el empaque y la devolución de las pruebas y cuestionarios, así como las instrucciones para la admi- nistración, se deben incluir en un solo documento: el manual para la administración de la evaluación. Las instrucciones que se leen en voz PREPARATIVOS PARA LA ADMINISTRACIÓN EN LAS ESCUELAS | 43  alta a los alumnos deben estar impresas con letra grande y en negrita. La persona a cargo de la capacitación de los examinadores debe revi- sar el manual por completo con una muestra de examinadores antes de la capacitación formal de los examinadores seleccionados. No importa cuán alto sea su nivel de capacitación, los examinadores no deben revisar el manual por su cuenta. En el volumen 2, Desarrollo de pruebas y cuestionarios para una evaluación nacional del rendimiento académico, se describe con detalle el desarrollo del manual para la administración de la evaluación. Ubicación de la capacitación El lugar para la capacitación de los examinadores dependerá mayor- mente del tamaño del país y de la cantidad de examinadores. De ser posible, lo ideal sería llevar a cabo la capacitación en un lugar central. En un país extenso, la capacitación debe realizarse en una serie de ubicaciones. 4 CA P Í T U L O LA ADMINISTRACIÓN EN LAS ESCUELAS Este capítulo describe el rol del examinador. A continuación, se describen los problemas que ocurren con frecuen- cia en la administración de la prueba y los procedimientos para mejo- rar la calidad de este ejercicio. EL EXAMINADOR Los examinadores, si son externos a la escuela, deben seguir los ­ procedimientos convencionales para las visitas a esta, lo que incluye presentarse en la oficina del director de la escuela (si existe). En algunas evaluaciones nacionales, la administración de la prueba se lleva a cabo simultáneamente en todas las escuelas, generalmente durante uno o dos días. En otras, los examinadores viajan de escuela en escuela durante un breve período. En este último caso, se deben tomar recaudos para mantener la seguridad de los materiales de la prueba y garantizar que no se intercambie información relacionada con la prueba entre las escuelas. La tentación de obtener información sobre las pruebas antes de la administración puede ser particular- mente fuerte en los sistemas de educación con una tradición de 45 46 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO exámenes de gran repercusión, ya que en esa situación es posible que los docentes consideren que se los evalúa a ellos o a sus escuelas. Esta situación puede suscitarse incluso cuando las cartas iniciales a las escuelas y los anuncios en los medios de comunicación públicos dejan en claro que se está evaluando el sistema educativo en su conjunto, y no a docentes o escuelas en particular. Cuando los examinadores viajan a una región y administran la prueba en una cantidad de escuelas de la misma localidad en una semana, normalmente llevarán solo aquellos materiales que necesitan para un solo día de pruebas. El equipo de evaluación nacional debe garantizar que cada exami- nador tenga un reloj, o que tenga acceso a uno, para utilizarlo durante la administración de la prueba. En una evaluación nacional que o ­ mitió este requisito, se comprobó que casi el 50 por ciento de los examina- dores no tenían reloj de pulsera o de pared durante la administración de la prueba. El rol del examinador durante la prueba se describe en el volumen 2 de esta serie, Desarrollo de pruebas y cuestionarios para una evaluación nacional del rendimiento académico. Se abordan temas relacionados con las instrucciones de la prueba, el nivel de ayuda a los estudiantes, el tiempo y los materiales permitidos en el lugar de la prueba. El examinador es responsable de garantizar que los docentes no ayuden a los estudiantes y que estos no copien entre sí y que no trai- gan materiales no autorizados al aula. Las condiciones de la escuela determinarán la disposición de los asientos. El examinador deberá verificar que no haya libros ni otros materiales en los pupitres antes de la prueba. Las evaluaciones nacionales que utilizan más de una ver- sión de una prueba reducen la posibilidad de que los estudiantes copien al disponer que aquellos que se sientan cerca tengan diferentes versiones de la misma. Formulario de seguimiento de los alumnos El diseño de una evaluación nacional especificará cómo debe seleccio- narse a los estudiantes dentro de la escuela. Si se especifica la selec- ción de toda una clase, dicha selección podría realizarla el centro de evaluación nacional antes de la administración de la prueba o bien LA ADMINISTRACIÓN EN LAS ESCUELAS | 47  podría instruirse al examinador de cómo seleccionar a la clase. Si el diseño de la evaluación especifica la selección de estudiantes de todas las clases de un grado en particular, también en este caso el centro de evaluación nacional podría seleccionar a los estudiantes con anteriori- dad a la prueba o bien podría instruirse al examinador de cómo deben seleccionarse. Durante la administración de la prueba, el examinador deberá completar un formulario de seguimiento de los alumnos, que se envía a la escuela con los cuadernillos de prueba y los cuestionarios. Se necesitará la información de este formulario en las etapas de depura- ción y análisis de datos (por ejemplo, durante la ponderación de los datos). La información registrada en el formulario de seguimiento generalmente incluye el nombre de cada estudiante, el número identi- ficador (ID) asignado, la fecha de nacimiento, el sexo y el registro de asistencia a las sesiones individuales de la prueba y, si corresponde, a las sesiones de reemplazo (consúltese el Recuadro 4.1). Si la prueba requiere más de una sesión, la presencia del estudiante se anotará para cada sesión. El formulario en el Recuadro 4.1 incluye una columna que identi- fica a los estudiantes excluidos. Es posible que estos estudiantes ten- gan una discapacidad, sean inmigrantes recientes o no estén familiarizados con el idioma utilizado en la prueba y se los excluya con la justificación de que la evaluación sería injusta para ellos. El formulario también incluye una columna que señala las deserciones, esto es, los estudiantes que figuraban en el listado de la población compilado al comienzo del año escolar pero que luego abandonaron la escuela. Devolución de los instrumentos El examinador debe garantizar que todas las pruebas y cuestionarios, utilizados y no utilizados, se guarden de manera segura y se devuelvan al centro de evaluación nacional. Este paso es importante porque los ítems, y en algunas circunstancias una prueba completa, podrían uti- lizarse en una evaluación nacional posterior. Si algunos docentes y estudiantes tienen acceso a esos ítems con anterioridad, se vería afec- tada la credibilidad de la evaluación posterior. La hoja o las notas de 48 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO RECUADRO 4.1 Formulario de seguimiento de los alumnos Nombre de la escuela _________________________________________________ Número de identificación Número de de la escuela identificación de la clase Nombre de la clase Grado Número de Nombre identifica- Fecha del estu- ción del de naci- Deser- Sesión de diante estudiante miento Sexo Excluido ción Sesión reemplazo borrador utilizadas por los estudiantes durante las pruebas también deben devolverse a la oficina de evaluación nacional. Se deben pro- porcionar instrucciones de empaque a los examinadores (consúltese el Recuadro 3.2). Los métodos para la devolución de los materiales suelen ser los mismos que para el envío. Se deben proporcionar instrucciones claras sobre cómo organizar la devolución desde las escuelas al centro de evaluación nacional. Se necesita un espacio amplio para guardar las devoluciones. Los instru- mentos devueltos se deben clasificar y colocar en estantes claramente etiquetados. Las pruebas y los cuestionarios se deben guardar de modo que puedan recuperarse fácilmente para la captura y depura- ción de datos. Todas las devoluciones deben registrarse en un libro de devoluciones o en una base de datos informática (no en papel). LA ADMINISTRACIÓN EN LAS ESCUELAS | 49  PROBLEMAS DE ADMINISTRACIÓN FRECUENTES Los problemas relacionados con la administración de una evaluación nacional suelen variar entre países en cuanto a su naturaleza y m­ agnitud. Cuanto más grave es el problema, mayor será el menoscabo a la inicia- tiva de la evaluación nacional. Desde el comienzo, el equipo de evalua- ción nacional debe garantizar que las escuelas de la muestra sean de hecho aquellas en las que se evalúan los estudiantes. En un país, se supo que funcionarios oficiales insistieron, una vez establecida la muestra nacional, en que se representaran los diversos grupos políticos en la selección final. Algunos equipos descubrieron escuelas “fantasma” falsas) después de utilizar fuentes de datos nacionales a los efectos del (­ muestreo. El examinador y la persona de enlace con la escuela deben imponer que los alumnos que realizan la prueba sean quienes fueron seleccionados para participar. Es posible que las listas de la escuela o los datos de la matrícula estén manipulados, en especial en situaciones en las que las becas escolares se basan en los datos de la matrícula de alumnos. No sería raro que los docentes deseen sustituir alumnos con el argumento de que “solo se seleccionaron los menos inteligentes”. Los siguientes son otros problemas que se han identificado en la administración: • Fecha de la prueba coincidente con alguna actividad de la escuela. • Alumnos que completan la primera sección de la prueba y se reti- ran de la escuela antes de la segunda sección. • Docentes y alumnos que llegan tarde. • Docentes, e incluso el director, que insisten en permanecer en el aula durante la prueba. • Disposición de los asientos inadecuada para la realización de la prueba. • Dificultades para atenerse a los plazos. • El examinador u otras personas ayudan a los estudiantes. • Alumnos que copian. Índices de participación bajos Es necesario un alto grado de participación en una evaluación nacio- nal para proporcionar información válida sobre el rendimiento de los 50 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO estudiantes en el sistema educativo. Los estudios de la Asociación Internacional para la Evaluación del Rendimiento Educativo (IEA), por ejemplo, exigen (a) un índice de participación de al menos el 85 por ciento de las escuelas y de los estudiantes, o (b) un índice combi- nado (el producto de la participación de escuelas y estudiantes) del 75 por ciento (consúltese la cuarta parte). La IEA también establece el límite máximo de exclusiones (según criterios como la lejanía de las escuelas y la discapacidad) en un 5 por ciento de la población objetivo deseada. En un intento por mejorar el nivel de cooperación de las escuelas en un país, se desarrollaron sesiones de reemplazo en una fecha posterior para los estudiantes que habían estado ausentes en la sesión de prueba inicial. Esta experiencia indicó que los estudiantes y las escuelas tendían a cooperar más cuando notaban que los examina- dores regresarían hasta terminar de evaluar a todos los alumnos seleccionados. CONTROL DE CALIDAD Con el fin de controlar la calidad de la administración de la prueba, el examinador debe completar un formulario de administración de la prueba (Recuadro 4.2) tras terminar el trabajo en una determinada escuela. El formulario proporcionará un registro de la medida en que se siguieron los procedimientos administrativos. Para verificar mejor si la prueba se llevó a cabo según los procedi- mientos prescritos, muchas evaluaciones nacionales designan una pequeña cantidad de supervisores de control de calidad para realizar visitas sin aviso previo a las escuelas. Aunque todos los examinadores deberían saber que existe la posibilidad de que sean supervisados, en la práctica, generalmente se visita solo entre un 10 y un 20 por ciento de las escuelas. El personal de control de calidad debe estar familiari- zado con el propósito de la evaluación nacional, el diseño de la mues- tra y su importancia, los roles del coordinador de la escuela y del examinador, el contenido de las pruebas y los cuestionarios, y el regis- tro de observaciones del salón de clases. Deben recibir información sobre cómo llevar a cabo las visitas a las escuelas sin interrumpir la evaluación que se esté realizando. Los supervisores deben completar LA ADMINISTRACIÓN EN LAS ESCUELAS | 51  RECUADRO 4.2 Formulario de administración de la prueba Complete un formulario por sesión de prueba. Nombre del examinador: __________________________________________________________ Número de identificación de la escuela: _____________________________________________ Nombre de la escuela: ____________________________________________________________ Nombre de la clase: ______________________________________________________________ Persona de enlace con la escuela: __________________________________________________ Sesión de prueba original: _________________________________________________________ Sesión de prueba de reemplazo (si corresponde): _____________________________________ Fecha de la prueba: _______________________________________________________________ Hora de la prueba: _______________________________________________________________ Hora de inicio Hora de finalización Detalles Administración de los materiales de la prueba Sesión de prueba 1 Sesión de prueba 2 Sesión de prueba 3 Sesión de prueba 4 1.  ¿Ocurrió alguna circunstancia especial o inusual durante la sesión? NO _______________ Sí ___________________ Explique. ¿Tuvieron los estudiantes algún problema en particular con la prueba (por ejemplo, las 2.  pruebas eran muy difíciles, no hubo suficiente tiempo, problemas con el idioma, cansancio, las instrucciones no eran claras)? NO _______________ Sí ___________________ Explique. ¿Hubo algún problema con los materiales de la prueba (por ejemplo, errores, páginas 3.  en blanco, lenguaje inadecuado, omisiones en los formularios de seguimiento de los estudiantes, cantidad incorrecta de pruebas o cuestionarios)? NO _______________ Sí ___________________ Explique. Fuente: prueba TIMSS 1998a. Reimpreso con autorización. 52 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO un formulario sobre las condiciones administrativas y demás en cada escuela visitada. En el Recuadro 4.3 se brindan ejemplos de las activi- dades para las cuales se registra información en los formularios utili- zados para la prueba TIMSS (Estudio Internacional de Tendencias en Matemáticas y Ciencias). RECUADRO 4.3 Ejemplos de preguntas planteadas por los supervisores de control de calidad en la prueba TIMSS 1. Actividades preliminares del examinador ¿El examinador verificó tener el suministro adecuado de cuadernillos de la prueba? ¿Estaban todos los sellos en los cuadernillos de la prueba intactos antes de la distribución? ¿El espacio para las sillas era adecuado de modo que los estudiantes trabajasen sin distracciones? ¿El examinador tenía un cronómetro o reloj? ¿El examinador tenía un suministro adecuado de lápices y demás materiales? 2. Actividades de la sesión de prueba ¿El examinador siguió el apunte de manera exacta (a) al preparar a los estudiantes, (b) al distribuir los materiales y (c) al comenzar con la prueba? ¿El examinador registró la asistencia correctamente? ¿El tiempo de la prueba fue el tiempo permitido? ¿El examinador recogió los cuadernillos de prueba de todos los alumnos al mismo tiempo? 3. Impresión general Durante la prueba, ¿el examinador caminó por el aula para asegurarse de que los estudiantes estuvieran trabajando en las secciones correctas de la prueba y que se comportaran de manera adecuada? En su opinión, ¿el examinador respondió a las preguntas de los estudiantes de manera adecuada? ¿Observó usted algún indicio de estudiantes que estuvieran intentando hacer trampa en sus pruebas (por ejemplo, al copiar de su compañero)? 4. Entrevista con el coordinador de la escuela ¿Recibió usted el envío correcto de materiales? ¿El coordinador nacional respondió a sus preguntas o inquietudes? LA ADMINISTRACIÓN EN LAS ESCUELAS | 53  RECUADRO 4.3 (continúa) ¿Pudo usted recolectar los cuestionarios para docentes completos antes de la administración de la prueba? ¿Se sintió conforme con el sitio (la sala de la prueba) del examen? ¿Cree que serán necesarias sesiones de recuperación en su escuela? ¿Los estudiantes recibieron instrucciones especiales, charlas de motivación o incentivación para prepararlos para la evaluación? ¿Los estudiantes tuvieron alguna oportunidad de practicar preguntas similares a las de la prueba antes de la sesión de prueba? Fuente: prueba TIMSS 1998b. Reimpreso con autorización. 5 CA P Í T U L O LAS TAREAS SIGUIENTES A LA ADMINISTRACIÓN En este capítulo, se describen las tareas que que- dan pendientes luego de la administración de los instrumentos en las escuelas y de su devolución al centro de evaluación nacional: la califi- cación de las pruebas, el registro de la información, el análisis de los datos y la redacción de informes. CALIFICACIÓN DE LAS PRUEBAS En algunas evaluaciones nacionales se utiliza exclusivamente el método de opción múltiple y en unas pocas, se escanean los formula- rios de respuesta electrónicamente. En otras, se combinan ítems de opción múltiple e ítems abiertos, y se corrigen ambos a mano, lo que requiere de una cantidad de tiempo considerable. Se debe decidir el orden de la puntuación o calificación si la prueba incluye más de un tipo de ítem. Cualquiera que sea el orden que se aplique, por lo general, se califica por completo una región (estado o provincia) antes de comenzar con la siguiente. Idealmente, se debe limitar el material de una sala en cada momento dado a una región. A medida que se completa cada región, se pueden enviar las pruebas corregidas para la captura de datos. 55 56 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO RECUADRO 5.1 Formulario de seguimiento del instrumento Nombre de la escuela: _______________________________________________ Número de escuela: ________________ Número de instrumento A: ________________ Número de instrumento B: ________________ Hora de inicio: ________________ Hora de finalización: ________________ Nombre y código del calificador: ______________________________________ Nombre y código del encargado de garantía de calidad: _________________ Monitorear la cantidad de instrumentos que se califican a mano o que se ingresan en una base de datos para ser calificados electrónica- mente en un período de una hora permite calcular el tiempo esti- mado del proceso. Este método también puede proporcionar una estimación razona- ble del costo. Un formulario simple (como el del ejemplo en el Recuadro 5.1) puede controlar la velocidad y exactitud de la puntua- ción al calificar todas las pruebas de una misma escuela. Utilización de guías de corrección El equipo de desarrollo de pruebas confecciona las guías de correc- ción. Las guías para la corrección (puntuación) de ítems abiertos deben especificar claramente los tipos de respuestas que son acepta- dos y los que no lo son. Sin embargo, las guías pueden tener que modificarse ligeramente luego de la administración de la prueba debido a que algunos estudiantes pueden haber dado respuestas que no estaban registradas en la fase de desarrollo de la prueba. En ese caso, la tarea de modificación de la guía no se debe realizar en base al criterio de los calificadores o de aquellos que ingresan los datos en las computadoras. El equipo de desarrollo de pruebas es el mayor responsable de indicar si las respuestas inesperadas a un ítem abierto LAS TAREAS SIGUIENTES A LA ADMINISTRACIÓN | 57  son adecuadas. Se debe proveer una guía de corrección por separado, que debe estar finalizada antes de comenzar el proceso de corrección, para cada idioma empleado en la evaluación. El CD que acompaña el volumen 2, Desarrollo de pruebas y cuestionarios para una evaluación nacional del rendimiento académico, contiene ejemplos de guías utili- zadas para corregir ítems. La puntuación Se requiere un espacio adecuado para que los calificadores y el perso- nal de captura de datos puedan sentarse cómodamente. Es impor- tante contar con un sistema claro para la manipulación del material, debido a la gran cantidad de material que se procesa y para evitar el desorden. Se ha constatado que permitir que dos calificadores traba- jen juntos es más eficaz y reduce las charlas durante la puntuación. Además, permite que un calificador pueda aclarar situaciones confu- sas con un colega. La sala de puntuación debe tener mesas y cajas suficientes para empaquetar las pruebas luego de la corrección a fin de enviarlas para el registro de los datos. El coordinador nacional tiene la máxima responsabilidad en cuanto a la calidad de la calificación de los ítems. Debe establecer un proce- dimiento que garantice la calidad para asegurar la exactitud y cohe- rencia del puntaje. Este procedimiento implica volver a calificar una muestra de pruebas, cuya cantidad varía de una evaluación nacional a otra. En determinados casos, los mejores calificadores revisan el 50 por ciento de los cuadernillos de prueba, mientras que en otros casos, solo se revisa el 10 por ciento. Los factores que se tienen en cuenta al momento de decidir sobre el tamaño de la muestra de control de cali- dad incluyen la experiencia de los calificadores, la cantidad de alum- nos que se evalúa, el tiempo disponible y el presupuesto. Las respuestas a los ítems de las pruebas calificadas mediante el uso de una compu- tadora se pueden ingresar dos veces y comparar los resultados. En una evaluación nacional, los calificadores corrigieron las res- puestas de opción múltiple en los cuadernillos de prueba. En el caso de los ítems abiertos, se revisó el 100 por ciento de ellos. En otra eva- luación, las puntuaciones fueron registradas en una hoja de verifica- ción por separado y un colega calificó los mismos ítems sin ver las 58 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO calificaciones de la persona que calificó previamente. Las dos califica- ciones fueron después comparadas y se resolvieron las discrepancias. La hoja de verificación también ayudó a identificar a los calificadores individuales que cometieron errores graves con frecuencia. Se deben permitir descansos en el trabajo ya que la calidad de la puntuación y de la captura de datos puede verse afectada si los califi- cadores están cansados y pierden la concentración. También se deben proporcionar refrigerios adecuados. En una evaluación nacional, los calificadores estatales amenazaron con hacer una huelga debido a que no les habían dado refrigerios entre las comidas. A veces, cuando los ítems de opción múltiple se califican a mano, es posible que los calificadores no puedan leer o entender algunas respues- tas, o que se enfrenten con dos respuestas para un ítem en particular. En lugar de dejar la resolución de estos problemas para la fase de registro de datos, los calificadores deben resolverlos y registrar sus decisiones. En caso de que no se llegara a un acuerdo, el calificador principal debe tomar la decisión final. Cuando los ítems de opción múltiple se califi- quen mediante el uso de una computadora, se incluirán procedimientos para tratar las dobles respuestas en el programa de puntuación. EL REGISTRO DE DATOS La atención al detalle y el registro cuidadoso de los datos ayudarán a reducir el tiempo que se emplea para depurar los datos y rectificar errores. Esta sección describe los principios generales relacionados con las instalaciones y el personal necesarios para el registro, garantía de calidad, depuración y almacenamiento de datos. Los procedimien- tos para la depuración y gestión de datos se describen en detalle en la tercera parte de este volumen (consulte también TIMSS 1998a). Instalaciones para el registro de datos Al planificar el registro de datos, se debe tener en cuenta el presu- puesto disponible y la fecha de entrega de la información. Al calcular la cantidad de tiempo necesaria para capturar y verificar los datos de cada prueba (como, por ejemplo, un cuadernillo de prueba de LAS TAREAS SIGUIENTES A LA ADMINISTRACIÓN | 59  matemáticas y uno de lenguaje) y cada cuestionario (como los del estudiante y del maestro), se puede estimar el tiempo que se va a emplear para introducir o escribir y verificar todos los datos. Este ­ cálculo proporcionará una guía aproximada de cuánto personal de captura de datos se necesitará para completar esta tarea a tiempo. Luego de determinar cuántos miembros del personal se necesita- rán, se le debe facilitar una computadora a cada persona de captura de datos y otra al supervisor. Idealmente, las computadoras deben estar conectadas a una red. Algunos equipos de evaluación nacional emplean un software personalizado (como WinDem de la Asociación Internacional para la Evaluación del Rendimiento Educativo o EpiData) para la captura de datos; otros utilizan paquetes de bases de datos como Access y Excel. Se presentan ejemplos de captura de datos mediante el uso de Access en la tercera parte de este volumen. Las necesidades de mobiliario incluyen buenas sillas para las perso- nas que tienen que pasar largas horas ingresando datos y mesas largas para la organización de pruebas y cuestionarios. Cada persona a cargo de la captura de datos también debe contar con un espacio de trabajo adecuado (a) para el material que se debe ingresar; (b) para el mate- rial que ha sido registrado; y (c) para los documentos que presentan problemas y deben ser discutidos con el supervisor, el gestor de datos o el líder. Personal para el registro de datos El encargado de datos desempeña un papel crucial en el proceso de registro de datos y debe ser consultado constantemente. Este debe, en lo posible, tener parte en la selección del personal de captura de datos. Un encargado de datos competente va a solucionar problemas gene- ralmente originados por prácticas de trabajo deficientes o por inexpe- riencia. El encargado de datos debe tener la responsabilidad de procurar y asegurar la adecuación del hardware y software que se utilice para la captura de datos. De ser posible, el equipo de evalua- ción nacional debe contratar personal de captura de datos experimen- tado y que sea meticuloso en su trabajo. Aunque parezca económico contratar personal inexperto a tarifas bajas, a la larga puede llegar a ser más costoso que emplear profesionales. 60 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO Registro de datos y control de calidad Deben prepararse planillas de registro de datos para cada instrumento tan pronto como estos se vayan desarrollando. La planilla es la matriz dentro de la cual se ingresan los datos. Las planillas se ven diferentes en los distintos programas de registro de datos. La tercera parte de este volumen profundiza sobre cómo crear y usar planillas de captura de datos. Alterar una planilla una vez que ha comenzado el registro de datos no es recomendable. El personal de captura de datos va a cometer errores. Como parte del control de calidad, el equipo de evaluación nacional debe decidir (cuando se calculan los requisitos presupuestarios) qué porcentaje (tal vez entre el 6 y el 10 por ciento) de los registros de examen van a ser ingresados dos veces. Dicho ingreso doble puede determinar si existe un problema general o si la mayoría de los errores son atribui- bles a un individuo o dos del personal de captura de datos. Depuración de datos Una vez completado el registro de datos, las pruebas y los cuestiona- rios deben almacenarse cuidadosamente de manera sistemática debido a que algunos documentos pueden tener que ser recuperados durante la depuración de datos. La depuración de datos, que se trata detalla- damente en la tercera parte, es una parte tediosa pero muy impor- tante del procesamiento de datos. Implica el control para asegurarse de que los datos parezcan verosímiles y que los puntajes y las catego- rías de respuestas estén dentro de los límites aceptables. Esto provee de una oportunidad para controlar respuestas problemáticas a ítems de pruebas y cuestionarios. Los datos también se pueden revisar para encontrar patrones que indiquen trampa. Almacenamiento de datos Luego de que se haya completado la evaluación, se puede requerir el almacenamiento de los datos por algunos años. Varios institutos de inves- tigación consideran que cinco años es el período de tiempo apropiado para el almacenamiento. En algunos países, se escanean las pruebas y los cuestionarios, y los datos se almacenan en formularios electrónicos. LAS TAREAS SIGUIENTES A LA ADMINISTRACIÓN | 61  ANÁLISIS DE LOS DATOS En esta sección, surgen algunos problemas logísticos prácticos que pueden incidir en la calidad y la eficacia del análisis de los datos. El volumen 4, Análisis de los datos de una evaluación nacional del ren- dimiento académico, se focaliza en la generación de estadísticas de los ítems y en el análisis para generar los datos para las políticas. Un integrante del equipo central, que tenga competencias compro- badas en estadísticas, incluso psicometría, debe hacerse responsable del análisis de los datos. Otras colegas pueden asistir a esa persona. Aunque contratar a un estadístico a tiempo completo puede no siem- pre ser posible, los servicios de este serán requeridos en varias fases de la evaluación, desde el diseño inicial hasta la redacción del informe. El equipo de evaluación nacional va a necesitar de los servicios de un analista de datos en la fase de prueba previa del desarrollo de la prueba. Durante esa fase, los ítems de prueba son administrados a una muestra de estudiantes similares a aquellos que van a tomar la prueba finalmente. La prueba previa se trata en detalle en el volumen 2 de esta serie, Desarrollo de pruebas y cuestionarios para una evaluación nacional del rendimiento académico. El analista debe ser capaz de utili- zar paquetes de software apropiados para analizar los resultados de la prueba previa. Este debe trabajar en conjunto con los redactores de ítems y con los especialistas en el tema en la selección de los ítems a partir del conjunto de los que han sido probados previamente que serán incluidos en la prueba administrada en la evaluación nacional. La experiencia indica que la selección de hardware apropiado y de software especializado; la obtención de financiación del Gobierno, un donador u otros fondos; el pedido de equipo y software (si fuera nece- sario); y la instalación del mismo para tenerlo operativo puede llevar una cantidad de tiempo considerable. El equipo de evaluación nacio- nal debe asegurar que se aportó el dinero destinado al presupuesto para la compra y el mantenimiento del hardware y para consumibles como el papel y los cartuchos de tinta. Idealmente, el hardware y el software apropiados deben estar disponibles antes de comenzar con las pruebas. Muchas universidades y departamentos gubernamentales tienen acceso a varios paquetes de software y reciben actualizaciones 62 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO periódicamente. Actualmente, entre los paquetes más utilizados se encuentran SPSS (Paquete estadístico para ciencias sociales), que se utiliza ampliamente en el volumen 4, Análisis de los datos de una eva- luación nacional del rendimiento académico; SAS (Software de análisis estadístico); y STATISTICA. El software pertinente y especializado, además del software de análisis de ítems y pruebas, que fue desarro- llado para esta serie y que se introduce en el volumen 4, incluye • Iteman (http://www.assess.com/xcart/product.php?productid=541) • Conquest (https://shop.acer.edu.au/acer-shop/group/CON2/9) • Winsteps (hay una versión, Ministep, gratuita, aunque menos potente, disponible en http://www.winsteps.com/) El analista de datos debe tener acceso a una impresora de buena calidad y alta velocidad, que se necesita para varias fases, pero espe- cialmente para la depuración de datos, el análisis de los ítems y el análisis de datos más general, así como también para la producción de textos, tablas, cuadros y gráficos para los informes de la evaluación. REDACCIÓN DEL INFORME Debido a que el volumen 5, Utilización de los resultados de una evalua- ción nacional del rendimiento académico, abarca la redacción del informe detalladamente, los párrafos a continuación describen algu- nos aspectos logísticos asociados a esta tarea principal. El coordinador nacional y el equipo central deben planificar el informe antes de llevar a cabo análisis importantes ya que la planifica- ción puede ayudar a conducir el análisis. Para ayudar a desarrollar la propiedad y clarificar los análisis, se recomienda diseñar tablas ficticias y comprobar si la evaluación nacional puede proveer los datos para cada celda. Los integrantes del comité director nacional y los respon- sables de las políticas clave pueden brindar información valiosa en esta fase y sugerir los títulos para las tablas. La Tabla 5.1 presenta un ejemplo de una tabla ficticia basada en los datos del cuestionario. Algunas semanas previas a la publicación de los resultados, el coor- dinador nacional debe solicitar a colegas profesionales confiables o a los posibles usuarios clave que cuenten con tiempo disponible para LAS TAREAS SIGUIENTES A LA ADMINISTRACIÓN | 63  TABLA 5.1 Tabla ficticia de las características de los maestros de escuela primaria Máximo nivel de educación Sexo Edad formal alcanzado Nivel Nivel Nivel postsecun- secunda- secundario dario de al Menos 30 y rio básico superior menos 2 años Provincia Femenino Masculino de 30 más finalizado finalizado finalizado A B C D compartir las observaciones de la primera versión de cada informe (por ejemplo, el comunicado de prensa, el resumen del informe, el informe técnico y el informe para docentes). Estos individuos pueden incluir responsables políticos superiores dentro del ministerio de edu- cación, investigadores, formadores de docentes y otros grupos de inte- rés clave. Los docentes en ejercicio deben ser incluidos, especialmente si se va a distribuir boletines informativos basados en los resultados para docentes. El equipo de evaluación nacional debe examinar los comentarios recibidos, revisar lo que sea necesario y completar los informes para su divulgación. El equipo de evaluación nacional tendrá la responsabilidad de ase- gurarse de que cuente con el presupuesto necesario para cubrir los costos de redacción y de confección de las tablas, cuadros y gráficos, así como también de la impresión de las copias de los informes. El equipo tendrá que coordinar la preparación y producción de los infor- mes finales y asegurarse de que las impresoras cuenten con el tiempo suficiente para tener las versiones publicadas de los informes disponi- bles en una fecha predeterminada. El equipo debe editar los manus- critos y posteriormente revisar que los cambios se hayan ejecutado apropiadamente. Lo experimentado hasta el momento indica que en países en vías de desarrollo el proceso de preparación, desde la pri- mera versión hasta la publicación oficial del informe final, puede tomar de tres a seis meses. 64 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO El equipo de evaluación nacional debe planificar una conferencia de prensa para el día previsto de publicación de los resultados e invi- tar a que asistan los grupos de interés clave. Debe también poder contar con un presupuesto suficiente para cubrir los costos relaciona- dos con la conferencia de prensa. En al menos un país, los periodistas esperan que los organizadores de dichos eventos cubran sus gastos. Si un equipo de evaluación nacional desea que el ministro de educación u otros responsables superiores de políticas asistan a la publicación del informe, debe notificarlo debidamente, dado que estos individuos cuentan con agendas ocupadas. PA RT E 2 METODOLOGÍA DE MUESTREO DE ESCUELAS Jean Dumais y J. Heward Gough La segunda parte describe cómo definir la población que va a ser evaluada en la evaluación nacional. Se describen los diferentes méto- ­ dos de muestreo. La mayor parte de esta sección está dedicada a la metodología de selección de una muestra de alumnos representativa de los alumnos en el sistema educativo. Se enfatiza el “aprender al hacer”. Se guía a los lectores a través de los varios pasos del muestreo mediante el trabajo en una serie de tareas concretas que se presentan en el texto y el uso de archivos de datos que se encuentran en el CD complementario. Podrán así controlar sus soluciones al compararlas con las soluciones correctas que se presentan como capturas de pan- talla en el texto. Los archivos se basan en datos de una evaluación nacional de un país ficticio, Sentz. 65 6 CA P Í T U L O DEFINICIÓN DE LA POBLACIÓN DE INTERÉS Este capítulo introduce los términos población objetivo y población encuestada, los primeros componentes básicos en el diseño de una encuesta probabilística. Los capítulos siguientes describen una base de muestreo (Capítulo 7) y un muestreo probabi- ­ lístico (Capítulo 8). La primera tarea principal es determinar y definir la población que será evaluada en relación con las metas de la evaluación. Esta tarea incluye especificar a quiénes (estudiantes, maestros, asistentes, direc- tores o padres) o a cuáles (por ejemplo, todas las escuelas o solamente escuelas públicas) afectará la evaluación. El alcance del estudio ayuda a definir las poblaciones de interés y a determinar si los resultados pueden ser comparados con aquellos de estudios similares. La población objetivo deseada abarca todas las unidades de interés, la población para la cual se busca la información y se necesitan los cálculos. En una evaluación nacional, la población puede componerse del total de los estudiantes inscritos en 5.º grado en todas las escuelas del país o de los estudiantes de 5.º grado inscritos solamente en escue- las públicas. Una población objetivo deseada podría también compo- nerse de todos los maestros contratados en escuelas primarias. Desafortunadamente, en algunas ocasiones, existen razones prácti- cas que privan a la encuesta de algunos elementos de una población 67 68 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO objetivo, en cuyo caso puede que tengan que excluirse. Las razones de las exclusiones se relacionan con el costo, la falta de rutas, el aisla- miento geográfico (islas remotas o regiones montañosas), conflictos sociales, escuelas que poseen muy pocos estudiantes o niños con nece- sidades especiales. Los elementos de la población restante formarán la población objetivo definida, la población que el equipo de evaluación nacional puede abarcar razonablemente. Los estudios internacionales de rendimiento académico publican habitualmente datos referidos a las poblaciones deseadas y definidas para cada país participante. Las exclusiones deberían mantenerse en un mínimo y no se deben usar como un medio de obtención de muestras “convenientes”. Los estudios internacionales han establecido habitualmente el límite máximo de exclusión en el cinco por ciento de la población objetivo deseada; los datos en países que no cumplen con este criterio se noti- fican usualmente con una nota de advertencia. El incumplimiento de estos criterios de exclusión en una evaluación nacional podría recal- carse con un comentario como el siguiente: “Los datos para las escue- las secundarias rurales de la región Y se deben tratar con precaución ya que tres áreas remotas grandes han sido excluidas de la encuesta”. El comité director nacional debe participar de manera clave en las decisiones acerca de la población a evaluar. Podría, por ejemplo, defi- nir la población objetivo deseada como todos los estudiantes inscritos en 6.º grado durante alguna parte de un año escolar específico o de referencia. Sin embargo, puede especificar que la población objetivo definida debe limitarse a los estudiantes inscritos en 6.º grado el 31 de mayo de un año de referencia en escuelas que cuenten con al menos 10 estudiantes en 6.º grado. Desde las perspectivas presupuestaria y logística, evaluar a estudiantes en escuelas más pequeñas sería poco práctico. Asimismo, el comité director debe estar al tanto de que algu- nos estudiantes de 6.º grado pueden haber abandonado la escuela o migrado durante el año escolar, y de que la intención de encontrarlos y evaluarlos no sería práctica. La Figura 6.1 representa una situación relativamente típica en la cual se define la población objetivo deseada (barra izquierda). La población objetivo se ha disminuido al omitir ciertas categorías de escuelas (como las escuelas remotas o muy pequeñas, o aquellas que atienden niños con necesidades especiales) y esto resulta en una DEFINICIÓN DE LA POBLACIÓN DE INTERÉS | 69  FIGURA 6.1 Los porcentajes de estudiantes en poblaciones deseadas, definidas y alcanzadas 100 Porcentaje de estudiantes 75 50 25 0 Población Población Población objetivo objetivo nacional alcanzada deseada nacional definida nacional (encuestada) Escuelas incluidas Unidades excluidas dentro de las escuelas Escuelas excluidas población nueva, la población objetivo definida (barra en el medio). El tamaño de esta población puede reducirse aún más, principalmente al encontrar unidades excluidas (por ejemplo, alumnos con necesida- des especiales) en escuelas participantes el día de la prueba, lo que da como resultado la población alcanzada (columna derecha). El comité director nacional también puede determinar, si así lo deseara, grupos subnacionales de interés que defina, por ejemplo, en términos de región o género. Al tener determinada la población obje- tivo definida y posiblemente los subgrupos de interés, el equipo de evaluación nacional o sus expertos en muestreo deben proceder a elaborar una base de muestreo apropiada. 7 CA P Í T U L O CREACIÓN DE LA BASE DE MUESTREO Este capítulo presenta la herramienta más básica para el muestreo de encuestas: la base de muestreo. El capítulo aborda de qué manera la base y la población pueden ser muy similares o completamente diferentes, así como las propiedades de una “buena” base. Por último, el capítulo presenta la evaluación de demostración llevada a cabo en Sentz. LA BASE DE MUESTREO Idealmente, una base de muestreo es una lista completa, integral y actualizada que (a) incluye los estudiantes de la población objetivo definida y (b) contiene información de ayuda para acceder a los estudiantes. En el caso de una evaluación nacional del rendimiento ­ académico, disponer de una lista de todos los estudiantes inscritos en los grados de interés permitiría al equipo de muestreo escoger una muestra de estudiantes de manera directa. En muchos países, es imposible obtener una lista tan completa y actualizada, incluso cuando la administración central pública (como el ministerio de educación) es quien conduce la evaluación. En tales 71 72 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO países es posible que se tenga que recurrir a fuentes de información alternativas o construir una base completa y actualizada propia. Una alternativa para una lista de estudiantes integral, completa y actualizada es la cobertura parcial actualizada de la población obje- tivo. Es posible conseguir un acceso indirecto a una lista de estudian- tes si se seleccionan primero las escuelas y luego sus estudiantes. En efecto, esto quiere decir que se requieren listas de estudiantes sola- mente para las escuelas seleccionadas para formar parte de la evalua- ción nacional. En muchos países, el ministerio de educación o una autoridad equi- valente será la fuente principal de información para elaborar la base de muestreo. Tal lista probablemente contendrá un identificador nacional de escuela, el nombre y la dirección de la escuela, el nombre del director de la escuela, un número telefónico, los grados abarcados, la cantidad de personal, el número de alumnos matriculados y posi- blemente la fuente de financiamiento y el tipo de educación que se brinda. En la práctica, la base de muestreo por lo general será imperfecta en cierta medida, ya que no cubrirá exactamente la población obje- tivo definida. Algunas entradas de la base pueden no corresponder a unidades de la población objetivo reales. Las entradas de la base de escuelas pueden contener más escuelas de las que existen en la pobla- ción real, una situación que se conoce como sobrecobertura, que ocu- rre, por ejemplo, cuando una escuela cierra o se une a otra entre el período de creación de la base y la recolección de datos. Además, algunos elementos de la población objetivo pueden estar ausentes en la base (cobertura insuficiente), por ejemplo, cuando una escuela no figura en la base o se ha clasificado erróneamente como fuera del ámbito. Los elementos efectivamente incluidos en la base constituyen la población a partir de la cual se selecciona la muestra de la encuesta y comúnmente se los conoce como población encuestada. En la Tabla 7.1 se describen los elementos esenciales de una base de muestreo. Las bases de muestreo pueden cobrar muchas formas. El siguiente ejem- plo se basa en una población objetivo deseada de todos los estudiantes inscritos en las escuelas primarias durante cualquier parte del año escolar de referencia y una población objetivo definida de estudiantes inscritos en las escuelas primarias el 31 de mayo del año de referencia. CREACIÓN DE LA BASE DE MUESTREO | 73  TABLA 7.1 Elementos esenciales de una base de muestreo para una evaluación nacional Elemento Descripción Identificación Cada escuela debe estar claramente identificada (por ejemplo, por nombre o número de escuela). Comunicación El equipo de evaluación nacional debe contar con información que permita contactar a cada escuela. La información adecuada podría incluir direcciones postales, números telefónicos o ambos. Si tal información no estuviera disponible, el contacto deberá hacerse mediante visitas de campo directas, que requieren conocer la ubicación física de la escuela. Clasificación En la base de muestreo se debe incluir la información de clasificación en el caso de que la evaluación nacional requiera la clasificación de las escuelas (como agrupación de escuelas por área geográfica, por grupo lingüístico o cultural, o por administración pública o privada) para fines de muestreo, estimación o de informe. Medida del Es posible que se requiera una medida del tamaño, tal tamaño como la matrícula escolar o la cantidad de salones de clase, si es que la muestra implica probabilidades desiguales. Actualización La base de muestreo debe contener detalles sobre cuándo se obtuvo o se actualizó la información utilizada para construir la muestra. En el caso de que se repita la evaluación nacional, se tendrá en cuenta esta información. En esta instancia, la base de muestreo se basó en la lista del ministerio de educación de todos los estudiantes inscritos en escuelas primarias el 15 de abril del año de referencia. Este método debería ser adecuado siempre que la lista se actualice varias veces al año. Sin embargo, la población encuestada definida mediante esta base podría no cubrir la población objetivo si algunos estudiantes desertan y otros se inscriben después del 15 de abril. Si el ministerio cuenta con una lista deficiente o desactualizada de escuelas, será necesario un método alternativo para construir la base de muestreo. Este método podría requerir un modo más tradicional y trabajoso de recopilar listas de escuelas y lis- tas de estudiantes recorriendo las calles y caminos para enumerar todas las escuelas y a sus estudiantes. Los sistemas de información de 74 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO gestión de la educación modernos, en especial aquellos que tienen conexión informática con el ministerio, facilitarán en gran medida la tarea de desarrollar bases de muestreo actualizadas. Al crear la base de muestreo, se deben asignar números de identifi- cación únicos a las unidades de la base. Es posible que los números de identificación ya existan en los archivos fuente del ministerio o de la autoridad equivalente. Estos números de identificación oficiales se deben mantener en la base para facilitar la comunicación con el minis- terio sobre los datos que proporcionó. Es posible que estos números sean suficientes para las necesidades de la evaluación. Sin embargo, a medida que progresa el trabajo de preparación, se agregarán ítems y estructuras (por ejemplo, información sobre los directores de la escuela, docentes, seguimientos o clases dentro de la escuela, y estu- diantes dentro de las clases). Las unidades de cada nivel deben identi- ficarse adecuadamente a medida que se agregan a las bases. El objetivo principal es crear un conjunto de identificadores que posibiliten la localización y el seguimiento de cada individuo y de cada institución a través de todo el proceso de evaluación. El Recuadro 2.1 en la pri- mera parte presenta ejemplos de los sistemas de identificación numé- rica utilizados en evaluaciones nacionales. ESTUDIO DE CASO SENTZ El CD que acompaña este manual contiene una cantidad de archivos con los datos de muestreo y de la base necesarios para el estudio de caso de Sentz. En el Anexo II.A. puede encontrarse una descrip- ción resumida de los archivos. Siga el estudio de caso (consúltese el ejercicio 7.1) paso a paso para familiarizarse con los pasos necesarios para el diseño y la selección de una muestra de evaluación nacional. Sentz está a punto de poner en marcha un programa multianual de evaluación nacional del rendimiento académico. En Sentz, la educa- ción escolar es obligatoria hasta el nivel 2 (primer ciclo de educación secundaria) de la Clasificación internacional de niveles educativos (CINE) (UNESCO, 1997). El Ministerio desea establecer los niveles de resultados del aprendizaje de los estudiantes en distintas etapas del sistema educativo y comienza en octavo grado. Especificó que la EJERCICIO 7.1 Introducción En su disco duro local o servidor, cree una carpeta llamada NAEA SAMPLING (o algún nombre similar). Cree cinco subcarpetas separadas dentro de NAEA SAMPLING. Estas subcarpetas son: BASE FILES, MYSAMPLSOL (para My Sampling Solutions), SRS400, 2STG4400 y NATASSESS (para una evaluación de muestra nacional que usaremos luego). Copie los archivos para las subcarpetas BASE FILES, SRS400, 2STG4400 y NATASSESS desde la carpeta SPSS VERSION en el CD complementario. Utilizará la carpeta MYSAMPLSOL para archivar su resultado después de completar el ejercicio. La estructura de archivos propuesta puede examinarse en la Figura II.A.1 del Anexo II.A (página 106). Los distintos ejercicios se organizan de modo que pueda trabajar a lo largo del estudio de caso y seguir elaborando sobre el trabajo ya realizado, guardado en MYSAMPLSOL. Sin embargo, siempre puede comenzar por uno de los archivos permanentes (ubicados en SRS400 o 2STG4400 ); así, evitará llevar a cabo análisis de archivos de ejercicio incompletos o inexactos. Para evitar una pérdida de tiempo más adelante, tome los recaudos suficientes en esta etapa para establecer la carpeta NAEA SAMPLING y las subcarpetas. A menos que así se le haya indicado, no utilice la función guardar de manera automática y no sobrescriba los archivos permanentes en las subcarpetas. A partir de este punto, usted debe trabajar desde los archivos ubicados en su disco duro o servidor. Si es necesario, puede abrir los archivos de respuesta ubicados en el CD para verificar su trabajo. A medida que progrese en las distintas tareas o ejercicios, estará accediendo, creando y guardando los archivos equivalentes en su disco local o servidor. Tenga en cuenta que SPSS17a, incluidos los módulos complementarios de muestras complejas, se utilizó para crear este estudio de caso. Las versiones anteriores de SPSS podrían mostrar ligeras diferencias en la presentación o en las opciones de los menús. El módulo opcional de SPSS Muestras Complejas es necesario para llevar a cabo algunos de los ejercicios. Los motivos que subyacen a las decisiones de estratificación, la asignación de la muestra, el esquema de selección de la muestra y una cantidad de otros conceptos clave, así como la terminología relacionada y las abreviaturas, se explican a medida que se presentan. El encargado de la encuesta para Sentz obtuvo del Ministerio de Educación una lista de las 227 escuelas en el país donde se ofrece educación de 8.º grado. La lista está organizada por región, provincia, densidad (urbana o rural  ), localidad y escuela. Cada escuela en la lista tiene un número de identificación único (schoolid  ) compuesto por la provincia (dígito de la izquierda), localidad (segundo dígito) y la escuela dentro de la ciudad (dos dígitos de la derecha). Por ejemplo, la escuela identificada con el número 1413 se ubica en la provincia 1, en la localidad 4. De manera similar, para las clases dentro de las escuelas (en este caso, las clases de 8.º grado en la escuela), se creará un número de identificación para la clase agregando un dígito a la derecha del identificador de la escuela: 14131, 14132, 14133 y así sucesivamente. Se agregan dos dígitos más para identificar a los estudiantes dentro de su clase; por ejemplo, si la clase tiene 43 estudiantes, utilizará 1413101, 1413102, …, 1413143. Para cada escuela, el Ministerio ha proporcionado la cantidad de clases de 8.º grado (nbclass), la cantidad total de niños inscritos en las clases de 8.º grado (medida del tamaño o school_size) y el tamaño de clase promedio (avgclass). (continúa) EJERCICIO  7.1  (continúa) El archivo SCHOOLS.SAV es la base de muestreo provisoria de las escuelas en Sentz. Puede abrirlo en el visor de SPSS siguiendo las instrucciones de SPSS aquí incluidas. Las palabras clave y las instrucciones de SPSS están en minúsculas. Para leer la base de la escuela, desde la barra del menú, elija las siguientes opciones: File – Open – Data – Look in …\BASE FILES\SCHOOLS.SAV Open Verifique que se encuentre resaltada la opción Data View y no Variable View en la parte inferior de su pantalla. Verifique el registro número 6. Debe observar que la escuela 1202 está en la región Noreste, en la provincia 1, localidad 2 y que es la escuela número 2 de esa localidad. Esta escuela tiene tres clases con un total de 153 estudiantes en octavo grado, un tamaño de clase promedio de 51,0 estudiantes (figura del ejercicio 7.1.A). FIGURA DEL EJERCICIO 7.1.A  Datos escolares de Sentz Fuente: ejemplo dentro del software SPSS. SPSS no dejará una sesión abierta sin un conjunto de datos activo. Para poder cerrar el conjunto de datos SCHOOLS sin cerrar SPSS, haga clic en los comandos File – New – Data y se mostrará un conjunto de datos en blanco en la pantalla de visualización. Luego, traiga el conjunto de datos SCHOOLS nuevamente a la pantalla de visualización y haga clic en File – Close para cerrar efectivamente SCHOOLS. a. La versión 17, utilizada aquí, fue publicada originalmente como SPSS. Durante 2009 y 2010, las versiones fueron publicadas con el nombre Programa de análisis predictivo (PASW). CREACIÓN DE LA BASE DE MUESTREO | 77  alfabetización se debía evaluar durante cada evaluación. La primera evaluación nacional también debe evaluar el rendimiento de los estu- diantes en matemáticas y en ciencias. Las evaluaciones siguientes incluirían otras áreas del plan de estudios. Sentz tiene dos áreas geográficas diferentes, el Noreste y el Suroeste, que se encuentran separadas por el Río Grand (consúltese la Figura 7.1). La capital nacional, Ciudad Capital, se encuentra ubicada en la región Suroeste. El Noreste consta de tres provincias (provincias 1, 3 y 5) y 21 localidades, mientras que el Suroeste contiene dos pro- vincias (provincias 2 y 4), con un total de 12 localidades. (El término localidad comprende ciudades, pueblos pequeños o áreas rurales que alojan granjas y aldeas pequeñas). Cada provincia está dividida en una sección urbana y una sección rural, con excepción de la provincia 4 en el Suroeste, que solo cuenta con una sección rural. Cada localidad se clasifica como rural o como urbana. Cada niño en Sentz puede asistir a la escuela local hasta el nivel 2 (segunda etapa de la educación básica: primer ciclo de educación secundaria) de la CINE. Las 227 escuelas que ofrecen instrucción a este nivel comprenden 27.654 estudiantes en 702 clases de octavo grado. El nivel 3 de la CINE (ciclo superior de la educación secundaria) se ofrece en las ciudades capitales regionales; mientras que el nivel 4 de la CINE (educación postsecundaria no terciaria) y el nivel 5 ­ (primera etapa de la educación terciaria) están disponibles solamente en la Ciudad Capital. En este estudio de caso, se demuestran dos diseños de muestra. El primero, un caso base de referencia, es una muestra simple aleatoria de 400 estudiantes de la lista nacional. Se seleccionó este número ya que es el tamaño de muestra objetivo efectivo en la mayoría de las encuestas de evaluación educativa nacionales e internacionales.1 La carpeta SRS400 en el CD contiene los archivos de respuesta para esta muestra. Un diseño de muestreo aleatorio simple (MAS) es general- mente imposible de implementar debido a la falta de una base de lista completa y actualizada de todos los estudiantes elegibles. Además, incluso si tal lista estuviera disponible, el diseño MAS sería muy cos- toso, ya que implicaría seleccionar estudiantes en una gran cantidad de escuelas, lo que supone tan solo uno o dos estudiantes en las 78 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO FIGURA 7.1 Mapa de Sentz Noreste Provincia 5 Provincia 1 Provincia 3 Provincia 2 Ciudad Capital Río Grand Provincia 4 Sudoeste escuelas seleccionadas. La administración de las pruebas y las medidas del control de calidad absorberían gran parte del presupuesto de la evaluación nacional. El ejemplo de MAS se utiliza aquí principal- mente con fines pedagógicos y para permitir la comparación de los resultados de este método con los resultados de un diseño real o recomendado. El segundo diseño, referido como el diseño recomendado, es el diseño estándar de la vida real utilizado en la mayoría de las evalua- ciones nacionales. Los archivos de respuesta relevantes se encuentran en la carpeta 2STG4400, llamada así porque el diseño será una mues- tra en dos etapas con un tamaño esperado de 4400 estudiantes. El diseño incluye estratificaciones geográficas o administrativas, en este caso, las cinco provincias de Sentz. El diseño de la muestra impli- cará una selección inicial de escuelas (1.ª etapa) seguida de una selec- ción de una clase por escuela seleccionada (segunda etapa). Si los investigadores quisieran aislar la influencia de los maestros de la CREACIÓN DE LA BASE DE MUESTREO | 79  escuela sobre el desempeño de los estudiantes, se seleccionaría más de una clase. Si solo estuvieran interesados en la influencia de la escuela, debería seleccionarse la muestra de estudiantes del grado objetivo entero, independientemente de su clase. Por razones de presupuesto y practicidad, Sentz ha decidido encuestar a una clase entera de cada escuela. El tamaño deseado de la muestra de estudiantes se basa en la información disponible sobre el tamaño de la clase, la correlación intraclase, los efectos de diseño previstos y las necesidades analíticas y de presentación de informes de la evaluación. En la primera etapa, las escuelas se asignan en proporción a la cantidad de estudiantes elegi- bles en cada provincia y se seleccionan mediante un muestreo siste- mático de probabilidad proporcional al tamaño (PPT). Luego, se toma una muestra simple aleatoria de una clase entera por escuela. NOTA 1.  En algunas evaluaciones importantes (como el Estudio Internacional de Tendencias en Matemáticas y Ciencias, o prueba TIMSS), las escalas psicométricas están centradas en 500, con una desviación estándar establecida de 100. Entonces, con un tamaño de muestra de 400, el coeficiente de variación de los puntajes estimados es de alrededor del 1 por ciento y los intervalos de confianza para la prevalencia de características desconocidas son de ±5 puntos porcentuales. 8 CA P Í T U L O ELEMENTOS DE LA TEORÍA DEL MUESTREO Este capítulo describe los elementos fundamenta- les de la teoría del muestreo, incluido el muestreo aleatorio y algu- nas de las técnicas más importantes de muestreo aleatorio, como la estratificación de la muestra y el muestreo por grupos y de etapas múltiples. Normalmente, el muestreo probabilístico se utiliza cuando se nece- sita extraer de una muestra estimaciones seguras y válidas relativas a determinadas características de la población, debido a que permite estimar la precisión (varianza del muestreo o error estándar) de las estimaciones. Estas características se pueden expresar como recuentos (por ejemplo, número de niños entre los 10 y los 15 años de edad); como totales (por ejemplo, matrícula total en establecimientos de secundaria de primer ciclo); o como proporciones (por ejemplo, pro- porción de niños que viven en hogares con ingresos anuales por debajo del umbral nacional de pobreza). Cualquiera de estas características se puede estimar a partir de una muestra, siempre que se haya seleccio- nado siguiendo una estrategia de muestreo probabilístico y se hayan desarrollado e implementado procedimientos de campo adecuados. El muestreo probabilístico requiere que todas las unidades de la población de interés—la población para la que se desea realizar estimaciones—tengan una probabilidad distinta de cero de ser ­ 81 82 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO seleccionadas dentro del muestreo. El muestreo probabilístico no requiere que todas las unidades tengan la misma probabilidad de ser seleccionadas, sino simplemente que tengan alguna probabilidad. En una evaluación nacional, las unidades relevantes son los estudiantes, sus profesores, el director y el colegio. MUESTREO ALEATORIO SIMPLE Si todas las unidades tienen la misma probabilidad de ser selecciona- das, la estrategia de muestreo forma parte de un grupo más grande de estrategias de muestreo denominado métodos de muestreo con igualdad de probabilidades. La población de interés puede estar constituida por diez escuelas. Los nombres de las escuelas se escriben en pedazos de papel idénticos y se introducen en una caja. Estos pedazos idénticos se mezclan y se extraen de la caja entre dos y diez pedazos de papel. En teoría, cada escuela tiene dos posibilidades entre diez, o una entre cinco, de ser elegida. El punto de partida de cualquier diseño de un muestreo probabilís- tico es un muestreo aleatorio simple (SRS). El muestreo SRS es un método de selección de un paso y garantiza que todas las muestras posibles con un tamaño n tengan una probabilidad idéntica de ser seleccionadas. En consecuencia, todas las unidades de la muestra tienen la misma probabilidad de inclusión. Esta probabilidad π es igual a n/N, donde N es el número de unidades de la población y n el tamaño de la muestra. En el ejemplo del párrafo anterior, dado que n = 2 y N = 10, entonces π = 1/5. La Figura 8.1 presenta un muestreo aleatorio simple de 7 escuelas seleccionadas de una población de 45 escuelas. El muestreo se puede hacer con o sin sustitución. El muestreo con sustitución permite que una unidad sea seleccionada varias veces; normalmente este método no se utiliza en la práctica. El muestreo sin sustitución implica que una vez seleccionada una unidad (una escuela o un estudiante), no se puede volver a seleccionar. El muestreo SRS con sustitución y el muestreo SRS sin sustitución son práctica- mente idénticos, siempre que el tamaño de la muestra represente una fracción muy pequeña de la población total, dado que entonces la posibilidad de que una unidad aparezca varias veces es pequeña. ELEMENTOS DE LA TEORÍA DEL MUESTREO | 83  FIGURA 8.1 Muestreo SRS sin sustitución de escuelas Nota: N = 45 escuelas; n = 7 escuelas (en gris). Por lo general, el muestreo sin sustitución proporciona resultados más precisos y es más conveniente a nivel operativo. Por varias razones, normalmente el muestreo SRS no es eficaz a nivel económico ni práctico en encuestas nacionales a gran escala. Hoy en día, programas informáticos como Excel y el paquete SPSS (paquete estadístico para ciencias sociales), entre otros, ofrecen herra- mientas para obtener muestras. Estas herramientas pueden tener un alcance bastante limitado, como en el caso de Excel, o más amplio, como en el caso del paquete SPSS. En el ejercicio 8.2 se utiliza, de modo ilustrativo, un muestreo SRS como herramienta de aprendizaje para obtener una muestra de 400 estudiantes a partir de una lista hipotética de estudiantes. MUESTREO ALEATORIO SISTEMÁTICO En el muestreo aleatorio sistemático (SYS), las unidades se seleccionan del marco muestral a intervalos regulares. Es necesario un intervalo de 84 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO muestreo y un inicio aleatorio. Cuando el tamaño de la población, N, es un múltiplo del tamaño de la muestra, n, se selecciona una unidad cada k unidades, siendo el intervalo k igual a N/n. Hay disponibles ajustes sencillos para este método en caso de que N no sea un múlti- plo exacto de n. El inicio aleatorio, r, es un único número aleatorio entre 1 y k. Las unidades seleccionadas serán entonces: r, r + k, r + 2k... r + (n − 1) k. Al igual que en el caso del muestreo SRS, las unida- des tienen una probabilidad de inclusión igual a 1/k, pero a diferencia del muestreo SRS, no todas las combinaciones de n unidades tienen la misma probabilidad de ser seleccionadas. En un muestreo SYS solo se pueden seleccionar muestras en las que la separación entre las unida- des es igual a k. Así, cuando se utiliza este método solo es posible extraer de la población un número de muestras igual a k. Para ilustrar el muestreo SYS, supongamos que un investigador en una provincia con una población de N = 36 escuelas debe seleccionar una muestra con un tamaño n = 12 escuelas. El intervalo de muestreo sería k = N/n = 36/12 = 3. A continuación, el investigador selecciona un número aleatorio comprendido entre 1 y 3, el valor de k. Supongamos que es 1. Las escuelas seleccionadas para la muestra ten- drán los números 1, 4, 7,... 31 y 34. Para una población con un tamaño de 36 solo existen tres posibles muestras SYS de tamaño 12, mientras que existen más de 1200 millones de muestras aleatorias simples del mismo tamaño. El muestreo SYS se puede utilizar cuando no se disponga con ante- lación de una lista de las unidades de la población. En este caso, se puede construir un marco conceptual tomando muestras cada k uni- dades hasta alcanzar el final de la población. Por ejemplo, si se selec- ciona una clase de aproximadamente 50 estudiantes pero no se dispone de una lista de la clase, y se necesita una muestra con un estudiante de cada tres, entonces se le puede proporcionar al exami- nador un número de inicio aleatorio entre el 1 y el 3. Supongamos que el número es 2. Cuando el examinador llega a la clase seleccio- nada, selecciona al segundo estudiante empezando por una esquina predeterminada de la sala (por ejemplo, el extremo izquierdo de la primera fila), después selecciona al quinto, y así sucesivamente. Si en realidad resulta que la clase tiene 46 estudiantes, la muestra estará formada por los estudiantes 2, 5, 8,... y 44 (no hay estudiantes con los ELEMENTOS DE LA TEORÍA DEL MUESTREO | 85  número 47 o 50). Si la clase tiene 54 estudiantes, la muestra se ampliará para incluir a los estudiantes 47, 50 y 53. Esta técnica suele utilizarse cuando el examinador o el entrevistador solo pueden des- plazarse una vez. Se debe tener en cuenta que la parte “aleatoria” del muestreo se lleva a cabo antes de visitar las escuelas. La Figura 8.2 muestra un muestreo aleatorio sistemático de 7 escuelas selecciona- das de una población de 45 escuelas. MUESTREO POR GRUPOS El muestreo por grupos es el proceso de selección aleatoria de grupos completos de unidades de la población del marco muestral de la encuesta. Por lo general, se trata de una estrategia de muestreo menos eficiente estadísticamente que el muestreo SRS porque tiene una varianza de muestreo mayor para una muestra de un tamaño determi- nado. Sin embargo, el muestreo por grupos ofrece varias ventajas. FIGURA 8.2 Muestreo aleatorio sistemático de escuelas Nota: N = 45 escuelas; n = 7 escuelas (en gris); paso = 6; inicio = 4. 86 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO En primer lugar, los grupos pueden reducir considerablemente el costo de la recolección de datos, especialmente si la población escolar está muy dispersa por un país grande. Por ejemplo, una evaluación nacional que implique una muestra de 1000 estudiantes del grado 3.º con 25 estudiantes de cada una de las 40 escuelas seleccionadas será mucho más barato que un muestreo de 1000 estudiantes del grado 3.º repartidos por el país de forma aleatoria. En segundo lugar, el mues- treo de unidades individuales de una población no siempre es prác- tico. En ocasiones, es mucho más fácil el muestreo de grupos a partir de grupos o unidades de población (por ejemplo, clases enteras), o bien, puede ser necesario por motivos administrativos. Por último, el muestreo por grupos permite elaborar estimaciones (por ejemplo, rendimiento promedio por clase o por escuela). En la Figura 8.3 se proporciona un ejemplo de un muestreo de tres grupos de escuelas con un total de 19 escuelas obtenidas de una población de 45 escuelas divididas en siete grupos. FIGURA 8.3 Muestreo por grupos de escuelas Nota: N = 7 grupos (45 escuelas); n = 3 grupos (19 escuelas = unidad). ELEMENTOS DE LA TEORÍA DEL MUESTREO | 87  El muestreo por grupos es un proceso de dos pasos. En primer lugar, se divide la población en grupos (es posible que ya existan grupos naturales como escuelas y clases). En segundo lugar, se selec- ciona una muestra de grupos y se incluyen todas las unidades de los grupos seleccionados en la encuesta (por ejemplo, se administran pruebas a todos). El marco muestral de la encuesta puede especifi- car el método de muestreo. Si las unidades de la población están agrupadas de forma natural, con frecuencia es más fácil crear un marco muestral de estos grupos y realizar el muestreo a partir de ellos, en lugar de intentar crear una lista de todas las unidades indi- viduales de la población. Por ejemplo, es posible que los únicos datos disponibles para un equipo de evaluación nacional sea una lista de las escuelas. En la Figura 8.3, las siete áreas rectangulares están separadas por líneas continuas que representan las áreas escolares. Se han seleccio- nado tres de las áreas escolares mediante el método de muestreo alea- torio y todos los estudiantes de las áreas seleccionadas (marcado en gris) realizarán las pruebas. Este método de muestreo solo requiere visitar tres áreas geográficas compactas pero permite obtener mues- tras de 19 escuelas. Por el contrario, el muestreo SRS habría requerido visitar siete escuelas muy dispersas, al igual que el muestreo SYS (véanse las figuras 8.1 y 8.2). Hay una serie de consideraciones a tener en cuenta cuando se lleva a cabo un muestreo por grupos. Para que las estimaciones sean ­ estadísticamente eficientes, las unidades de un grupo deben ser tan diferentes como sea posible. Si las unidades de un grupo son muy similares, la información obtenida de ellas tenderá a ser similar. Desafortunadamente, con frecuencia las unidades de un grupo ­ tienden a tener características similares y son más homogéneas que las unidades seleccionadas aleatoriamente de una población general. Como resultado, normalmente se necesita una muestra más grande que en el caso del muestreo SRS para alcanzar un nivel fijo de precisión. Algunas escuelas o sistemas educativos organizan las clases teniendo en cuenta factores como la competencia observada de los estudiantes en áreas temáticas del plan de estudios. En tales s ­ ituaciones, es posi- ble, por ejemplo, que una escuela tenga un número de estudiantes 88 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO suficiente para formar tres clases en un nivel en particular. Una clase puede estar formada por estudiantes que probablemente (basándose en resultados de años anteriores o en los intereses que han manifes- tado) continúen sus estudios en matemáticas o ciencias, otra puede estar formada por estudiantes con aptitud o preferencia por las huma- nidades, y una tercera puede estar formada por estudiantes que no se espera que continúen por mucho tiempo en la escuela. En esta situa- ción, sería de esperar que la mayoría de los estudiantes de la primera clase obtuvieran buenos resultados en las pruebas de matemáticas, el segundo grupo quizá peores resultados en matemáticas pero buenos en idiomas, mientras que, probablemente, los resultados del tercer grupo serían relativamente mediocres en ambas áreas. En tales cir- cunstancias, el muestreo por grupos sería bastante ineficiente estadís- ticamente: la selección de una única clase completa indicaría que los estudiantes tienen buenos conocimientos en matemáticas y medio- cres en idiomas, o bien lo contrario, o bien conocimientos mediocres en ambas áreas. Una situación así sugiere que, desde el punto de vista de la eficiencia de muestreo, sería mejor seleccionar algunos estudian- tes de cada una de las tres clases para aumentar la probabilidad de obtener una imagen equilibrada de los niveles de rendimiento estu- diantil en la escuela. No obstante, con frecuencia existen razones prácticas—relacionadas con los objetivos de la investigación, las limi- taciones administrativas o el costo de las pruebas—para seleccionar clases íntegras. Entre las razones para seleccionar clases íntegras se cuentan el interés del director o el administrador de la escuela por minimizar las perturbaciones durante las pruebas o el interés de un investigador por aplicar un modelo analítico específico o cuantificar la influencia relativa de la escuela, el profesor o la clase sobre el rendi- miento individual. La eficiencia estadística de un muestreo por grupos depende de la uniformidad de los grupos, el número de unidades de población en cada grupo y el número de grupos que se muestrean. Una medida estándar de esta eficiencia (en realidad, de la ineficiencia) se deno- mina efecto de agrupamiento o efecto de diseño. Un valor de 1 significa que el diseño en cuestión es tan eficiente como el muestreo SRS. Si el efecto de diseño es muy superior a 1, como ocurre normalmente en el muestreo por grupos, el diseño es menos eficiente. Un muestreo por ELEMENTOS DE LA TEORÍA DEL MUESTREO | 89  grupos con un efecto de diseño de 5 debería tener un tamaño cinco veces mayor al de un muestreo aleatorio simple para proporcionar estimaciones de precisión comparable. El valor del efecto de diseño depende de dos factores: (a) el número de unidades del grupo (número de estudiantes de la clase, en este caso) y (b) el grado de similitud entre los estudiantes de una misma clase, en comparación con su similitud con los de otras clases o escue- las, basado en determinadas variables a medir. Esta última magnitud se denomina correlación intraclase, conocida comúnmente como tasa de homogeneidad (roh o rho). En el caso de los resultados en las prue- bas de matemáticas, considerados por este ejercicio como la variable de evaluación más importante de la evaluación nacional de Sentz, esta correlación intraclase alcanza frecuentemente valores tan altos como 0,25 o incluso 0,30. Probablemente, el valor de roh sería distinto para otras variables. Los muestreos de las evaluaciones nacionales y el personal estadís- tico deben utilizar la siguiente fórmula para calcular el efecto de diseño (deff  ) (Kish, 1965; Lohr, 1999): deff = (1 + roh × (M − 1)), donde M es el tamaño del grupo (clase) y roh es la tasa de homogenei- dad o correlación intraclase. Para un valor de roh = 0,25 y un tamaño de la clase M = 35, deff = (1 + 0,25 × (35 − 1)) = 1 + 8,5 = 9,5. Es posible obtener estimaciones de roh de evaluaciones nacionales anteriores o de grados cercanos similares. Si no se dispone de estos datos, se pueden obtener estimaciones a partir de los resultados de exámenes públicos o “tomando prestados” datos de evaluaciones nacionales de países vecinos con características educativas similares. Si las unidades de países vecinos son similares, es más eficiente esta- dísticamente seleccionar muchos grupos pequeños que seleccionar unos pocos grupos grandes. En el caso de Sentz, el diseño recomendado es seleccionar un número determinado de escuelas y después utilizar una clase entera como un grupo en cada escuela seleccionada. Aunque este enfoque se utiliza en gran medida por razones administrativas, se paga un precio considerable en términos de eficiencia estadística 90 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO debido a que, probablemente, las correlaciones intraclase y el mayor tamaño de las clases den lugar a efectos de diseño bastante importantes. ESTRATIFICACIÓN El muestreo SRS y el muestreo SYS de elementos y de grupos son métodos básicos y sencillos para obtener muestras aleatorias, pero pueden no ser los métodos más eficientes. Con frecuencia, una buena estrategia aprovecha la información disponible en las unidades de interés para crear grupos de unidades homogéneos—denominados estratos—y a continuación aplica algún método de muestreo básico dentro de los estratos. Antes de seleccionar las muestras, es posible que el equipo de evalua- ción nacional desee organizar el muestreo de forma que garantice la inclusión de determinados grupos o unidades de áreas específicas del país. Es posible, por ejemplo, que los responsables políticos deseen obtener estimaciones de los resultados del aprendizaje por provincias o regiones, o que deseen poder examinar los datos de grupos lingüísticos distintos o de escuelas grandes y pequeñas. El equipo puede depositar su confianza en que las elecciones aleatorias produzcan un número sufi- ciente de unidades en cada provincia o región para permitir estimacio- nes fiables. Alternativamente, podría organizar su estrategia de muestreo elaborando en primer lugar una lista de las poblaciones de las escuelas en grupos (por ejemplo, provincias o grupos lingüísticos) y seleccio- nando después parte de la muestra total de cada uno de estos grupos. Esta estrategia, denominada estratificación, se puede utilizar con cual- quier método de muestreo probabilístico. La estratificación requiere un poco más de trabajo al comienzo de la evaluación nacional, pero las recompensas suelen superan con creces el trabajo extra necesario. En las evaluaciones nacionales, las escuelas se han estratificado por localiza- ción, idioma, religión, fuente de financiación y grado de urbanización. La experiencia demuestra que la estratificación conforme a dema- siados criterios resulta contraproducente; de hecho, los requisitos impuestos por una estratificación precisa con frecuencia aumentan el tamaño de la muestra. Por otra parte, el número de unidades que ELEMENTOS DE LA TEORÍA DEL MUESTREO | 91  terminan en el estrato “equivocado” puede aumentar con el número de estratos, especialmente para aquellas que se basan en información más volátil o menos segura, como el número de miembros del perso- nal escolar o los estudiantes matriculados. Dependiendo de la situación, algunas evaluaciones nacionales uti- lizan una, dos o más variables de estratificación. La estratificación puede mejorar tanto la eficiencia general como la estadística, redu- ciendo el tamaño (y el costo) del muestreo mientras se mantiene el nivel de fiabilidad. Este curso de acción requiere la participación de un estadístico especializado en encuestas y acostumbrado a enfren- tarse con este tipo de problemas. La Figura 8.4 ilustra una muestra aleatoria estratificada de 45 escuelas utilizando una variable de estra- tificación de tres niveles. Una población se puede estratificar según cualquier variable para la que se disponga de datos para todas las unidades del marco muestral antes de la evaluación. Esta información podría ser tan simple como la dirección de la escuela, lo que permitiría la estratificación según la FIGURA 8.4 Muestra aleatoria sistemática de escuelas Nota: H = 3 estratos; N1 = 32; N2 = 5; N3 = 8; n1 = 2; n2 = 4; n3 = 2. 92 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO ubicación geográfica. Entre las variables de estratificación de uso habi- tual en encuestas de evaluación se incluyen la ubicación geográfica (por ejemplo, región, provincia o ciudad); la financiación pública o privada; el tipo de programa educativo (primaria frente a secundaria, académica frente a profesional); y el sexo de los alumnos (niñas, niños, mixto). Existen tres razones principales que justifican la estratificación. En primer lugar, hace que la estrategia de muestreo sea más eficiente estadísticamente que el muestreo SRS o el muestreo SYS. En segundo lugar, ayuda a garantizar que los tamaños de las muestras sean ade- cuados para dominios de interés específicos para su posterior análisis. En tercer lugar, protege contra la obtención de muestras “malas”. En las siguientes secciones se abordan con mayor detalle cada una de estas razones. Mejora de la eficiencia estadística Para un estimador y un tamaño de la muestra determinados, la estra- tificación puede proporcionar un error de muestreo menor o, a la inversa, un tamaño de muestra menor para un error de muestreo determinado. Aunque tanto el muestreo por grupos como la estratifi- cación son métodos de agrupación de las unidades de una población, en el muestreo estratificado las muestras de unidades se obtienen de cada uno de los estratos, mientras que en el muestreo por grupos se obtienen muestras de grupos y se evalúa a todos los miembros del grupo. Generalmente, la estratificación aumenta la precisión de la estimación en comparación con el muestreo SRS, mientras que el agrupamiento la reduce (debido a que las unidades vecinas son por lo general similares). Para mejorar la eficiencia estadística de una estrategia de muestreo en comparación con el muestreo SRS, debe existir una homogeneidad muy elevada dentro de un estrato (es decir, las unidades dentro de un estrato deben ser similares en lo que respecta a la variable de interés), y los estratos deben ser tan diferentes como sea posible unos de otros (con respecto a la misma variable de interés). En general, este objetivo se logra si las variables de estratificación están correlacionadas con la ELEMENTOS DE LA TEORÍA DEL MUESTREO | 93  variable de interés del estudio (por ejemplo, el rendimiento en lec- toescritura y la localización rural frente a la urbana). El ejemplo de las tres clases (matemáticas, humanidades y estu- diantes que pueden abandonar prematuramente) proporcionado para el muestreo por grupos se puede ampliar a modo de ilustración. Supongamos que las listas provinciales de clases se organizaran en tres estratos correspondientes a los tres tipos de clases. Por lo general, la selección aleatoria de clases del primer estrato proporcionaría mues- tras del rendimiento de los estudiantes buenos en matemáticas, inde- pendientemente de las clases seleccionadas. Del mismo modo, el segundo estrato se traduciría en una selección de estudiantes que, por lo general, tendrían un nivel relativamente mediocre en matemáticas. Con el muestreo aleatorio estratificado, la muestra de cada uno de los tres estratos debe proporcionar un resultado muy representativo de los estratos en su conjunto y, cuando se combinan los resultados, debe dar una estimación precisa de la provincia en su conjunto. La estratificación puede aumentar la precisión de las estimaciones en comparación con el muestreo SRS. Según Cochran (1977, 90): Si cada uno de los estratos es homogéneo, con variaciones pequeñas de las mediciones entre una unidad y otra, se puede obtener una estimación precisa del promedio de cualquier estrato a partir de una muestra pequeña de ese estrato. Estas estimaciones se pueden combinar para obtener una estimación precisa para toda la población. La estratificación es particularmente importante en el caso de las poblaciones asimétricas (es decir, cuando la distribución de valores de una variable de interés no es simétrica, sino que se inclina hacia la derecha o la izquierda). Por ejemplo, la base de muestreo de la pri- mera etapa podría ser simplemente una lista de escuelas con cifras de estudiantes aproximadas pero no actuales. En ese caso, la estimación más precisa de la matrícula total podría ser en sí misma un objetivo de la encuesta de evaluación. Si se utiliza el muestreo SRS, algunas escuelas pueden ejercer una gran influencia sobre las estimaciones de la matrícula total. Si las escuelas más grandes resultan ser selecciona- das, pueden causar una importante sobrestimación del total. La estratificación por tamaño (un estrato para las escuelas más grandes, ­ 94 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO un estrato para las escuelas de tamaño medio y un estrato para las escuelas pequeñas) puede ayudar a garantizar que las escuelas selec- cionadas en cada estrato representen a otras escuelas de aproximada- mente el mismo tamaño en cuanto a la población. La estratificación de las escuelas por tamaño parece razonable si se desea estimar el tamaño de la población matriculada. La estratificación por tamaño de la escuela, sin embargo, puede no ser recomendable si la variable de interés es, por ejemplo, la edad promedio de los profeso- res de matemáticas, ya que no existe ninguna razón para asumir una correlación entre la edad de los profesores y el tamaño de la escuela. Con frecuencia, las variables de estratificación se eligen basándose en la correlación esperada con las variables clave que se están evaluando (como lenguaje o matemáticas) en la evaluación nacional. Se debe tener en cuenta que un enfoque de estratificación estadísticamente eficiente para una variable de la encuesta puede no funcionar bien para ­ otras variables. Garantía de cobertura del dominio de interés Mediante una evaluación nacional, los responsables políticos pueden buscar estimaciones del rendimiento de subgrupos de la población, llamados dominios, así como de la población total. Es posible, por ejemplo, que deseen comparar los niveles de rendimiento de los estu- diantes en diferentes provincias o regiones, o de niñas y niños, o de estudiantes que asisten a diferentes tipos de escuelas (públicas o pri- vadas). La creación de estimaciones para subgrupos se llama estima- ción por sectores. Si se requieren estimaciones por sectores, el diseño de la muestra debe garantizar que el tamaño de la muestra sea adecuado para cada dominio. Lo ideal es que los estratos se correspondan con los dominios de interés. Cómo evitar muestras “malas” La estratificación ayuda a prevenir la obtención de muestras inusuales o “malas”. En el muestreo SRS, las muestras se seleccionan de manera totalmente aleatoria. El muestreo estratificado intenta limitar las muestras potencialmente extremas mediante la adopción de medidas ELEMENTOS DE LA TEORÍA DEL MUESTREO | 95  para garantizar la inclusión de determinadas categorías de la pobla- ción estudiantil en la muestra. Por ejemplo, si una evaluación nacional se centró en los efectos del tamaño de la escuela sobre los logros de aprendizaje, el diseño de la muestra podría incluir la estratificación por tamaño de la escuela. El equipo de evaluación nacional en Sentz consideró varias opcio- nes de estratificación. Se consideró inadecuado limitar el marco mues- tral a dos regiones, Noreste y Suroeste, debido a que no proporcionaría datos suficientemente informativos para los responsables políticos. En su lugar, el equipo optó por estratificar por provincia (tres en el Noreste y dos en el Suroeste). El cálculo de estimaciones regionales sería un simple proceso sumatorio una vez que las estimaciones a nivel provincial estuvieran disponibles. Por otra parte, si los archivos de cada estrato provincial se ordenan por densidad de población (es decir, urbana o rural) antes de seleccio- nar las escuelas, un muestreo sistemático (ya sea con la misma proba- bilidad o con una probabilidad proporcional al tamaño de la ciudad) garantizará la selección de algunas escuelas urbanas y algunas rurales, lo que permitirá obtener estimaciones por sectores razonablemente eficientes si se considera importante el análisis comparativo de las zonas rurales y urbanas. El equipo de evaluación nacional consideró que era innecesario utilizar las localidades directamente como estra- tos (se habrían obtenido 33 estratos, algunos de los cuales con solo dos escuelas elegibles). ASIGNACIÓN DE LA MUESTRA A DIFERENTES ESTRATOS Una vez que la población se ha dividido en estratos, el equipo nacio- nal de evaluación, con la orientación de su asesor de muestreo, debe determinar cuántas unidades de muestra se deben tomar de cada estrato. Este paso se conoce como asignación de la muestra. Por lo general, la probabilidad de inclusión (es decir, la probabilidad de que una unidad sea elegida en una muestra) varía de estrato a estrato debido a que depende de cómo se asigne la muestra a cada estrato. Para calcular las probabilidades de inclusión para la mayoría de los diseños de muestra, se debe considerar el tamaño de la muestra y 96 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO el tamaño de la población en cada estrato. Para ilustrarlo, considérese una población de N = 1000 escuelas estratificadas en dos grupos: rura- les y urbanas. El grupo o estrato urbano tiene N1 = 250 escuelas y el estrato rural tiene N2 = 750 escuelas. Si se utiliza el muestreo SRS para seleccionar n1= 50 escuelas del primer estrato y n2 = 50 escuelas del segundo, entonces la probabilidad de que una escuela del primer estrato sea seleccionada es π1 = 50/250 = 1/5, y la probabilidad de que una escuela del segundo estrato sea seleccionada es π2 = 50/750 = 1/15. Por tanto, las escuelas tienen diferentes probabilidades de inclu- sión en función de su ubicación o estrato. En este caso, es más proba- ble que se seleccione una escuela rural que una escuela urbana. La asignación de las muestras de la evaluación nacional a los estra- tos puede ser una tarea difícil. Cuando se cuenta con un presupuesto fijo y un conocimiento limitado (o nulo) de las características de las unidades de interés, la mayor parte de la teoría de estratificación y asignación óptima de la muestra es de aplicación limitada. Con frecuencia, es necesario tener en cuenta consideraciones prácticas y ­ buscar el asesoramiento de expertos para elaborar una estrategia ­ viable de asignación de la muestra. Dos estrategias habituales de asignación de muestras son (a) la asig- nación uniforme y (b) la asignación proporcional. Con la asignación uniforme, se asigna el mismo número de unidades de la muestra a cada estrato; se recomienda este método para estratos muy equilibra- dos. Con la asignación proporcional, cada estrato recibe una parte de la muestra correspondiente a la proporción de su población; este método es la opción preferida cuando las estimaciones nacionales son del mayor interés. Es posible que la asignación uniforme no sea tan buena como la asignación proporcional para estimaciones nacionales, pero puede ser preferible si se necesitan estimación por sectores y existe una correspondencia entre estratos y dominios. La asignación uniforme también contribuye a garantizar que la muestra incluya suficientes unidades de cada dominio o estrato. Si se utiliza la asignación proporcional, la muestra de escuelas se debe asignar de manera que el número de estudiantes en la muestra de cada estrato sea proporcional al número de estudiantes en la población de cada estrato. Algunas escuelas pueden tener una medida del tamaño (MOS, por sus siglas en inglés) igual a cero para la ELEMENTOS DE LA TEORÍA DEL MUESTREO | 97  población objetivo. Estas escuelas deben mantenerse en el marco muestral si tienen alguna posibilidad de incorporar estudiantes elegi- bles durante el periodo de prueba; se les debe otorgar un valor de MOS preliminar y se deben incluir en los totales relevantes. Si no existe prácticamente ninguna posibilidad de que estas escuelas incor- poren estudiantes elegibles a tiempo para la evaluación, se deben eliminar de la base de muestreo. En general, si se requieren estimaciones separadas para los estratos se necesitan normalmente niveles iguales de precisión de muestreo para cada estrato. Habitualmente, para conseguir esta precisión es necesario que la muestra incluya un número igual de escuelas de cada estrato, sin importar el tamaño del estrato. Dado que cada estrato debe tener un mínimo de dos escuelas participantes para per- mitir la estimación del error de muestreo (véase el Anexo IV.C), el número asignado para la selección se debe ajustar para la falta de respuestas prevista. Los miembros del equipo de evaluación nacional encargado del muestreo son responsables de garantizar que la muestra de escuelas se asigne correctamente. Para ello, deben consultar a un especialista en muestreos. Con frecuencia los especialistas trabajan en ministerios distintos al de educación (por ejemplo, la oficina nacional de estadís- tica o el ministerio responsable de las encuestas nacionales a hogares). Un especialista en muestreos puede proporcionar asistencia en cues- tiones tales como el número de escuelas a incluir por cada estrato y qué hacer cuando un estrato tiene muy pocas escuelas. El ejercicio 8.1 también trata la asignación a estratos. Otras estrategias de muestreo que requieren información mucho más detallada sobre las unidades individuales están fuera del alcance de este capítulo. MUESTREO CON PROBABILIDAD PROPORCIONAL AL TAMAÑO El muestreo de probabilidad desigual tiene lugar cuando la probabili- dad de selección es distinta entre una unidad y la siguiente. Por ejem- plo, las ciudades más grandes o las escuelas más grandes pueden proporcionar información más diversificada, ya que tienen más 98 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO EJERCICIO 8.1 Cálculo del tamaño de la muestra y asignación a los estratos Según la información más reciente disponible en el Ministerio de Educación de Sentz, se prevé que el tamaño promedio de las clases sea aproximadamente de 37 estudiantes. Las sugerencias de colegas de países vecinos con características educativas similares indican que la correlación intraclase para la puntuación de matemáticas, la variable objetivo clave seleccionada, se sitúe probablemente entre 0,25 y 0,30. Esta tasa de homogeneidad equivale a un efecto de diseño aproximadamente entre 10 y 12. Para calcular el tamaño de la muestra, el equipo de muestreo optó por el punto medio de esta escala, 11. Por lo tanto, para obtener un tamaño de muestra efectivo equivalente a 400 con el muestreo SRS, se necesita una muestra de 4400 estudiantes para el diseño propuesto. Debido a que el plan comprende la selección de una sola clase por escuela seleccionada, el equipo debe seleccionar 4400/37 = 118,9 escuelas. Por motivos prácticos, esta cifra se puede redondear hasta 120 escuelas. El Ministerio de Educación asesoró al equipo de evaluación nacional para optimizar la precisión de las estimaciones nacionales. Por tanto, el equipo utilizó una asignación de la muestra proporcional al tamaño de los estratos (en este caso, las cinco provincias), donde la MOS es la medida de tamaño relevante. Con este enfoque de asignación, el porcentaje de estudiantes en cada estrato de la muestra debe ser aproximadamente igual al porcentaje de estudiantes en la población de cada estrato.a Completando los siguientes pasos del paquete SPSS, usted será capaz de: • Examinar información a nivel provincial. • Calcular los totales provinciales. • Calcular un total nacional. • Calcule la asignación proporcional de una muestra con un tamaño n = 120 escuelas a los estratos (provincias). • Conserve esta información para utilizarla más adelante. En primer lugar, abra el archivo PROVINCES usando los siguientes comandos: File – Open – Data – Look inb …\BASE FILES\PROVINCES.SAV Open Verá un valor total de MOS (PROV_SIZE) para las zonas rurales y urbanas de cada provincia. El total nacional también será necesario; por lo tanto, se debe crear una variable ficticia COUNTRY y asignarla el valor1 de la siguiente manera: Seleccione Transform – Compute Variable. Escriba COUNTRY en Target Variable. Escriba 1 en ELEMENTOS DE LA TEORÍA DEL MUESTREO | 99  EJERCICIO 8.1  (continúa) Numeric expression, y haga clic en OK. Seleccione Data – Aggregate. A continuación, mueva COUNTRY PROVINCE a Break variables. Después, mueva PROV_SIZE a Summaries of variables. Haga clic en Function y seleccione Sum. Haga clic en Continue. Haga clic en Name & Label. Escriba PROV_TOT como nombre y haga clic en Continue. Haga clic en Create a new dataset… y escriba un nombre, PROVTOT. Haga clic en OK. Ahora, debería ver los datos de PROV_TOT para cada una de las cinco provincias; compruebe las ventanas de salida porque los resultados pueden aparecer en una ventana diferente, Untitled [PROVTOT]. El dato de PROV_TOT para la provincia 2 es 4448. Lleve el conjunto de datos PROVTOT que acaba de crear a la pantalla de visualización y seleccione Data – Aggregate. A continuación, mueva COUNTRY a Break variables. Después, mueva PROV_TOT a Summaries of variables. Haga clic en Function y seleccione Sum. Haga clic en Continue. Ahora, haga clic en Name & Label. Escriba COUNTRY_TOT como nombre y haga clic en Continue. Haga clic en Add aggregated…. Por último, haga clic en OK. Debería ver un total nacional de 27 654 en la pantalla Data View. Ahora el conjunto de datos PROVTOT contiene tanto el total nacional como los totales provinciales. A continuación se puede calcular la asignación provincial de 120 escuelas y los resultados se pueden almacenar para su uso posterior. En este ejercicio se utiliza la función RND para obtener valores enteros. Seleccione Transform – Compute Variable. A continuación, escriba ALLOC en Target Variable. Escriba RND(120*PROV_TOT/COUNTRY_TOT) en Numeric expression. Haga clic en OK. Ahora, el archivo que contiene el ejemplo de asignación tiene el aspecto que se muestra en la figura del ejercicio 8.1.A. Guarde este archivo en el directorio MYSAMPLSOL de la siguiente manera: Seleccione File – Save as – Look in …\MYSAMPLSOL\ Escriba SCHOOLALLOC como nombre del archivo. Haga clic en Save. Después, haga clic en File – Close. También puede cerrar el conjunto de datos PROVINCES sin guardar los cambios realizados. (continúa) 100 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO EJERCICIO 8.1  (continúa) FIGURA DEL EJERCICIO 8.1.A  Asignación de la muestra para Sentz Fuente: ejemplo en el programa informático SPSS. a. Si el ministerio o el comité director habían especificado que se diera prioridad a determinadas estimaciones subnacionales (como las regiones), podría ser más eficiente aplicar alguna forma de asignación no proporcional, a costa de reducir ligeramente la precisión de las estimaciones nacionales. Esta situación se debe discutir con un estadístico experimentado, ya que también puede afectar a las decisiones sobre la estratificación. b. Se ha utilizado el programa SPSS17 para preparar todos los programas y ejemplos. La versión SPSS18 incluye algunos cambios de poca importancia; es posible que hayan cambiando los detalles de algunas funciones o elementos de menús (por ejemplo, ya no es necesario seleccionar “next” para cerrar algunos submenús). Dependiendo de las opciones seleccionadas durante la instalación, SPSS18 puede confeccionar automáticamente un registro muy útil de todos los procedimientos y scripts ejecutados. estudiantes que las ciudades más pequeñas o las escuelas; por lo tanto, el asesor de muestreo de la evaluación nacional puede dar prioridad a las unidades más grandes sobre las más pequeñas mediante una mayor probabilidad de selección. En algunos casos, las localidades o las escuelas pequeñas proporcionan muy poca información adicional, y la recopilación de datos puede ser tan costosa como en el caso de las unidades más grandes. En aras de la economía, el equipo de muestreo puede tener la tentación de limitar el muestreo a las unidades más grandes, tal vez incluso a los 5 o 10 pueblos o escuelas más grandes. Si esto sucede, las unidades más pequeñas no tendrán ninguna posibili- dad en la práctica de ser seleccionadas. La muestra no será una mues- tra probabilística de la población definida ni de la base de muestreo disponible debido a que se han excluido numerosas escuelas. ELEMENTOS DE LA TEORÍA DEL MUESTREO | 101  Un enfoque alternativo sería la adopción de un plan de muestreo de probabilidad desigual que proporcionaría una probabilidad mayor a las unidades más grandes y una probabilidad menor a las unidades más pequeñas. Según este plan, todas las unidades tendrían alguna posibilidad de ser seleccionadas, pero las unidades más grandes y más informativas recibirían un trato preferencial. Suponiendo, por ejem- plo, una población de 12 escuelas, 4 de ellas con 100 alumnos y 8 con 50 alumnos, se podría obtener una muestra de estudiantes seleccio- nando las escuelas grandes con una probabilidad de 1/4 (o 100/400) y las escuelas más pequeñas con una probabilidad de 1/8 (o 50/400). Las escuelas más grandes tendrían el doble de posibilidades de ser seleccionadas que las más pequeñas, pero todas las escuelas tendrían alguna posibilidad de ser elegidas. En el muestreo probabilístico, cada unidad seleccionada representa un determinado número de unidades de la población, de tal manera que la muestra en su conjunto representa a toda la población. El número de unidades de la población representadas por una unidad de muestreo determinada se denomina peso de muestreo. Cuando las muestras se extraen con la misma probabilidad (por ejemplo, dos escuelas con una probabilidad cada una de ser seleccionadas de 1/10), todas las escuelas seleccionadas representan el mismo número de escuelas de la población. Del mismo modo, en el muestreo de proba- bilidad desigual, el número de centros educativos de la población representados por una escuela depende de las posibilidades que tenía la escuela de ser seleccionada: cuanto mayor sean las posibilidades de ser seleccionada, menor será el peso de muestreo y viceversa. Los principales estudios internacionales de rendimiento académico (tales como el Programa Internacional de Evaluación de Estudiantes, el Estudio Internacional de Competencia Lectora y el Estudio Internacional de Tendencias en Matemáticas y Ciencias) utilizan el muestreo de probabilidad desigual. Las muestras se obtienen con un método de probabilidad desigual conocido como PPT, que significa probabilidad proporcional al tamaño. Por lo general, las probabilida- des de selección de la escuela se basan en sus MOS (es decir, el número de estudiantes en la población objetivo en cada escuela). Por ejemplo, en una ciudad con cinco escuelas que tienen 400, 250, 200, 100 y 50 estudiantes—1000 estudiantes en total—, el muestreo PPT daría 102 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO como resultado una probabilidad de selección proporcional al tamaño de la escuela: 400/1000, 250/1000, 200/1000, 150/1000 y 50/1000, respectivamente, si solo se selecciona una escuela, u 800/1000, 500/1000, 400/1000, 300/1000 y 100/1000 si se seleccionan dos escuelas. Tenga en cuenta que si se seleccionan tres escuelas en este ejemplo, la primera escuela no puede tener una probabilidad de 1200/1000, un valor superior a 1, sino que será seleccionada con cer- teza. La probabilidad de selección con PPT para las dos escuelas selec- cionadas se determina reasignando las probabilidades a las otras cuatro escuelas en función del tamaño total restante. Las probabilidades de selección PPT de estas cuatro escuelas serían 500/600, 400/600, 200/600 y 100/600. Este método de muestreo se puede aplicar a bases de muestreo a nivel de escuela, así como a bases de muestreo basadas en zonas (como listas de provincias o ciudades), siempre que se conozcan los datos de MOS adecuados. MUESTREO DE ETAPAS MÚLTIPLES En numerosos estudios de poblaciones humanas, no es posible acce- der directamente a las personas. Puede que no exista un registro cen- tral de las personas actualizado, o si lo hay, es posible que su uso esté estrictamente regulado, o puede que esté fuera del ámbito de los encuestados. En la práctica casi siempre ocurre así en el caso de las evaluaciones nacionales de estudiantes distribuidos por clases, escue- las, ciudades u otras jurisdicciones. Sin embargo, puede ser posible acceder de forma indirecta a la población objetivo utilizando una téc- nica denominada muestreo de etapas múltiples. En el muestreo de eta- pas múltiples se prepara una lista de unidades brutas (por ejemplo, unidades geográficas o escuelas en las encuestas de educación), y se muestrean algunas de estas unidades. Después, se prepara una lista de las unidades más pequeñas para cada unidad de la muestra (típica- mente, direcciones o casas o, en encuestas educativas, profesores o estudiantes). A continuación, se selecciona una muestra de estas uni- dades más pequeñas dentro de cada unidad seleccionada anterior- mente, y el proceso continúa hasta que el equipo de muestreo ELEMENTOS DE LA TEORÍA DEL MUESTREO | 103  establezca a los individuos objeto de la encuesta o prueba. Las unida- des de la muestra de la primera etapa se denominan unidades de mues- treo primarias (UMP); del mismo modo, existen unidades de muestreo secundarias y unidades de muestreo terciarias. Numerosas evaluaciones nacionales del rendimiento académico utilizan un diseño de dos etapas, con las escuelas como UMP y los estudiantes como unidades de muestreo secundarias. Este diseño se corresponde con uno de los planes de muestreo considerados para el estudio de caso de Sentz. Algunos países más grandes amplían el diseño a tres etapas seleccionando primero las áreas geográficas en las que se implementa el diseño de dos etapas descrito anteriormente. En los colegios, la unidad seleccionada suele ser la clase. Esto es así porque los administradores de centros educativos grandes tienden a considerar que realizar una prueba en una clase entera es una pertur- bación menor que examinar a estudiantes individuales de distintas clases objetivo de la escuela. La Figura 8.5 representa un muestreo de estudiantes de tres etapas: en la primera etapa se han seleccionado tres vecindarios de siete; FIGURA 8.5 Muestreo de etapas múltiples 104 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO después, en la segunda etapa, se han seleccionado tres, cuatro y dos escuelas; finalmente, se han seleccionado algunos estudiantes de cada escuela seleccionada (tercera etapa). OBTENCIÓN DE MUESTRAS Ha llegado el momento de seleccionar las muestras para los dos dise- ños para el caso de Sentz: (a) el muestreo SRS de referencia de 400 estudiantes (véase el ejercicio 8.2) y (b) la muestra de 4400 estudian- tes utilizando el diseño de dos etapas recomendado. Varios paquetes de software, principalmente SPSS, SAS (programa de análisis estadístico) y Stata, tienen sus propias herramientas de selección de la muestra. SPSS dispone de un paquete denominado Complex Sample. Stata cuenta con diversos scripts y SAS ofrece cinco procedimientos diseñados específicamente para manejar dise- ños muestrales complejos. El instituto de investigación Research Triangle Institute ha creado un gran número de rutinas compatibles con SAS, denominadas SUDAAN (siglas en inglés de análisis de datos de encuestas), para procesar y analizar datos de encuestas complejos. WesVar, el software de estimación de Westat Inc., se puede descargar EJERCICIO 8.2 Selección del muestreo SRS de 400 estudiantes Las siguientes instrucciones indican cómo realizar un muestreo aleatorio simple con un tamaño n = 400 estudiantes a partir del marco muestral completo almacenado en el directorio SRS400. Si desea reproducir esta muestra exactamente, debe especificar el valor iniciala proporcionado al paquete SPSS para crear la muestra. Seleccione File – Open – Data – Look in… …\BASE FILES\STUDENTS.SAV. Haga clic en Open. A continuación, utilice los siguientes comandos: Analyze – Complex samples – Select a sample. Seleccione Design a sample e introduzca un nombre para el archivo (por ejemplo, SRS400). Haga clic en Next. Omita Design variables. Haga clic en Next de nuevo. ELEMENTOS DE LA TEORÍA DEL MUESTREO | 105  EJERCICIO 8.2  (continúa) En Sampling Method, seleccione simple random sampling y haga clic en without replacement. Después, haga clic en Next. En Sample size, seleccione counts, haga clic en value y escriba 400. Después, haga clic en Next. En Output variables, seleccione al menos population size, sample size y sample weight. Haga clic en Next. En Summary, debe hacer clic en No porque no hay más etapas de muestreo. Después, haga clic en Next. Ahora ya se ha detallado el plan de muestreo y la selección de la muestra puede continuar. En Draw sample selection options, haga clic en Yes y All (1) (todas las etapas). Haga clic en Custom valueb y escriba 1234321 para obtener la muestra que aparece más adelante en esta sección; si lo prefiere, haga clic en A randomly-chosen number para obtener una muestra nueva. Haga clic en Next. En Draw sample output files, seleccione External file y llame al archivo …\MYSAMPLSOL\ STUDENTSRSAMPLE. Haga clic en Save y después en Next. En Completing the sampling wizard, seleccione Save the design to a plan file and draw the sample. Haga clic en Finish. Las primeras variables del archivo …\MYSAMPLSOL\STUDENTSRSAMPLE deberían mostrarse como en la Figura del ejercicio 8.2.A. En algunos casos, el orden de las variables puede diferir del mostrado aquí. FIGURA DEL EJERCICIO 8.2.A  Selección de variables para un muestreo SRS Fuente: ejemplo en el programa informático SPSS. a. El valor inicial es un número utilizado como punto de partida por los programas que calculan números “pseudoaleatorios”; cada valor inicial proporcionará una secuencia única de números pseudoaleatorios. b. Valor inicial utilizado en este ejemplo. 106 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO de forma gratuita desde el sitio web de Westat. Los usuarios deben tener en cuenta, sin embargo, que WesVar no extrae muestras aleato- rias. La función de muestreo de Excel tiene limitaciones; en el momento de escribir este documento, sus resultados parecen estar sesgados en determinadas condiciones. Un equipo de evaluación nacional debe buscar el consejo de un estadístico especializado en muestreos antes de seleccionar un paquete de software en particular para el muestreo. El diseño recomendado para la muestra de Sentz es un diseño de dos etapas. El cálculo del tamaño de la muestra, la estratificación y la asignación de la muestra de la primera etapa a los estratos ya se han llevado a cabo. A continuación, el ejercicio continuará con la selección de la muestra en sí. En el ejercicio 8.3 se describe el proceso de mues- treo general que condujo a la selección aleatoria de una clase por escuela a partir de una muestra de escuelas seleccionadas aleatoria- mente. Para facilitar la lectura, el ejercicio se ha dividido en varios pasos (ejercicios 8.3 a 8.8). En el ejercicio 8.4 se combinan los archivos de marco muestral de escuelas y de asignación de escuelas. Una vez unidos los archivos de escuelas y de asignación de escuelas, puede comenzar la primera etapa de la selección de la muestra. Para ello, se deben seleccionar 120 escue- las (véase el ejercicio 8.1) de un total de 227 escuelas (ejercicio 8.5). Si la muestra que acabamos de seleccionar no aparece en la pantalla, abra el archivo …\MYSAMPLSOL\PPT_SAMPLE_OF_SCHOOLS. en la Figura 8.6 se muestra un extracto de las primeras líneas de datos de …\MYSAMPLSOL\PPT_SAMPLE_OF_SCHOOLS que debe- rían aparecer en la pantalla. Una vez que se ha seleccionado la muestra de escuelas, el siguiente paso es seleccionar un aula por cada escuela seleccionada. Este paso es similar al muestreo aleatorio simple que se realizó anterior- mente, la selección de una unidad secundaria (una clase) por unidad primaria seleccionada (por escuela). El archivo CLASSES contiene la información relevante acerca de las clases de todas las escuelas, no simplemente de las seleccionadas. En la vida real, el coordinador de la evaluación nacional de cada escuela creará una lista de clases elegibles y se la enviará al coordinador de la encuesta o bien recibirá instrucciones para extraer una muestra de una clase elegible aleatoria, ELEMENTOS DE LA TEORÍA DEL MUESTREO | 107  EJERCICIO 8.3 Probabilidad PPT estratificada sin sustitución, selección de escuelas: lectura de los archivos de escuelas y de asignación de escuelas La muestra se debe seleccionar de forma independiente en cada estrato (en este caso, en cada provincia). La carpeta 2STG4400 contiene algunos archivos de respuestas para facilitar esta tarea. Ya se ha calculado y almacenado una asignación de muestra que debe especificarse aquí. La tarea de asignación de la muestra ya ha sido completada (ejercicio 8.1) y estos datos se utilizarán en la tarea siguiente. Esta asignación se debe asociar a la base de muestreo antes de poder proceder con la selección de escuelas. Comience ordenando los archivos por provincias. Una vez más, para reproducir el resultado de muestreo que verá más adelante, debe utilizar el valor inicial proporcionado a SPSS. La muestra se almacena en un archivo llamado …2STG4400\PPT_SAMPLE_OF_SCHOOLS. En primer lugar, se debe leer y ordenar el marco muestral de escuelas mediante los siguientes comandos: File – Open – Data – Look in …BASE FILES\SCHOOLS.SAV Haga clic en Open y seleccione Data – Sort cases. Mueva PROVINCE a Sort by y haga clic en OK. A continuación, se debe leer y ordenar el archivo de asignación de escuelas mediante los siguientes comandos: File – Open – Data – Look in …\MYSAMPLSOL\SCHOOLALLOC.SAV Haga clic en Open. Seleccione Data – Sort cases. Mueva PROVINCE a Sort by y haga clic en OK. siguiendo una serie de procedimientos especificados para evaluacio- nes nacionales. En los siguientes pasos, se utiliza el paquete SPSS para seleccionar una clase de cada escuela. En primer lugar, se debe combinar la mues- tra de 120 escuelas con el archivo de clases para obtener una lista de todas las aulas elegibles para cada escuela seleccionada (ejercicio 8.6). Este procedimiento es similar al de asociación de una asignación de muestra al marco muestral de escuelas que se realizó anteriormente (véase el ejercicio 8.4). Al completar el ejercicio 8.6 se identifican las escuelas a seleccionar en cada estrato y se elabora u obtiene la lista de clases elegibles para cada escuela seleccionada. El siguiente paso es seleccionar una clase 108 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO EJERCICIO 8.4 Probabilidad PPT estratificada sin sustitución, selección de escuelas: combinación de los archivos de escuelas y de asignación de escuelas En SPSS, el orden en que se manipulan los archivos es importante: el archivo más grande (marco muestral de escuelas) debe estar en la pantalla mientras se hace clic en los menús de comandos. Lleve el archivo SCHOOLS a la pantalla; seleccione el archivo de la siguiente manera: Data – Merge files – Add variables. Seleccione SCHOOLALLOC desde Open dataset y haga clic en Continue. Haga clic en Match cases on key variables. Mueva PROVINCE desde Excluded variables a Key variables. Mueva COUNTRY, PROV_TOT y COUNTRY_TOT desde New active dataset a Excluded variables. Haga clic en Non-active dataset is keyed table y, finalmente, haga clic en OK. Haga clic en OK si aparece el siguiente mensaje de advertencia: «Warning: Keyed match will fail if data are not sorted in ascending order of key variables.» Ahora, la variable ALLOC debería aparecer como última variable del conjunto de datos SCHOOLS. Por razones de seguridad, en este punto es posible que desee guardar este archivo SCHOOLS en su archivo …\MYSAMPLSOL\SCHOOLS. EJERCICIO 8.5 Probabilidad PPT estratificada sin sustitución, selección de escuelas: selección de escuelas Compruebe que su archivo SCHOOLS se encuentra en la pantalla de visualización. A continuación, utilice los siguientes comandos: Analyze – Complex samples – Select a sample Seleccione Design sample e introduzca un nombre para guardar el archivo (por ejemplo, 2STAGE_1). Si SPSS no acepta un nombre, haga clic en Browse y seleccione el subdirectorio MYSAMPLSOL de su unidad antes de escribir el nombre del archivo. Haga clic en Next. En Design variables, lleve a cabo las siguientes acciones: Mueva PROVINCE a Stratify by. Mueva SCHOOLID a Clusters. Escriba un nombre en Stage Label, por ejemplo, STAGE1. Haga clic en Next. En Sampling Method, lleve a cabo las siguientes acciones: Seleccione PPT Systematic. Mueva SCHOOL_SIZE a Measure of size – Read from variable. Haga clic en Next. ELEMENTOS DE LA TEORÍA DEL MUESTREO | 109  EJERCICIO 8.5  (continúa) En Sample size, lleve a cabo las siguientes acciones: Seleccione Read values from variable. Mueva ALLOC a ese recuadro de selección. Haga clic en Next. En Output variables, seleccione population size, sample size y sample weight. Haga clic en Next. En Summary, debe hacer clic en No porque no hay más etapas de muestreo por ahora. A continuación, haga clic en Next. Ahora ya se ha detallado el plan de muestreo y la selección de la muestra puede continuar. En Draw sample selection options, haga clic en Yes y All (1) (todas las etapas). Haga clic en Custom value y escriba 1234321 para obtener la muestra que aparece en esta sección del volumen 3. Si lo prefiere, haga clic en A randomly-chosen number para obtener una muestra nueva. Haga clic en Next. En Draw sample output files, seleccione External file y llame al archivo …\ MYSAMPLSOL\PPT_ SAMPLE_OF_SCHOOLS. De nuevo, si SPSS no acepta el nombre del archivo, haga antes clic en Browse para seleccionar el subdirectorio y después escriba el nombre del archivo. Haga clic en Save y después en Next. En Completing the sampling wizard, seleccione Save the design to a plan file and draw the sample. Por último, haga clic en Finish. FIGURA 8.6 Extractos de datos Fuente: ejemplo en el programa informático SPSS. 110 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO EJERCICIO 8.6 Probabilidad PPT estratificada sin sustitución, selección de escuelas: identificación de las clases elegibles Lea la muestra de escuelas y ordénelas por SCHOOLID mediante los siguientes comandos: File – Open – Data – Look in …\MYSAMPLSOL\PPT_SAMPLE_OF_SCHOOLS.SAV A continuación, haga clic en Open. Seleccione Data – Sort cases. Mueva SCHOOLID a Sort by. Haga clic en OK. Lea la lista de clases y ordénelas por SCHOOLID mediante los siguientes comandos: File – Open – Data – Look in …\BASE FILES\CLASSES.SAV Haga clic en Open. Nota: La escuela 1101 tiene dos clases, una con 41 estudiantes y la segunda con 48 estudiantes. Seleccione Data – Sort cases. Mueva SCHOOLID a Sort by. Haga clic en OK. Combine el marco muestral de escuelas y el archivo de asignación de escuelas; de nuevo, para el SPSS es importante qué archivo es visible en la pantalla y cuál es la “tabla con claves” (véanse las instrucciones más adelante). Lleve el archivo PPT_SAMPLE_OF_SCHOOLS a la pantalla. A continuación, utilice los siguientes comandos: Data – Merge files – Add variables Seleccione CLASSES en Open dataset. Haga clic en Continue. A continuación, haga clic en Match cases on key variables. Mueva SCHOOLID desde Excluded variables a Key variables. Haga clic en Active dataset is keyed table. Haga clic en OK y después en OK de nuevo. Estos pasos modificarán la muestra de escuelas PPT_SAMPLE_OF_SCHOOLS y añadirán información a nivel de aula, incluso para las escuelas que no fueron seleccionadas. Estos registros se deben eliminar. Para eliminar los registros innecesarios, utilice Filter (filtro) y conserve los casos en los que PROVINCE tenga un valor numérico de la siguiente manera: Data – Select Cases – Use filter variable Mueva PROVINCE a Use filter variable. Haga clic en Copy selected cases…. Escriba un nombre como CLASS_FRAME, y haga clic en OK. ELEMENTOS DE LA TEORÍA DEL MUESTREO | 111  EJERCICIO 8.6  (continúa) Cierre sin guardar la muestra modificada PPT_SAMPLE_OF_SCHOOLS. Lleve el conjunto de datos CLASS_FRAME a la pantalla de visualización y guárdelo utilizando los siguientes comandos: File – Save as – Look in …\MYSAMPLSOL\ Introduzca CLASS_FRAME como nombre de archivo y haga clic en Save FIGURA 8.7 CLASS_FRAME Fuente: ejemplo en el programa informático SPSS. de cada escuela para la prueba. Este procedimiento es similar al mues- treo aleatorio simple que se realizó anteriormente, la selección de una unidad secundaria (una clase) por unidad primaria seleccionada (por escuela). En la Figura 8.7 se muestra el aspecto de CLASS_FRAME. Sin embargo, antes de extraer la muestra, se debe depurar el marco muestral de clases. Algunas variables heredadas de la etapa de muestreo de escuelas interfieren con las variables de diseño que SPSS genera automáticamente al crearse la muestra de aulas (ejercicio 8.7). 112 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO Una vez depurados los datos, se puede enviar el marco muestral de clases al programa Complex Samples para extraer de forma aleatoria una clase de cada escuela seleccionada (ejercicio 8.8). En el caso de Sentz, todos los estudiantes de las clases seleccionadas participan en la encuesta debido a que las clases tienen un tamaño moderado. En un país donde las clases tengan un tamaño mucho mayor (por ejemplo, más de 50 estudiantes), puede ser necesario seleccionar una muestra de estudiantes de cada clase seleccionada (quizá 25 o 30 por clase). En este caso, el muestreo tendría un diseño de tres etapas. En Sentz, la tercera etapa (muestreo de estudiantes de las clases de la muestra) es “invisible” por ahora. Esta etapa se hará evidente cuando se produzca una falta de respuestas de los estudiantes (véase la cuarta parte de este volumen). Los siguientes pasos del pro- ceso de evaluación son ponerse en contacto con las escuelas y preparar las medidas administrativas y relativas a materiales con cada escuela participante, para que sea posible administrar los instrumentos de eva- luación a los estudiantes seleccionados. Tras la administración de la encuesta, los datos de la evaluación nacional se puntuarán y depurarán (véase la tercera parte de este volumen). EJERCICIO 8.7 Probabilidad PPT estratificada sin sustitución, selección de escuelas: depuración de la base de muestreo Ahora se puede enviar el marco muestral de clases al programa Complex Samples para extraer de forma aleatoria una clase de cada escuela seleccionada utilizando los siguientes comandos: File – Open – Data – Look in …\MYSAMPLSOL\CLASS_FRAME.SAV Haga clic en Open. Para depurar el marco muestral de clases, en primer lugar, haga clic en la pestaña Variable View en la esquina inferior izquierda de la pantalla del SPSS. Seleccione la línea avgclass y elimine la variable (clic en el botón derecho y seleccionar Clear). Seleccione la línea InclusionProbability_1_ y elimine la variable. Seleccione la línea SampleWeightCumulative_1_ y elimine la variable. ELEMENTOS DE LA TEORÍA DEL MUESTREO | 113  EJERCICIO 8.7  (continúa) Seleccione PopulationSize_1_ y cambie el nombre por PopulationSize1. Seleccione SampleSize_1_ y cambie el nombre por SampleSize1. Seleccione SampleWeight_1_ y cambie el nombre por Weight1. Seleccione la línea SampleWeight_Final_ y elimine la variable. Guarde el archivo como …\MYSAMPLSOL\CLASS_FRAME, y haga clic en la pestaña Data View. Ahora, CLASS_FRAME debería tener el aspecto de la Figura 8.7.A del ejercicio. FIGURA DEL EJERCICIO 8.7.A  Depuración del marco muestral de clases Fuente: ejemplo en el programa informático SPSS. EJERCICIO 8.8 Probabilidad PPT estratificada sin sustitución, selección de escuelas: selección de una clase por escuela Para seleccionar una clase por escuela, utilice los siguientes comandos: Data – Sort cases Mueva SCHOOLID CLASSID a Sort by. A continuación, haga clic en OK. Abra Analyze – Complex samples – Select a sample. Seleccione Design sample e introduzca un nombre para guardar el archivo (por ejemplo, 2STAGE_2). Haga clic en Next. (continúa) 114 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO EJERCICIO 8.8  (continúa) En Design variables, lleve a cabo las siguientes acciones: Mueva SCHOOLID a Stratify by. Mueva CLASSID a Clusters. Escriba un nombre en Stage Label, por ejemplo, STAGE2. Haga clic en Next. En Sampling Method, seleccione simple random sampling y haga clic en without replacement. Haga clic en Next. En Sample size, seleccione counts, haga clic en value y escriba 1. Haga clic en Next. En Output variables, seleccione population size, sample size y sample weight. Haga clic en Next. En Summary, debe hacer clic en No porque no hay más etapas de muestreo para ejecutar en este marco muestral. A continuación, haga clic en Next. Ahora ya se ha detallado el plan de muestreo y la selección de la muestra puede continuar. En Draw sample selection options, haga clic en Yes y All (1) (todas las etapas). Haga clic en Custom value y escriba 1234321 para obtener la muestra que aparece en este manuala. Si lo prefiere, haga clic en A randomly-chosen number para obtener una muestra nueva. Haga clic en Next. En Draw sample output files, seleccione External file y haga clic en Browse para asegurarse de que va a utilizar el directorio correcto. Introduzca el nombre de archivo …\MYSAMPLSOL\CLASS_SAMPLE y haga clic en Save. Haga clic en Next. En Completing the sampling wizard, seleccione Save the design to a plan file and draw the sample. Haga clic en Finish. Ahora, lleve la muestra de clases a la pantalla y borre el archivo con los siguientes comandos: File – Open – Data – Look in …\MYSAMPLSOL\CLASS_SAMPLE.SAV Haga clic en Open. Haga clic en la pestaña Variable View en la esquina inferior izquierda de la pantalla de SPSS. Seleccione la línea InclusionProbability_1_ y elimine la variable. Seleccione la línea SampleWeightCumulative_1_ y elimine la variable. Seleccione PopulationSize_1_ y cambie el nombre por PopulationSize2. Seleccione SampleSize_1_ y cambie el nombre por SampleSize2. Seleccione SampleWeight_1_ y cambie el nombre por Weight2. Seleccione la línea SampleWeight_Final_ y elimine la variable. ELEMENTOS DE LA TEORÍA DEL MUESTREO | 115  EJERCICIO 8.8  (continúa) Guarde el archivo como …\MYSAMPLSOL\CLASS_SAMPLE y haga clic en la pestaña Data View. Ahora, CLASS_SAMPLE debería tener el aspecto de la Figura 8.8.A del ejercicio. FIGURA DEL EJERCICIO 8.8.A  Selección de una clase por escuela Fuente: ejemplo en el programa informático SPSS. Ahora, las clases seleccionadas de las escuelas seleccionadas están almacenadas en un conjunto de datos permanente del SPSS con el nombre …\MYSAMPLSOL\CLASS_SAMPLE. a. En las aplicaciones reales, puede ser conveniente cambiar el valor inicial en cada extracción y registrarlo como referencia y para la depuración de errores. ANEXO II.A MUESTREO: CARPETAS Y ARCHIVOS El CD que acompaña a este manual contiene una serie de archivos con los datos del marco muestral y de la muestra necesarios para el estudio de caso de Sentz. En la Tabla II.A.1 se puede encontrar una breve descripción de los archivos. La Figura II.A.1 muestra la estructura de los directorios del archivo de muestreo. 117 118 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO TABLA II.A.1 Descripción del contenido de las carpetas Descripción o contenidos Número de Archivos BASE (todos los archivos de SPSS) registros Provincias Número de localidades rurales y urbanas y de estudiantes en cada provincia y región. 9 Localidadesa Número de escuelas y estudiantes por localidad, tipo de urbanización, provincia y región 33 Escuelas Número de clases, número de estudiantes y tamaño promedio de las clases por escuela, localidad, tipo de urbanización, provincia y región 227 Clases Número de estudiantes por clase para cada clase, escuela, localidad, tipo de urbanización, provincia y región 702 Estudiantes Edad y género de cada estudiante en cada clase de cada escuela, con el resto de marcadores geográficos 27 654 Respuestas Edad, género, puntuaciones de rendimiento, nivel socioeconómico y estado de participación de cada estudiante en cada clase, escuela, localidad, tipo de urbanización, provincia y región 27 654 Censo Edad, género, puntuaciones de rendimiento, nivel socioeconómico de cada estudiante en cada clase, como si todos hubieran participado 27 654 Archivos Descripción o contenidos Número de 2STG4400 (archivos SPSS) registros SCHOOLALLOC Número de escuelas asignadas a cada provincia 5 ASSIGNJK SCHOOLID, JKZONE, JKREP y dos variables temporales 120 PPT_SAMPLE_ Escuelas seleccionadas, con ponderación OF_ SCHOOLS determinada en la primera etapa 120 CLASS_FRAME Lista de clases disponibles para el muestreo de 120 escuelas seleccionadas 397 CLASS_SAMPLE Clases seleccionadas de las escuelas seleccionadas, con ponderación determinada en la primera etapa, ponderación determinada en la segunda etapa y ponderación de diseño completa 120 PPTRESPONSES Identificadores, variables contextuales, puntuaciones, estado de participación y ponderación de diseño para cada estudiante seleccionado, por clase, escuela y provincia 4896 MUESTREO: CARPETAS Y ARCHIVOS | 119  TABLA II.A.1 Descripción del contenido de las carpetas (continúa) Archivos Descripción o contenidos Número de 2STG4400 (archivos SPSS) registros RESP2STGFINAL Identificadores, variables contextuales, WTb puntuaciones, estado de participación, ponderación de diseño, ajuste por falta de respuesta y ponderación final para cada estudiante seleccionado, por clase, escuela y provincia 4896 RESP2STGWTJKb Identificadores, variables contextuales, puntuaciones, estado de participación, ponderación de diseño, ajuste por falta de respuesta, ponderación final, estrato del método jackknife y replicación del método jackknife para cada estudiante seleccionado, por clase, escuela y provincia 4896 Descripción o contenidos Número de Archivos SRS400 (archivos SPSS) registros STUDENTSR Identificadores, variables contextuales y SAMPLE ponderación de diseño para cada estudiante seleccionado 400 SRSRESPONSES Identificadores, variables contextuales, puntuaciones, estado de participación y ponderación de diseño para cada estudiante seleccionado 400 RESPSRSFINALWTb Identificadores, variables contextuales, puntuaciones, estado de participación, ponderación de diseño, ajuste por falta de respuesta y ponderación final para cada estudiante seleccionado 400 Archivos Descripción o contenidos Número de NATASSESS (versiones de SPSS y WesVar) registros NATASSESS Identificadores, variables contextuales, puntuaciones en matemáticas, puntuaciones derivadas, ponderación de la estimación y ponderación normalizada, estrato del método jackknife y replicaciones del método jackknife 4747 a. Los datos a nivel de localidad no se analizaron en el ejercicio. b. Hay disponibles versiones WesVar de estos archivos. 120 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO FIGURA II.A.1 Estructura del directorio de archivos de muestreo NAEA SAMPLING BASE FILES 2STG4400 SRS400 NATASSESS MYSAMPSOL PROVINCES SCHOOLALLOC STUDENTSRSAMPLE NATASSESS SCHOOLS ASSIGNJK SRSRESPONSES CLASSES PPT_SAMPLE RESPSRSFINAL a OF SCHOOLS WT STUDENTS CLASS_FRAME RESPONSES CLASS_SAMPLE CENSUS PPTRESPONSES RESP2STGFINAL TOWNS a WT RESP2STG a WTJK a. Tanto SPSS como WesVar. PA RT E 3 PREPARACIÓN, VALIDACIÓN Y GESTIÓN DE DATOS Chris Freeman y Kate O’Malley La tercera parte se centra en las tareas típicas de los analistas que ­ participan en la depuración de los datos de una evaluación nacional, utilizando ejemplos y ejercicios para mostrar los procesos llevados a cabo. El objetivo principal es permitir que el equipo de evaluación nacional desarrolle e implemente un conjunto sistemático de proce- dimientos que ayuden a garantizar que los datos de la evaluación sean fiables y precisos. El CD adjunto contiene ejemplos de archivos que contienen errores típicos de recopilación de datos que permiten al lector practicar los procedimientos descritos. Se proporcionan solu- ciones para cada uno de los datos del ejercicio, junto con los archivos depurados que contienen los datos de prueba, para permitir al lector comparar y verificar los resultados de los ejercicios. La aplicación Access 2007 de Microsoft se utiliza en esta sección para la entrada y validación de datos, mientras que el paquete SPSS (paquete estadístico para ciencias sociales)1 y en menor medida Excel 2007, se utilizan para la verificación de los datos. Alternativamente, se puede utilizar un módulo especializado de entrada de datos SPSS para realizar las funciones de entrada de datos para las que se utiliza Access en esta sección. Sea cual sea el método que se utilice, cuando se reco- pilan los datos se deben importar en SPSS para los procedimientos de depuración y verificación. Las tres aplicaciones mencionadas en esta 121 122 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO sección se utilizan para limitar los riesgos inherentes a la transposición de los datos de un programa a otro. Sin embargo, la transposición de los datos introduce inevitablemente fuentes potenciales de error, y la transferencia de datos entre programas se debe reducir al mínimo. Este punto se explica más adelante en esta sección. La siguiente lista de verificación resume los temas tratados en los capítulos de esta parte. En ella se enumeran las principales fuentes potenciales reconocidas de errores importantes que, si no se abordan, pueden socavar la confianza en la integridad de los datos. Lista de verificación de resumen de los procesos de depuración de datos Documentos o Componente procesos Preguntas clave Comprobado Formatos de Manual de ¿Se ha definido los tipos de datos? los datos codificación de ¿Se ha definido los datos obligatorios? la prueba ¿Se ha definido la longitud de los campos? ¿El manual de codificación de la prueba coincide con el contenido de la prueba? Recopilación Software de ¿Son consistentes los formatos de los de datos entrada de datos de los campos con las datos definiciones del manual de codificación? ¿Se ha establecido rutinas de validación del software de entrada de datos? ¿Se ha resuelto los errores de captura? Depuración de Verificaciones ¿Se ha combinado datos de diferentes los datos entre archivos fuentes? ¿Se ha establecido rutinas para garantizar la precisión e integridad de los datos? ¿Se ha tenido en cuenta todos los registros? Verificación de ¿Se ha comprobado los «códigos datos y rebeldes»? ¿Se ha rectificado la verificaciones al codificación incorrecta? interior de un ¿Se ha comprobado los datos que faltan archivo (obligatorios)? ¿Se ha gestionado otros campos de datos que faltan? ¿Se ha establecido rutinas para garantizar la integridad de los datos? (continúa) PREPARACIÓN, VALIDACIÓN Y GESTIÓN DE DATOS  |  123  Documentos o Componente procesos Preguntas clave Comprobado Identificadores ¿El folleto de la evaluación coincide con únicos una, y solo una, entrada en las bases de muestreo y los formularios de seguimiento? ¿Se ha eliminado los registros duplicados? ¿Se ha comprobado los registros que faltan? Documentación Historial del ¿Se ha archivado copias de los archivos archivo, historial de datos antes y después del de depuración procesamiento? de datos README. ¿Se conservan registros completos de DOCX los procesos y las salidas? En la carpeta Exercises del CD adjunto se incluyen ejercicios prác- ticos que sirven de apoyo para las rutinas descritas en esta sección. Las soluciones y los archivos corregidos se pueden examinar en la carpeta Exercise Solutions. Como ayuda para dominar las habilidades clave de depuración de datos, el lector debe establecer el siguiente sistema sencillo de archivado. Paso importante: almacenamiento de los archivos del CD en el disco duro o un servidor Cree una carpeta llamada NAEA DATA CLEANING (u otro nombre similar) en su disco duro o servidor, y copie los archivos del CD adjunto en esta carpeta. Cree una subcarpeta nueva denominada MY SOLUTIONS para guardar las soluciones de sus ejercicios y compararlas con los archivos en las carpetas de EXERCISE SOLUTIONS. Ahora debería haber tres carpetas dentro de la carpeta NAEA Data Cleaning: EXERCISES, EXERCISE SOLUTIONS y MY SOLUTIONS. A partir de ahora, debe trabajar con los archivos que se encuentran en su disco duro o servidor. El Anexo III.A contiene un breve resumen de los distintos archivos y un diagrama de la estructura del archivo utilizado en la tercera parte. Tenga en cuenta que se ha utilizado Microsoft Office 2007 para 124 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO preparar los archivos. Los archivos se pueden ejecutar en Microsoft Office 2010. Aunque las cintas en la parte superior de algunas páginas parecen ser ligeramente diferentes a las de la versión 2007, las seccio- nes de trabajo de ambos programas son prácticamente idénticas. Los siguientes cuatro consejos, si se siguen, le ayudarán a garantizar la precisión de los datos utilizados en los análisis. 1.  Sea desconfiado. Incluso los sistemas de evaluación más sofisti- cados pueden tener “códigos rebeldes” y registros duplicados después del ingreso inicial de los datos. Suponga siempre que algunos de los datos son incorrectos y deben modificarse. 2.  Sea sistemático. Elabore un plan (una lista de verificación) para examinar las fuentes de errores más probables. Compruebe la presen- cia de registros duplicados y respuestas fuera de rango. Con frecuen- cia, estos sirven como indicadores de posibles áreas problemáticas y también proporcionan información acerca de la calidad de los proce- sos de recopilación y entrada de datos. 3. Participe en el proceso de recolección de datos. Una de las mejores maneras de garantizar que los datos de las evaluaciones nacio- nales sean limpios es insistir en que se implementen prácticas eficaces en la fase de recolección. La persona a cargo de la captura de datos debe ser un miembro del grupo que diseña el manual de codificación, ya que tendrá un impacto importante sobre la calidad de los procesos de entrada de datos. Verificar la implementación de procedimientos y procesos correctos en la etapa de entrada de datos puede reducir en gran medida el tiempo y el costo de la corrección de los datos incorrectos. 4. Documente todos los cambios y versiones. Sea extremada- mente meticuloso al registrar todos los cambios realizados en los datos durante el proceso de depuración de los datos y registre de forma precisa las versiones creadas y las versiones que contienen los archivos de datos depurados finales para el análisis. NOTA 1.  Durante 2009 y 2010, esta versión de SPSS, la versión 17, se conocía también como Programa de análisis predictivo o PASW 17 (por sus siglas en inglés). 9 CA P Í T U L O MANUALES DE CODIFICACIÓN Al realizar la depuración y el análisis de datos, se debe ser sensible a las necesidades de información de los miem- bros del equipo de evaluación nacional que redactarán los infor- mes finales—y guiarse según esas necesidades—. Las personas encargadas de la preparación de datos tienen la responsabilidad ­ específica de asegurarse de que los formatos de datos proporcionen el nivel de detalle necesario que requieren los analistas. Dichas ­ personas también deberían estar muy familiarizadas con los conte- nidos de los cuadernillos y manuales de codificación de prueba y cuestionario. El punto de partida para cualquier análisis de un instrumento de evaluación es la planificación. El equipo de evaluación nacional debería planificar para asegurarse de que la manera en que se reco- gen los datos produzca la información requerida y que los datos estén disponibles en un formato accesible. El manual de codifica- ción de prueba define la manera en que se registran los datos reco- gidos en la evaluación para su análisis. El manual de codificación define la información acerca de cada componente de la prueba y ayuda al personal de captura de datos y a los analistas a comprender 125 126 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO qué deberían esperar en cada campo de datos. El manual de codifi- cación debe ser preparado en conjunto por los desarrolladores de la prueba y la persona con la responsabilidad general de la captura de datos. De manera similar, el manual de codificación de cuestionario de alumnos define cómo se registran los datos del cuestionario. Por lo general, los datos del cuestionario se refieren a ítems demográficos (como género, contexto lingüístico u ocupación de los padres) y suelen guardarse por separado de los datos de rendimiento estu- diantil porque los datos del cuestionario por lo general contienen una cantidad importante de respuestas cualitativas que es posible que deban codificarse o analizarse de manera diferente. Se ha incluido un modelo de instrumento de cuestionario de alumno STUDENTQUESTIONNAIRE.DOCX en la carpeta EXERCISES para contar con información de contexto. A los fines de los siguien- tes ejercicios, no obstante, se incluye solo una pequeña cantidad de ítems demográficos relacionados con género, edad, grado y contexto lingüístico. Debido a la pequeña cantidad de ítems del cuestionario, estos datos se registran en el mismo archivo que los datos de rendi- miento estudiantil. La Figura 9.1, la página de portada de un cuadernillo de prueba, muestra la información relacionada con el alumno que se recogió como parte de la administración de una prueba de matemáticas. Muestra el identificador único de alumno (número de identificación de alumno) que se creó en el ejercicio 7.1 y que incluye detalles de género, edad e idioma. La capacidad de proporcionar información sobre los alumnos depende de la información recogida de los docu- mentos de prueba y los cuestionarios. Por ejemplo, la información recogida de la página de portada de la prueba (Figura 9.1) no per- mite informar sobre el idioma nativo del alumno porque no se incluyó una pregunta sobre el idioma en particular que se habla en el hogar. Por consiguiente, solo puede informarse sobre el porcentaje de alumnos que hablan un idioma distinto del idioma en el cual se imprimió la prueba. Otra limitación en la recolección de datos se ejemplifica en el modo en que se trata el campo Name (Nombre). Los datos del campo Name pueden recogerse como un solo conjunto de datos MANUALES DE CODIFICACIÓN | 127  FIGURA 9.1 Ejemplo de una página de portada de prueba que incluye el nombre de pila y el apellido (por ejemplo, Juan González) o como dos campos separados: Given Name (Nombre de pila) (Juan) y otro campo Family Name (Apellido) (González). Como regla general, recoger información específica es mejor. Si, por ejemplo, la evaluación recoge solo un campo denominado Name, la clasificación por nombre se basaría solo en el nombre de pila del alumno y probablemente llevaría a una duplicación innecesaria. En este caso, la información correspondiente al campo nombre debería recogerse como dos campos separados, Given Name y Family Name. Tenga en cuenta que en algunas culturas el apellido se indica en primer lugar. La Figura 9.2 muestra el modo en que se documentó en el manual de codificación la información demográfica proporcionada por los FIGURA 9.2 Manual de codificación de cuestionario para la información demográfica (contextual) del alumno Fuente: ejemplo en el programa Excel. 128 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO MANUALES DE CODIFICACIÓN | 129  alumnos en la página de portada del cuadernillo de prueba que se muestra en la Figura 9.1. (Véase EXERCISES-MATHS 3A CODEBOOK TEMPLATE.XLSX). Se utilizó Excel para preparar el manual de codificación en este punto, aunque también podría haberse usado Microsoft Word para este fin. Tenga en cuenta que si los datos se capturaran directamente en el programa del Paquete SPSS (Paquete estadístico para ciencias sociales), el Paquete SPSS crearía de manera automática el manual de codificación y este estaría disponible mediante una simple solicitud de menú: Analyze – Reports – Codebook. Cada columna del manual de codificación de cuestionario se describe en la Tabla 9.1. La Figura 9.3 presenta el manual de codificación de prueba, que muestra cómo pueden codificarse los primeros seis ítems de la prueba. Tenga en cuenta la incorporación de las columnas correspondientes a Item Name (Nombre del ítem) y Key (Clave). La primera proporciona una referencia corta al contenido del ítem para un reconocimiento fácil, y la segunda se refiere al término usado para la respuesta correcta, según lo determinado por los desarrolladores de la prueba o los espe- cialistas en el tema. El ejercicio 9.1 demuestra cómo capturar datos de evaluación nacional en un manual de codificación. 130 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO TABLA 9.1 Explicación de los encabezados de las columnas del manual de codificación Término Explicación Comentario Field Este es el nombre que identifica la El nombre del campo debe ser (Campo) información incluida en la celda de único y debería ser significativo. datos (por ejemplo, Given Name (Nombre de pila)). Question type Tres tipos de preguntas son posibles: Las CR numéricas pueden ser (Tipo de MC: Opción múltiple marcadas por programas de análisis pregunta) CR: Respuesta construida o como el Paquete SPSS. respuesta corta TM: Respuesta que requiere el criterio del maestro Data type Esto identifica el formato de los Algunos programas hacen referencia (Tipo de datos en el campo; por lo general a los tipos de datos de texto como datos) los datos son numéricos (N) “cadena” o “alfa.” o texto (T). Las variables numéricas del Paquete SPSS se dividen a su vez en categorías nominales, ordinales y de escala. Valid La lista completa de respuestas Otros valores son inválidos y responses previstas y aceptables que pueden deberían investigarse. (Respuestas encontrarse en los datos para este válidas) campo. Width La cantidad máxima de caracteres Tenga en cuenta que los valores que (Ancho) que se permite recoger en este incluyen decimales requieren un campo se especifica aquí. (Por espacio para el punto decimal. ejemplo, este manual de codificación permite un máximo de 20 letras en el nombre de la escuela). Missing Es el código que se proporciona para (Faltante) valores duplicados (por lo general, 8) y faltantes (por lo general, 9). Comment Aquí puede incluirse información (Comentario) adicional que ayudará al personal de captura de datos, al gestor de datos y al analista a interpretar los datos. FIGURA 9.3 Manual de codificación de prueba para los campos de ítems de matemáticas 3a Fuente: ejemplo en el programa Excel. MANUALES DE CODIFICACIÓN | 131  132 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO EJERCICIO 9.1 Captura de datos de evaluación nacional en un manual de codificación Si aún no lo ha hecho, siga las instrucciones del ejercicio 7.1 para guardar los archivos del CD adjunto en su disco duro o servidor local. Luego siga estos pasos: 1. Abra \NAEA DATA CLEANING\EXERCISES\SAMPLE TEST PAPER 3A.DOCX. 2. Abra \NAEA DATA CLEANING\EXERCISES\MATHS 3A CODEBOOK TEMPLATE. XLSX. La información demográfica en la pestaña STUDENT QUESTIONNAIRE y los primeros siete ítems (Q3Aq01 aQ3Aq07) en la pestaña MATHS_3A_ITEM_CODE- BOOK ya han sido completados. (Haga clic en la segunda pestaña en la parte inferior de la pantalla de Excel). 3. Utilizando estos primeros siete ítems como guía, complete la información del campo para los siete ítems restantes (Q3Aq08 a Q3Aq14), y guarde este archivo como MATHS 3A CODEBOOK en su carpeta MY SOLUTIONS. El manual de codificación completo para el documento Maths 3a se encuentra en un archivo denominado MATHS 3A CODEBOOK SOLUTION.XLSX en la carpeta EXERCISE SOLUTIONS. Utilice este archivo para comprobar sus respuestas. (Haga clic en la segunda pestaña para comprobar la información de los ítems). 10 CA P Í T U L O GESTIÓN DE DATOS CAPTURA DE DATOS El presupuesto y la experiencia determinarán el método que se empleará para recopilar y registrar los datos de los ítems de prueba. Los posibles métodos incluyen la recolección de datos en línea, el escaneo de páginas con lectores ópticos de marcas y la digitación manual de datos. La mayoría de los sistemas nacionales de evaluación, especialmente aquellos de recursos limitados, utilizan la digitación manual para capturar los datos. Una planilla bien diseñada (Figura 10.1) puede facilitar a los digitadores la captura de datos exacta y rápida. La planilla de captura de datos fue preparada en Access 2007, y el proce- dimiento se describe en el ejercicio 10.1. Aunque la configuración del procedimiento de captura de datos lleva tiempo, generalmente es tiempo bien utilizado porque los errores de procedimiento son la fuente más común de errores en los datos. Ingreso único de datos El ingreso único de datos requiere de un operador que transcriba las respuestas de los estudiantes a una base de datos electrónica como preparación para su análisis. Generalmente este método es el menos 133 134 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO FIGURA 10.1 Planilla de captura de datos (Access 2007) Fuente: ejemplo, programa Access. costoso, pero es también el más riesgoso en cuanto a la exactitud de los datos, a menos que se cuente con rigurosos procedimientos de validación en los programas así como con una estrecha supervisión de los operadores. Algunos programas de depuración de datos permiten un método único de captura de datos, con comprobaciones de validación o ruti- nas para detectar errores de ingreso. Estas comprobaciones o rutinas reducen en gran medida la cantidad de capturas de datos incorrectas. Los datos, por ejemplo, pueden ser comprobados durante su captura, en busca de códigos rebeldes—es decir, códigos incorrectos—o por digitaciones incorrectas que son inválidas o están fuera de rango para GESTIÓN DE DATOS | 135  EJERCICIO 10.1 Creación de una base de datos Los siguientes pasos le mostrarán cómo crear una base de datos: 1. Abra Access 2007, luego haga clic en el ícono Blank Database. 2. A la derecha de la ventana, haga clic en el ícono de carpeta al lado del cuadro File Name (véase la figura del ejercicio 10.1.A). Luego, el programa abre la ventana File New Database. Guarde el archivo como MATHS_3A_DATA.ACCDB en la carpeta MY SOLUTIONS. Haga clic en OK, y luego en Create. FIGURA DEL EJERCICIO 10.1.A  Creación de una nueva base de datos Access Fuente: ejemplo, programa Access. 3. Una nueva tabla se abre automáticamente luego de la creación de la base de datos. Haga clic en View – Design View en la esquina superior izquierda de la ventana de Access. Access le pedirá automáticamente que guarde la tabla. Por convención las tablas se guardan con el prefijo tbl_ seguido por un nombre evocador de la tabla. Guarde la tabla como TBL_YR3_MATHS_DATA y haga clic en OK. La figura del ejercicio 10.1.B muestra el formato de tabla (con el primer nombre de campo insertado automáticamente, ID) que se utiliza para definir los campos y formatos de datos para que sean coherentes con los descritos en el manual de codificación. (continúa) 136 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO EJERCICIO 10.1  (continúa) FIGURA DEL EJERCICIO 10.1.B  Diseño de presentación de la base de datos Fuente: ejemplo, programa Access. La columna Field Name se usa para listar los nombres de las variables en el libro de códigos. Cada variable debería ser ingresada en una línea aparte. El nombre del campo no debería incluir espacios ni otros caracteres no permitidos como signos de exclamación, signos de interrogación, puntos y aparte o comas. La columna Data Type utiliza normalmente Text para variables alfa (variables que tienen palabras por respuesta) o Number para variables numéricas. En el caso de que entre sus datos recolecte Date of Birth, Date/Time deben ingresarse como tipos de datos. La columna Description se usa para describir (o documentar) una variable para ayudar a otros usuarios a entender el significado de la variable. Además, todo formulario que se base en la tabla utilizará los contenidos de este campo de descripción como una instrucción para el personal que captura los datos, con el texto que se mostrará en la parte inferior del formulario cuando se seleccione cada celda de captura de datos. la respuesta esperada en un campo determinado. Por ejemplo, si un operador ingresa un signo “$” en lugar de un “4” (que se encuentran en la misma tecla del computador), el programa enviará automática- mente una advertencia acerca de la falta de validez del valor para esa celda en particular. Estas rutinas de validación se muestran más adelante en este capítulo. ­ GESTIÓN DE DATOS | 137  Ingreso de datos duplicado Aunque el doble ingreso de datos es caro y consume tiempo, con frecuencia se recomienda como un método para minimizar los errores en la captura de datos. La técnica implica tener dos opera- dores independientes que ingresan todos los datos y luego compa- ran sus resultados para identificar inconsistencias. La finalidad de esta metodología es dar cuenta de los errores de digitación. El error más difícil de controlar es el de digitación. Si el operador que cap- tura datos en una metodología de clave única digita, digamos, un “2” en lugar de un “3” cuando ambos son respuestas válidas, no hay una manera sencilla de detectar este error. Si ninguno de los operadores comete un error, los archivos serán idénticos. Sin embargo, si uno de los operadores digita erróneamente una respuesta, existirá una dis- crepancia entre los datos. La verificación de datos entre archivos puede hacerse usando programas como el SPSS (módulo de cap- tura de datos), UltraEdit (con funciones UltraCompare), WinDem y Excel. Los primeros tres programas mencionados ofrecen solucio- nes sencillas y confiables para el problema de la homogeneidad entre archivos, pero todos ellos son adiciones costosas al paquete de programas ya en uso en este volumen. Por esta razón, el apartado dedicado a la verificación de datos del capítulo 11 describe cómo usar Excel para detectar errores de digitación. Validación de datos La validación de datos es un proceso que ayuda a prevenir errores que ocurren durante el ingreso de los datos de la evaluación nacional a la base de datos. Las aplicaciones más comunes para la captura de datos (como son WinDem, Access y Excel) adjuntan rutinas de vali- dación para cada celda de captura de datos para colaborar en la minimización de errores. Estas rutinas avisan automáticamente cuando detectan un problema con un valor particular que se ha ingresado. Los módulos básicos de SPSS no parecen ofrecer este nivel de control sobre la captura de datos. Los errores frecuentes en la captura de datos incluyen omisión (no cargar una respuesta), “deslizamiento” de respuestas por omisión de 138 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO una respuesta, ingresando luego los datos de todas las demás respuestas en las columnas equivocadas, error de mecanografía (teclear una res- puesta diferente a la indicada por el estudiante), y duplicación de los registros de un estudiante por error o porque un estudiante completó múltiples cuadernillos de examen. Los métodos de identificación de errores se describen en el Capítulo 11. PREPARACIÓN DE LA PLANILLA PARA LA CAPTURA DE DATOS USANDO MICROSOFT ACCESS Esta sección muestra el uso de Access como una herramienta para minimizar los errores en la captura de datos y muestra cómo preparar una planilla para captura de datos. Incluye las reglas de validación para minimizar la codificación incorrecta y el ingreso de datos. La Tabla 10.1 presenta una lista de las variables típicas (nombres de los campos) que son comunes en las evaluaciones nacionales. Estas variables permiten el análisis de los datos por grupos (por ejemplo, rendimiento de los niños de cinco años comparado con el rendimiento de los de seis años, o el rendimiento de los niños comparado con el de las niñas). La lista no es exhaustiva; en algunos estudios nacionales e internacionales (como la Evaluación Nacional del Progreso Educativo, TABLA 10.1 Variables típicas recopiladas o capturadas en evaluaciones nacionales Nombre de la Tipo de variable (campo) dato Descripción o uso Identificación del Numérico El identificador individual y único de cada estudiante estudiante particular es creado antes de la administración de la (StudID) prueba y se usa para localizar registros, hacer coincidir archivos, y así sucesivamente. Nombre de pila Texto Se ingresa el nombre de pila del estudiante. del estudiante Apellido Texto El apellido del estudiante se usa para clasificar e informar. Nombre de la Texto Se ingresa el nombre de la escuela. escuela Identificación Alfanumérico Se ingresa la identificación de la escuela tal como se la nacional de la usa en los archivos administrativos nacionales. escuela GESTIÓN DE DATOS | 139  TABLA 10.1 Variables típicas recopiladas o capturadas en evaluaciones nacionales (continúa) Nombre de la Tipo de variable (campo) dato Descripción o uso Identificador de Numérico El identificador individual y único de las escuelas, creado la escuela por muestreo, se usa para localizar registros, hacer coincidir archivos, combinar los registros de los estudiantes con sus respectivas escuelas, y así sucesivamente. Nombre del Texto Se usa la identificación de la clase o el grado. docente Identificador de Texto o Se usa la identificación de la clase o el grado. la clase numérico Sexo del Texto o El sexo puede ser codificado como texto (M o F) o como estudiante numérico número (1 = Masculino, 2 = Femenino). Fecha de Fecha La fecha de nacimiento del estudiante se usa para nacimiento del identificar a los estudiantes en datos longitudinales. estudiante Edad de los Numérico La edad puede ser codificada, agrupada o ingresada estudiantes (en como un dato discreto. años) Idioma que habla Numérico Usualmente el idioma es codificado como sigue: el estudiante 1 = idioma nativo, 2 = idioma extranjero el Programa para la Evaluación Internacional de Alumnos, y el Estudio Internacional de Tendencias en Matemáticas y Ciencias), la lista de variables es más extensa. Ingreso de campo de información en la tabla en blanco Access y otras bases de datos usualmente requieren una secuencia numérica con la que relacionar los datos. Se puede crear tablas de enlace usando el número de identificación del estudiante en la evaluación (ID). Para los propósitos del ejercicio 10.2, el número de identificación del estudiante tiene el nombre de campo StudID. Se utiliza a modo de valor secuencial para permitir una referencia rápida con el fin de buscar en la base de datos en algunas de las rutinas de depuración. StudID es una variable numérica que identifica a cada estudiante en la base de datos Access. El número de identificación del estudiante se generó en el marco del muestreo antes de la administración de la evaluación. 140 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO EJERCICIO 10.2 Creación de las variables de la base de datos Para crear las variables de la base de datos, siga estos pasos: 1. Abra …\NAEA DATA CLEANING\MY SOLUTIONS\MATHS_3A_DATA.ACCDB. 2. Abra TBL_YR3_MATHS_DATA, que ha sido creado en el ejercicio 10.1, haciendo doble clic a la izquierda del menú Table. Las tablas se abrirán automáticamente en modo Datasheet View. Para ver la tabla en modo Design View, seleccionar View – Design View desde la cinta Home. 3. Cambie el valor por defecto (ID) por StudID en la primera celda bajo Field Name (véase la figura del ejercicio 10.2.A). Nótese que la primera variable ha sido automáticamente definida como la clave primaria (designada por el botón seleccio- nado Primary Key en la pestaña Design, y el pequeño ícono Primary Key al lado del de Field Name). Esta designación significa que cada registro debe contener un valor único (no duplicado) para ese campo de manera que cada registro pueda ser identificado y verificado, y para que otras tablas puedan ser relacionadas con esta tabla en una etapa posterior. FIGURA DEL EJERCICIO 10.2.A  Ingreso de formatos de variable en la tabla Fuente: ejemplo, programa Access. 4. Desplácese a lo largo del campo Data Type. Esto debería mostrar el cuadro de diálogo Field Properties debajo de la tabla (Nota: algunos de los ítems listados bajo Field Properties tienen flechas desplegables. Haga clic en el lado derecho del cuadro asociado con cada ítem para acceder a la flecha desplegable). 5. Haga clic en la flecha desplegable a la derecha de la celda Data Type en la fila StudID. Ahora aparecen las opciones de tipo de datos disponibles en Access. 6. Seleccione Text desde el menú desplegable utilizando el ratón o las teclas de desplazamiento del teclado. Nótese que si bien el número de identificación (ID) real es un formato numérico, realmente debería funcionar como texto, de modo que el GESTIÓN DE DATOS | 141  EJERCICIO 10.2  (continúa) contenido de la celda debería aparecer exactamente tal como fue ingresado. Así pues, un número de ID con un dígito inicial de 0 se quedará tal cual. El formato mostrado en el área Field Properties es el asignado por defecto por Access para una clave primaria asignada automáticamente para este tipo de dato (figura del ejercicio 10.2.A). 7. Desplácese hasta Description Column y tipee Student ID en la celda. 8. Tal como se indica en el paso 6, Access habrá producido un conjunto de valores predeterminados en el área Field Properties una vez que se haya seleccionado Text en el menú Data Type. En el campo Field Size, introduzca el dígito 7, que es la longitud del número de identificación (ID) del estudiante en esta instancia. Establezca el campo Required en Yes, y el campo Allow Zero Length en No. Los demás campos puede dejarlos sin cambios. 9. Seleccione Office button – Save. 10. En cualquier momento puede cerrar la tabla usando el ícono que se encuen- tra en el ángulo superior derecho, justo sobre la barra de desplazamiento vertical. (Nota: este ícono es diferente del botón de cerrar que se encuentra en el ángulo superior derecho de la ventana completa. Haciendo clic en ese ícono se cerrará toda la base de datos). Ahora, haga clic en el botón de cierre de tabla. A continuación, la tabla aparece como un ícono en el menú Tables en la parte izquierda de la ventana (figura del ejercicio 10.2.B). FIGURA DEL EJERCICIO 10.2.B  Menú tabla con tabla guardada, tbl_Yr3_Maths_Data Fuente: ejemplo; programa Access. Entrada de campos adicionales Para crear campos adicionales a la base de datos, primero vuelva a abrir la tabla creada en el ejercicio 10.1 en el modo Design View. El ejercicio 10.3 conduce al lector a través de la entrada de datos demográficos de los estudiantes. 142 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO EJERCICIO 10.3 Creación de campos adicionales en la base de datos Este ejercicio describe los pasos para crear campos adicionales en la base de datos: 1. Abra…\NAEA DATA CLEANING\MY SOLUTIONS\MATHS_3A_DATA.ACCDB. 2. Abra TBL_YR3_MATHS_DATA en modo Design View. 3. Ingrese las variables GivenName y FamilyName en las filas segunda y tercera de la columna Field Name. El programa llevará por defecto a tipo de dato Text, y el cuadro de diálogo Field Properties se abrirá automáticamente de modo que usted pueda ingresar las reglas de captura de datos. Puede moverse entre todas las áreas de esta pantalla utilizando la tecla Tab (mueve el cursor hasta la siguiente celda) o usando el ratón para seleccionar el campo pertinente. 4. Ingrese la información acerca del nombre del campo en el área Description para informar a otros usuarios acerca de los contenidos del campo, incluyendo aquellos que se ocupan de la captura de datos (véase la figura del ejercicio 10.3.A). FIGURA DEL EJERCICIO 10.3.A  Añadir el campo de información del estudiante Fuente: ejemplor; programa Access. 5. Modifique Field Size en Field Properties a 20 caracteres para ambas variables (véase la figura del ejercicio 10.3.A). La longitud del campo estará definida por el campo Width utilizado en el programa de captura de datos y en el manual de codificación. (Nota: Puede que usted quiera aumentar el ancho y la longitud de la variable si los nombres que contienen más de 20 caracteres son comunes en el país de administración). 6. Para la variable GivenName, deje el resto de las propiedades de campo en sus valores por defecto. 7. Para la variable FamilyName, cambie la propiedad Required a Yes en el menú desplegable para indicar que se debe registrar el apellido. GESTIÓN DE DATOS | 143  EJERCICIO 10.3  (continúa) 8. Para el campo Allow Zero Length, si los datos son opcionales, se permite el valor por defecto Yes. Sin embargo, algunos campos tendrán que tener esta propiedad ajustada en No para indicar que no se permite no ingresar datos. En este caso, establezca el valor No. Las últimas cinco propiedades—Indexed, Unicode Compres- sion, IME Mode, IME Sentences y Smart Tags—pueden dejarse sin cambios, en sus valores por defecto. 9. Ingrese la variable SchoolName usando los mismos procedimientos. Considere las propiedades requeridas de los campos, y asegúrese de que sean coherentes con la información que consta en su manual de codificación. Todos los campos de datos han sido parametrizados como texto. La sección titulada “Valores por defecto” (Deafult Values) se ocupa de la entrada y definición de datos de tipo numérico. La siguiente variable es YearLevel. Este dato es numérico con un valor válido de 3. 10. Ingrese el nombre del campo YearLevel; luego desplácese al campo Data Type y seleccione Number del menú desplegable. La variable YearLevel es un indicador del año que cursa el estudiante que realiza la evaluación. A veces las clases son “mixtas” cuando no todos los estudiantes están en 3.º curso (es decir que la clase incluye 2.º y 3.º curso o 3.º y 4.º curso), y usted desea poder filtrar por estos datos. Indicaremos cómo tratar las propiedades del campo YearLevel en el ejercicio 10.5. 11. Seleccione Office Button – Save o (CTRL+S) para guardar la tabla. Valores por defecto Se aconseja la inclusión de un valor por defecto para indicar cuando el operador de captura de datos no ha hecho un cambio. Puede espe- rarse un valor por defecto cuando la prueba está restringida a un grupo en particular (como el 3.º curso, en este caso). Por ejemplo, se puede tener un campo para indicar que el estudiante tiene un libro de texto. Si la mayoría de los estudiantes posee un libro de texto de cien- cias, el valor por defecto puede ser predeterminado en 1 para indicar “posee un libro de texto de ciencias”. En este caso, se ingresaría un dato en este campo solo si el estudiante no posee un libro de texto de ciencias. O bien, se puede predeterminar que el valor por defecto sea un código no válido (por estar excluido de las opciones de respuesta) para asegurar una entrada forzosamente. En este caso, el valor por defecto se ingresa automáticamente para todos los nuevos registros, y el valor es luego reemplazado a medida que los datos son ingresados. No obstante, si un estudiante o encuestado no dio una respuesta, se 144 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO considera “dato faltante”, y se ingresa el valor para datos faltantes. En el ejercicio 10.4, el valor por defecto fue fijado en 7, que está fuera del conjunto válido de respuestas, para indicar dónde el operador de captura de datos ha hecho un cambio y dónde no lo ha hecho. Si se requiere la entrada para un cierto campo, el operador de captura de datos necesitará ingresar un código que esté dentro del conjunto de respuesta válida (por ejemplo, 1 = A; 2 = B; 3 = C; 4 = D; 8 = ­duplicado; 9 = faltante). Validación Validación es el proceso para asegurar que en un determinado campo solo se puedan ingresar datos verosímiles. En aras de la eficiencia, se aconseja ajustar las reglas de validación para esta fuente de datos para minimizar la cantidad de correcciones que se deberán hacer durante la fase de verificación. Para una pregunta de opción múltiple con cuatro respuestas debe- ría haber solo los valores 1, 2, 3, 4; 8 (para múltiples respuestas); EJERCICIO 10.4 Fijación de valores por defecto Siga los siguientes pasos para fijar los valores por defecto: 1. Abra …\NAEA DATA CLEANING\MY SOLUTIONS\MATHS_3A_DATA.ACCDB. 2. Abra TBL_YR3_MATHS_DATA en modo Design View. 3. Ingrese la variable Gender luego de la variable YearLevel y ajuste Data Type en Number. 4. En la columna Description entre Gender: 1 = Boy; 2 = Girl; 8 = multiple response; 9 = missing. 5. En el área Field Properties, ajuste Default value en 7 (figura del ejercicio 10.5.B del próximo ejercicio). Ajustando el valor por defecto por fuera del rango de respuesta válida, se vuelve obligatorio hacer una entrada para la variable Gender, lo que significa que el operador no puede omitir esta variable. Si el cuadernillo de la prueba no proporciona ningún dato, el operador de captura de datos deberá ingresar 9 para representar el dato omitido. La configuración de la escala de respuesta válida se explica en la sección “Validación”. GESTIÓN DE DATOS | 145  o 9 (sin respuesta). Estos valores constituyen la escala de respuesta válida. No tendría que existir un valor 6, por ejemplo, porque no representa una respuesta posible. Las reglas de validación implican la inserción de códigos en el pro- grama de captura de datos para asegurar que solo se ingresen respuestas válidas. Si un operador de captura de datos comete un error de tipeo e intenta ingresar un valor por fuera de la escala de valores (un código rebelde), el programa automáticamente no aceptará el valor; le advertirá al operador de captura de datos que debe ingresar un valor de la escala válida. En Access, las reglas de validación se determinan en las propieda- des del campo. El ejercicio 10.5 muestra cómo usar estas propiedades. EJERCICIO 10.5 Uso de la regla de validación y de las propiedades del texto de validación El siguiente ejercicio describe el uso de la regla de validación. 1. Abra …\NAEA DATA CLEANING\MY SOLUTIONS\MATHS_3A_DATA.ACCDB. 2. Abra tbl_Yr3_Maths_Data en modo Design View. 3. Para la variable YearLevel determine Default Value en 7. Haga clic en el campo Validation Rule, y en el área Field Properties ingrese lo siguiente: > 1 AND < 5. Este valor permite clases de niveles mixtos. Si las clases incluyen estudiantes que frecuen- tan múltiples grados (por ejemplo, una clase con estudiantes de 2.º y 3.º año que reciben instrucción al mismo tiempo), usted puede desear que todos los estudiantes tomen el mismo examen para comparar el rendimiento de las dos cohortes. Fijar la regla de validación en valores del 1 al 5 le permitirá hacerlo. Validation Text es el próximo campo en la ventana Field Properties. Este le permite al creador de la base de datos alertar al operador de captura de datos acerca de la incidencia de códigos inválidos o acerca de los valores ingresados al momento de capturar los datos. 4. Haga clic en el campo Validation Text e ingrese lo siguiente: Must be in Year 3 or mixed Year 3 class (véase la figura del ejercicio 10.5.A). Este es el mensaje de error que aparecerá si el operador de captura de datos intenta ingresar un valor fuera del conjunto válido. 5. Complete Validation Rule y Validation Text para la variable Gender. Aquí, el género está codificado 1 para Boy, 2 para Girl, 8 para múltiples respuestas y 9 para respuesta omitida (véase la figura del ejercicio 10.5.B). El cuadernillo de examen registra Age en cuatro categorías. El código 1 representa “Age is less than 8”; el código 2 representa “Age is 8”; el código 3 representa “Age is 9”; y el código 4 representa “Age is greater than 9.” La figura del ejercicio 10.5.C muestra cómo ingresar estos datos. (continúa) 146 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO EJERCICIO 10.5  (continúa) El siguiente campo es el indicador acerca de si en el hogar normalmente se habla una lengua diferente de la usada en la prueba (por ejemplo, inglés). El texto usado para las respuestas (código marco) suele escribirse en la columna Description. Nótese que para la variable TestLanguage las respuestas de los estudiantes están codificadas 1 para Yes (se habla normalmente otra lengua) o 2 para No (normalmente no se habla otra lengua) (véase la figura del ejercicio10.5.D). FIGURA DEL EJERCICIO 10.5.A  Ejemplo para regla de validación Fuente: ejemplo, programa Access. FIGURA DEL EJERCICIO 10.5.B  Ejemplo de texto de validación: sexo Fuente: ejemplo, programa Access. GESTIÓN DE DATOS | 147  EJERCICIO 10.5  (continúa) FIGURA DEL EJERCICIO 10.5.C  Validación de valores codificados: edad Fuente: ejemplo, programa Access. FIGURA DEL EJERCICIO 10.5.D  Validación para valores de texto: idioma de la prueba Fuente: ejemplo, programa Access. 6. Complete los campos Default Rule, Validation Rule y Validation Text para las variables Age y TestLanguage y guarde la tabla (CTRL+S). 148 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO Preparación de la tabla para la captura de los datos Buena parte del tiempo empleado grabando datos implica el ingreso de respuestas a ítems de prueba (y cuestionarios) administrados durante la evaluación nacional. El proceso de preparación de la tabla para los datos de los ítems es similar al empleado para preparar la información demográfica de los estudiantes. El tipo de campo para cada respuesta generalmente es numérico. Los datos de tipo texto son utilizados para respuestas que requieren palabras, frases o pasajes largos. Captura de datos En esta fase, ya está creada la tabla en la que se registrarán los datos recogidos en los formularios de prueba de los estudiantes, pero aún no se ha capturado ningún dato. Ahora hay que preparar una planilla de captura de datos para la tabla con el fin de contribuir a asegurar una captura consistente y precisa. En Access esta planilla se denomina formulario. Los ejercicios 10.6, 10.7, 10.8, y 10.9 tratan varios aspec- tos de la captura de datos y de la preparación de los formularios. EJERCICIO 10.6 Captura de datos de campo en la base de datos Este ejercicio le enseña cómo capturar datos de campo en la base de datos: 1. Abra …\My Solutions\Maths_3a_data.accdb (con los cambios guardados en ejercicios anteriores). 2. Abra tbl_Yr3_Maths_Data en modo Design View. 3. Ingrese la información de campo indicada para el primer ítem: Q3Aq01. ­Nuevamente, necesitará remitirse al manual de codificaciones que ha completado o a la solución para el manual de codificación que se ofrece en la carpeta EXERCISE SOLUTIONS. Sugerencia: Este ítem es una pregunta de respuesta cerrada. Establezca Field Properties para datos de respuesta en Required, establezca el Default Value en 77, e incluya Validation Rule y Validation Text. Compare sus respuestas con las dadas en la figura del ejercicio 10.6.A. GESTIÓN DE DATOS | 149  EJERCICIO 10.6  (continúa) Nota: Para datos numéricos, Field Size tendrá como opciones por defecto Double o Long Integer. Esta es una configuración interna que permite realizar operaciones matemáticas sobre estos datos. Permita que se aplique la configuración por defecto. 4. Ingrese las propiedades de campo para el segundo ítem de la prueba de matemáti- cas. Es también una pregunta de opción múltiple con cuatro respuestas posibles (figura del ejercicio 10.6.B). FIGURA DEL EJERCICIO 10.6.A  Elementos de los datos de campo: Pregunta 1 Fuente: ejemplo, programa Access. FIGURA DEL EJERCICIO 10.6.B  Elementos de los datos de campo: Pregunta 2 Fuente: ejemplo, programa Access. (continúa) 150 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO EJERCICIO 10.6  (continúa) El procedimiento de copiar y pegar puede ser utilizado para copiar la información desde el ítem 2 hacia otros ítems con opciones múltiples (tal como Q3Aq07, Q3Aq08, Q3Aq09, y así sucesivamente) donde las opciones de respuesta son idénticas (por ejemplo, para estos ítems, en los campos Validation Rule y Validation Text). De manera similar, se puede copiar y pegar información desde una pantalla Field Property a otra. Por ejemplo, se puede copiar la regla de validación y el texto de validación material para cada pregunta de opción múltiple a cualquier otra pregunta de opción múltiple copiando el campo Q3Aq02 (CTRL+C), que está seleccionado en la figura del ejercicio 10.6.B, y pegándolo (CTRL+V) en la posición correcta (por ejemplo, Q3Aq07). Cambie el nombre del campo (Field Name) (por ejemplo, a Q3Aq07), y repita el proceso para cada pregunta de opción múltiple del texto. Ingrese las propiedades del campo para los ítems restantes, hasta el ítem 14. 5. La figura del ejercicio 10.6.C muestra el formato de tabla para las 14 preguntas así como el formato de tabla de los datos demográficos. Allí se resalta la estructura de la pregunta 11. FIGURA DEL EJERCICIO 10.6.C  Estructura del campo para todos los datos del ítem demográfico Fuente: ejemplo, programa Access. GESTIÓN DE DATOS | 151  EJERCICIO 10.6  (continúa) Q3Aq04 es un ítem de respuesta construida. El operador de captura de datos deberá ingresar la respuesta efectiva del estudiante, o 99, si el estudiante no intentó responderla. Los datos de los ítems de prueba serán puntuados luego, una vez que todos los datos hayan sido verificados y validados. 6. Guarde la tabla (CTRL+S). 7. Abra la tabla …\EXERCISE SOLUTIONS\MATHS_3A_DATA_SOLUTION1.ACCDB y compare TBL_YR3_MATHS_DATA_SOLUTION1 con su tabla TBL_YR3_ MATHS_ DATA. Si las dos tablas difieren de manera significativa, copie el formato y los datos de campo desde TBL_YR3_MATHS_DATA_ SOLUTION1 a su tabla. EJERCICIO 10.7 Crear un formulario En este ejercicio usted aprenderá cómo crear un formulario: 1. Abra …\MY SOLUTIONS\MATHS_3A_DATA.ACCDB con los cambios guardados en ejercicios anteriores. 2. Seleccione la tabla TBL_YR3_MATHS_DATA en el menú de la izquierda. Luego, desde la pestaña Create, haga clic en Form (véase la figura del ejercicio 10.7.A). FIGURA DEL EJERCICIO 10.7.A  Crear un formulario para captura de datos Fuente: ejemplo, programa Access. El programa elaborará automáticamente un formulario con campos que se corresponden con los de la tabla original, como se muestra en la figura del ejercicio 10.7.B. 3. Guarde el formulario haciendo clic en Office button – Save (o CTRL+S). Cambie el prefijo de tbl_ (que indica una tabla) a frm_ (para indicar que este es el formulario para TBL_YR3_MATHS_ DATA), y haga clic en OK. (continúa) 152 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO EJERCICIO 10.7  (continúa) FIGURA DEL EJERCICIO 10.7.B  Campos de formulario generados automáticamente Fuente: ejemplo, programa Access. La estructura de formulario que se muestra en la Figura 10.7.B puede no ser apropiada para una captura de datos veloz. En algunos casos, arreglar las celdas del formulario para que acepten los datos de ítems de manera similar a la estructura del cuadernillo o la hoja de respuestas puede hacer más sencillo el ingreso de los datos. EJERCICIO 10.8 Cambiar la estructura del formulario Para cambiar la estructura del formulario, siga estos pasos: 1. Abra …\MY SOLUTIONS\MATHS_3A_DATA.ACCDB con los cambios guardados en ejercicios previos. 2. Desde el menú All Access Objects situado a la izquierda de la ventana, abra FRM_ YR3_MATHS_DATA en modo Design View. Los campos del formulario no pueden ser editados, añadidos o cancelados. 3. Haga clic derecho en el formulario en el panel izquierdo. Seleccione todos los campos del formulario usando la función pulsar y arrastrar del ratón para “enlazar” todos los cuadros de texto en el formulario. Puede seleccionar todos los cuadros de texto presionando CTRL+A (‘Seleccionar todo’). Desde la sección Form Design Tools– Arrange de la pestaña, haga clic en Remove en el área Control Layout. Esto cancelará las estructuras previas aplicadas a los controles y ahora los campos del formulario pueden desplazarse dentro del formulario. GESTIÓN DE DATOS | 153  EJERCICIO 10.8  (continúa) 4. Seleccione los campos que quiere mover a otra zona del formulario, y use el ratón (función pulsar y arrastrar) o las teclas de desplazamiento del teclado para mover el campo a la posición deseada (figura del ejercicio 10.8.A). Haciendo clic en el primer campo (por ejemplo, StudID) y luego manteniendo presionada la tecla de mayúscula mientras se hace clic en los otros campos, se puede seleccio- nar múltiples cambios. Recuerde soltar la tecla de mayúscula y posicionar el cursor en cualquiera de los cuadros seleccionados antes de mover los cuadros seleccionados (o puede soltar la tecla de mayúscula y mover los cuadros con las teclas de desplazamiento). También puede seleccionar múltiples campos utilizando la función pulsar y arrastrar del ratón para “enlazar” los campos deseados. FIGURA DEL EJERCICIO 10.8.A  Mover campos del formulario Fuente: ejemplo, programa Access. Nótese que puede arrastrar la barra Form Footer posicionando el cursor encima del cuadro Form Footer y utilizando la función pulsar y arrastrar para desplazarla hasta la posición deseada. (continúa) 154 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO EJERCICIO 10.8  (continúa) FIGURA DEL EJERCICIO 10.8.B  Redimensionado de campos Fuente: ejemplo, programa Access. 5. Los campos también pueden ser redimensionados haciendo clic y cambiando su forma. Seleccione los cuadros que desea redimensionar, luego arrastre las flechas en sus esquinas o los lados de los pequeños cuadros seleccionados para obtener la forma deseada (figura del ejercicio 10.8.B). 6. Guarde los cambios (CTRL+S) antes de salir del formulario. EJERCICIO 10.9 Ingreso de datos al formulario Para ingresar datos al formulario, siga los siguientes pasos: 1. Abra …\MY SOLUTIONS\MATHS_3A_DATA.ACCDB (con los cambios guardados de ejercicios previos). 2. Abra FRM_YR3_MATHS_DATA en el menú All Access Objects en Form View (la vista predeterminada). ­ jercicio 10.9.A) 3. Ingrese al formulario los datos demográficos del estudiante (figura del e desde el primer cuadernillo de estudiante junto con las respuestas del estudiante, que GESTIÓN DE DATOS | 155  EJERCICIO 10.9  (continúa) pueden ser tomadas del resumen de respuestas de este estudiante a los diferentes ítems que se presentan en la figura del ejercicio 10.9.B. (Nota: Esta información normalmente se extrae directamente del cuadernillo del estudiante, pero para ahorrar espacio, se creó un resumen de las respuestas de los estudiantes.) 4. El dato (figura del ejercicio 10.9.C) se guardará automáticamente en la tabla que ha creado para el formulario, en este caso, TBL_YR3_MATHS_3A_DATA. A medida que se ingresan los datos, la tabla se expande para aceptar cada vez más registros. FIGURA DEL EJERCICIO 10.9.A  Datos de los estudiantes que se ingresan en el formulario 2007 MATEMÁTICAS 3A Identificador del estudiante: 1294302 NOMBRE : Aaron Anama (Nombre de pila) (Apellido) Escuela : Eaglehawk school Curso : 3 ¿Eres niño o niña? Niño Niña ¿Cuántos años cumples este curso? menos de 8 8 9 más de 9 ¿Hablas habitualmente un idioma distinto al inglés en casa? Sí No (continúa) 156 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO EJERCICIO 10.9  (continúa) FIGURA DEL EJERCICIO 10.9.B  Resumen de la respuesta a ítems de los estudiantes Réponse Champ Type de l’élève Q3Aq01 CR 15 Q3Aq02 MC 3 Q3Aq03 MC 4 Q3Aq04 CR 28 Q3Aq05 CR 1 Q3Aq06 CR 24 Q3Aq07 MC 2 Q3Aq08 MC 1 Q3Aq09 MC 3 Q3Aq10 MC 2 Q3Aq11 TM 1 Q3Aq12 CR 1 Q3Aq13 MC Q3Aq14 MC 1 Fuente: ejemplo, programa SPSS. FIGURA DEL EJERCICIO 10.9.C  Registro 1 con datos ingresados Fuente: ejemplo, programa Access. GESTIÓN DE DATOS | 157  EJERCICIO 10.9  (continúa) Cada vez que se ingresa un dato erróneamente, un cuadro de diálogo alerta del error. En la figura del ejercicio 10.9.D, por ejemplo, el operador de captura de datos intentó ingresar 6 en el campo YearLevel cuando los únicos valores válidos son 2, 3, y 4. Si en el diseño original de la tabla se especificaron criterios de validación incorrectos (por ejemplo, si solo se definieron como válidos los valores 1, 2, 3 o 9 cuando 4 también debe ser una respuesta válida), y no le permiten al operador la entrada de un valor válido, se puede corregir los criterios de validación agregando este valor válido a la tabla de propiedades en la vista del diseño de la tabla que se está actualizando (véase el ejercicio 10.6 para obtener las instrucciones sobre la determinación de reglas de validación). Asegúrese de probar su tabla y su formulario antes de comenzar la captura de los datos. En esta etapa, los errores pueden ser corregidos fácilmente pero luego es más difícil detectarlos. Si varias personas ingresarán datos, asígnele a cada uno una copia separada del formulario Access para que pueda controlar a cada uno independientemente. A veces un operador de captura de datos en particular puede ser descuidado. En modo Edit, desplazarse mediante el tabulador entre celdas hace que el siguiente campo se seleccione automáticamente de manera que el dato ingresado sobrescribe el valor por defecto. Pulsar el tabulador tras el último campo de un registro lleva al siguiente registro que requiere el ingreso de datos. FIGURA DEL EJERCICIO 10.9.D  Ejemplo de un intento de captura de un dato no válido Fuente: ejemplo, programa Access. 158 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO Insertar nuevos campos o agregar campos a la planilla A veces es necesario crear nuevos campos (por ejemplo, si la planilla fue creada con 12 ítems y la prueba contiene 30 ítems). Es posible agregar nuevos campos de una o dos maneras. La primera: hacer clic en el ícono ab| de la barra de herramientas, en la cinta Form Design Tools – Design y hacer clic en el área del formulario donde hay que agregar el nuevo campo. (Nota: Si el ícono no es visible, pulse el botón de martillo con llave inglesa en la barra de herramientas, y este apare- cerá). La medida y la forma de la etiqueta y del cuadro de texto (así como las propiedades de los campos) se ajustarán a los valores prede- terminados. Deben ser redimensionados (o cambiados) manualmente si deben ser idénticos a las etiquetas y cuadros de texto ya existentes en el formulario. Luego, determine la fuente de control para el cuadro de texto haciendo clic derecho en el cuadro de texto (el cuadro a la derecha), seleccione Property Sheet desde la pestaña Design, selec- cione la pestaña Data, y luego elija la fuente pertinente desde el menú desplegable Control Source. Estos pasos cambiarán los contenidos del cuadro de texto de Unbound a la fuente pertinente. La segunda (y más rápida) forma de agregar otro campo es la siguiente: copie (CTRL+C) una etiqueta y un cuadro de texto, y luego péguelos (CTRL+V) en el formulario. Esta copia será idéntica a los datos originales en todos los aspectos y puede ser agregada selec- cionando y pegando grupos de etiquetas y cuadros de texto (en lugar de un único conjunto). Luego puede cambiar el nombre del texto y de los datos variables por los valores requeridos. Las etiquetas y cua- dros de texto se pegarán automáticamente en el ángulo superior dere- cho de la página y pueden ser movidos haciendo clic y arrastrándolos o utilizando las teclas de desplazamiento. Exportación de datos Una vez que se haya ingresado todos los datos, puede revisar todo el ingreso de datos en la tabla original, que ahora está enlazada al formu- lario. Los datos ingresados en un formulario Access o tabla pueden exportarse como un archivo .xls o .txt abriendo el menú exportar y haciendo clic en el ícono de Excel o de Text file desde la sección GESTIÓN DE DATOS | 159  Export de la pestaña External Data. Se puede editar el destino del archivo haciendo clic en el botón Browse y navegando hasta la ubica- ción deseada; se puede cambiar el nombre del archivo editando el texto en el cuadro FileName. Nótese que ninguno de los ejercicios utiliza exportación de Excel como una fuente de datos; se utiliza más bien como un mecanismo de control, tal como se describe en el ejercicio 11.1. Los datos no se pueden exportar directamente a SPSS ­ desde Access, pero pueden ser importados por SPSS siguiendo las ins- trucciones proporcionadas en el ejercicio 10.10. De todos modos, transferir datos de una aplicación a otra puede producir errores; y por esta razón, debería mantenerse en niveles absolutamente mínimos. La tabla Access importada a SPSS en el ejercicio 10.10 contendrá solo los datos ingresados manualmente en ejercicios anteriores. Se llama DATA_SET_1.SAV en la carpeta EXERCISES. Este archivo SPSS contiene 297 registros y algunos errores agregados deliberada- mente, lo que se verá en los ejercicios que siguen. También se agrega- ron los datos para las columnas Label, Values y Missing en Variable View. Asimismo, nótese que la columna SchoolID fue también aña- dida para este conjunto de datos. Las partes 1 y 2 de este volumen han cubierto la creación y uso de los números de identificación de escue- las cuando se llevan a cabo evaluaciones nacionales (véanse las pági- nas 22 y 67). En las partes 2 y 4 del presente volumen se proporcionan las instrucciones para crear variables derivadas. EJERCICIO 10.10 Importación de datos a SPSS Los siguientes pasos le permitirán importar datos de un formulario Access a SPSS: 1. Abra SPSS (Start – Programs – SPSS). 2. Seleccione File – Open database – New Query. 3. Ahora aparecerá la ventana Database Wizard. Seleccione MS Access Database desde la lista ODBC Data Sources. Luego haga clic en Next. 4. Ahora aparecerá la ventana ODBC Driver Login. Haga clic en el botón Browse y navegue hasta el sitio donde está archivada su base de datos Access (…NAEA DATA CLEANING\MY SOLUTIONS). Seleccione su base de datos (MATHS_3A_DATA. ACCDB), haga clic en Open, y luego haga clic en OK. (continúa) 160 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO EJERCICIO 10.10  (continúa) 5. Aparecerá la tabla tbl_Yr3_Maths_Data en el cuadro Available Tables. Haciendo doble clic en este ícono o haciendo clic en la flecha a la derecha de este cuadro, recuperará todos los archivos de esta tabla (figura del ejercicio 10.10.A). Haga clic en Next. FIGURA DEL EJERCICIO 10.10.A  Importación del archivo de datos Fuente: ejemplo, programa Access. 6. La próxima pantalla le permitirá limitar el número de casos importados según criterios específicos de selección. Si desea importar todos los casos, simplemente haga clic en Next. 7. La próxima pantalla le permitirá editar los nombres y propiedades de las variables. Para el objetivo de este ejercicio, mantenga los valores predeterminados y haga clic en Next. GESTIÓN DE DATOS | 161  EJERCICIO 10.10  (continúa) 8. La última pantalla muestra la sintaxis de SPSS que puede utilizarse para efectuar esta importación en particular. Si en el futuro se efectuarán importaciones idénticas (o importaciones con mínimos cambios), querrá pegar la sintaxis para su uso futuro o para su modificación. Por ahora, mantenga seleccionada la opción Retrieve the data I have selected. Haga clic en Finish. (Nótese que en Variable View, las columnas Label, Values y Missing están en blanco. Idealmente, estas columnas deberían completarse antes de que se comience a llevar a cabo el análisis). 11 CA P Í T U L O VERIFICACIÓN DE DATOS La verificación de datos constituye el proceso de asegurarse de que los datos recibidos de las diversas fuentes no contengan errores. Los procesos de captura de datos que se planifican, documentan y supervisan ayudan a reducir los errores cuando las respuestas de la prueba y el cuestionario del alumno se transfieren a ­ formatos de datos electrónicos. Sin embargo, sigue habiendo fuentes de error posibles, como pueden ser respuestas con errores mecanográ- ficos, omisión de datos y errores en la manipulación y la fusión de datos de diferentes fuentes. DOCUMENTACIÓN Dado que en las evaluaciones nacionales toman parte equipos que trabajan en diferentes aspectos de los datos, a veces durante un período considerable, la agencia de evaluación nacional debe tener un registro de todos los cambios hechos en los datos. Este registro será especialmente útil para quienes llevan a cabo evaluaciones nacionales de seguimiento y para quienes realizan análisis secunda- rios de los datos. 163 164 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO Por este motivo, debe crearse un archivo ReadMe para registrar cualquier cambio hecho en el archivo de datos por los operadores clave durante la captura de datos. El archivo también debe documen- tar la fuente y el nombre de archivo del archivo de datos limpio. Este registro debería ayudar a prevenir la confusión respecto de la versión de los datos que debería analizarse. Si bien algunos programas, como SPSS (Paquete estadístico para ciencias sociales), registran automáti- camente los cambios hechos en los datos mientras se utiliza el pro- grama, mantener un archivo ReadMe durante todo el proyecto es de todas maneras importante para almacenar en un lugar todos los cam- bios de todos los programas y operaciones. El archivo ReadMe denominado README.DOCX en la carpeta EXERCISE SOLUTIONS es un ejemplo de la documentación de res- paldo de los procesos de depuración de datos (véase el Anexo III.A). COHERENCIA ENTRE ARCHIVOS Muchas evaluaciones nacionales capturan cada registro de datos dos veces. La finalidad del doble ingreso de datos es tener dos juegos de datos que pueden cotejarse para encontrar casos de errores mecano- gráficos. Si la evaluación nacional requiere una metodología de doble ingreso de datos, la exactitud de cada archivo debe verificarse y se deben corregir los datos originales. El ejercicio 11.1 contiene las respuestas de seis alumnos tomadas de un conjunto de datos mucho más grande que se ingresaron dos veces y se compararon en cuanto a su exactitud. Por motivos de economía y practicidad, se utilizó Excel para comparar las respuestas dadas en este ejercicio. Generalmente, programas menos comerciales, como WinDem, o programas más costosos, como el módulo de captura de datos del Paquete SPSS, se utilizarían para las verificaciones de cohe- rencia entre archivos. Por lo general, utilizar Excel de este modo no requiere que los datos se importen a Excel para usarse para cualquier otro análisis. Excel se usa solo para resaltar posibles errores en los datos de Access, y estos datos luego se actualizan de forma manual en la base de datos de Access. Este método, por consiguiente, limita las posibilidades de error al transferir datos de una aplicación a otra. VERIFICACIÓN DE DATOS | 165  EJERCICIO 11.1 Verificación de datos con Excel Los siguientes pasos le permitirán verificar datos mediante Excel: 1. Abra …\NAEA Data Cleaning\Exercises\Data Verification Exercise.xlsx. Tenga en cuenta que los datos de las dos fuentes se encuentran en dos hojas individuales que se denominan Final data y Punch 2. La hoja 3 (Verification) se utilizará para verificar los datos. 2. Seleccione Office button – Save As y guarde el archivo como MY_DATA_ VERIFICATION.XLSX en su carpeta MY SOLUTIONS. 3. En la hoja Verification, escriba la fórmula en la celda A4 con la siguiente sintaxis: =‘Final data’!A4=‘Punch 2’!A4. Esta fórmula comparará el dato de la celda A4 de la hoja de datos Final data con el dato de la celda A4 de la hoja de datos Punch 2. Hacer clic en esta fórmula y arrastrarla por todas las celdas creará fórmulas similares para todo el conjunto de datos. 4. Excel realiza una comparación lógica para verificar si las celdas son idénticas. Este proceso devuelve TRUE (verdadero) si los valores correspondientes son idénticos y FALSE (falso) si los valores difieren. El resultado de las rutinas de verificación en Verification se muestra en la figura del ejercicio 11.1.A. FIGURA DEL EJERCICIO 11.1.A  Resultado de verificación Fuente: ejemplo en el programa Excel. (continúa) 166 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO EJERCICIO 11.1  (continúa) 5. Guarde la hoja de cálculo (CTRL+S). La solución de este ejercicio se encuentra aquí: …\NAEA DATA CLEANING\EXERCISE SOLUTIONS\DATA_VERIFICATION_ EXERCISE_SOLUTION.XLXS. El resultado de la validación en la figura del ejercicio 11.1.A muestra dos comparaciones FALSE (falso) en el campo Given name (Nombre de pila), lo que indica errores de mecanografía en los nombres de pila. Deben verificarse cinco errores más en los otros campos de datos remitiéndose a los cuadernillos de prueba originales. Las correcciones de los datos deben hacerse en la tabla pertinente de la base de datos de Access con todas las correcciones registradas en el archivo README.DOCX, como se describe en la sección “Documentación” de este capítulo. Nota: Durante una evaluación nacional real, debe crearse una copia de seguridad de la base de datos original (previamente editada). Este registro inicial puede servir como un recurso de un valor inestimable, en especial si surgen problemas relativos a posibles cambios erróneos. COHERENCIA EN EL INTERIOR DE UN ARCHIVO La coherencia de un archivo pertenece a los procesos de comprobación para determinar si los datos son tan exactos como es posible. Incluso con una planilla de captura de datos completa, es posible que haya errores o datos incompletos. Por ejemplo, una evaluación nacional puede haberse implementado en los grados 3 y 7, pero es posible que también hayan participado clases mezcladas con estos niveles. Las respuestas válidas para el campo Year level (nivel) deberían ser solo 2, 3, 4, 6, 7 y 8. Si la regla de validación especificó que solo valores numéricos entre 2 y 8 (inclusive) son válidos, podría ingresarse por un error mecanográfico un valor incorrecto de 5 y no sería capturado por la regla de validación. Por lo general, cuando se encuentran incoherencias de datos, la única opción es obtener el documento fuente original (el documento de prueba del alumno) y corregir el error. La necesidad de chequeo cruzado es el principal motivo por el que se debe garantizar que el personal de captura de datos tenga fácil acceso a las pruebas y cues- tionarios originales. VERIFICACIÓN DE DATOS | 167  El Paquete SPSS está ampliamente disponible; por lo tanto, se ha utilizado en la siguiente sección para verificar la coherencia en el interior de un archivo. Otros programas que pueden llevar a cabo esta tarea de manera eficiente son WinDem, STATISTICA y SAS (Programa de análisis estadístico). Coherencia de datos demográficos (nombre de la escuela) Los errores ortográficos en los cuadernillos de prueba y cuestionarios no son poco frecuentes y pueden causar problemas en la gestión de datos. Una fuente de error común se presenta cuando un alumno escribe mal o abrevia el nombre de la escuela y el operador de captura de datos copia este error exactamente del cuadernillo de prueba del alumno. Este tipo de error no es un problema cuando los números de identificación del alumno, o ID, que incluyen un código de escuela, se asignan antes de que se envíen las pruebas y cuestionarios a las escue- las. No es infrecuente que los cuadernillos del alumno puedan tener diversas variaciones del nombre de la misma escuela. Por este motivo, la vinculación y la fusión de archivos se realizan mejor mediante el uso del ID de la escuela (mantenido a partir de la base de muestreo) en lugar del nombre (proporcionado por los alumnos que responden). A los fines del reporte, es mejor crear una tabla por separado en la base de datos de Access que contenga todos los nombres de escuelas correctamente escritos con sus correspondientes ID de escuela. Esta tabla puede luego vincularse a la tabla de datos del alumno y utilizarse para todos los fines de reportes oficiales (por ejemplo, imprimir el nom- bre de la escuela en el certificado de prueba del alumno en los casos poco frecuentes en que los alumnos obtengan los resultados). La vincu- lación de una tabla de nombres de escuelas con la tabla de datos de respuestas del alumno de esta manera se demuestra en el capítulo 16. El comando Frequency El comando Frequency en el Paquete SPSS le permite observar todos los valores que están presentes en cada variable seleccionada. Si hay valores fuera de rango (valores no válidos) presentes, pueden corregirse después del chequeo cruzado con el cuadernillo de prueba original. 168 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO La tabla de resultados de frecuencia también puede usarse para resal- tar la incidencia de valores inverosímiles. Por ejemplo, si la evaluación nacional se administró en todas las escuelas del país en un nivel en particular, se puede prever razonablemente una proporción relativa- mente pareja de 50:50 de hombres y mujeres en la variable de género. Si la tabla de frecuencia muestra una proporción de 70:30, se debería investigar el motivo de esto y rectificar el problema, si está justificado. El procedimiento Frequency es apto para la mayoría de las varia- bles no continuas en un conjunto de datos. Es aconsejable por norma verificar todos los campos para detectar anomalías, independiente- mente de las reglas de validación de datos que puedan implementarse al momento de la captura de datos. Nota: El valor no válido de 13 para el campo Q3Aq02 presentado en el ejercicio 11.2 en teoría no debe- ría ser posible con las reglas de validación de datos configuradas en Access en la etapa de captura de datos; sin embargo, se presenta como un ejemplo de un valor no válido a los fines del ejercicio. Celdas faltantes del sistema Como regla general, el conjunto de datos no debería tener espacios en blanco. La base de códigos y los procedimientos de validación debe- rían permitir todas las respuestas posibles, incluida una respuesta omitida (por lo general un 9, 99 o 999, según la longitud del campo). Los espacios en blanco están sujetos a interpretación errónea y pue- den introducir incertidumbre acerca de los datos. Un espacio en blanco puede interpretarse con el significado de que faltan datos o de que el operador de captura de datos cometió un error u olvidó captu- rar los datos para esa celda o que no se requirió o esperó respuesta debido a patrones de omisión. Los ejemplos de captura de datos en el capítulo 10 utilizaron 7 como un valor predeterminado para los ítems de opción múltiple. Debido a que 7 era un valor no válido, un valor de 7 para los ítems de opción múltiple indicaría que el operador clave no registró ningún valor. El comando Frequency descrito en el ejercicio 11.2 puede utili- zarse para ubicar valores faltantes del sistema de modo que los valores puedan luego capturarse para estas celdas después de consultar el cuadernillo de prueba del alumno original (véase el ejercicio 11.3). VERIFICACIÓN DE DATOS | 169  EJERCICIO 11.2 Utilización del comando Frequency en el Paquete SPSS Este ejercicio le enseña a usar el comando Frequency en el Paquete SPSS: 1. Abra …\NAEA DATA CLEANING\EXERCISES\DATA_SET_1.SAV. 2. Seleccione File – Save As, y guarde el archivo como MY_DATA_SET_1.SAV en su carpeta MY SOLUTIONS. 3. Desde el menú Analyze, seleccione Descriptive Statistics – Frequencies. 4. Desde la lista de variables en la ventana Frequencies que ha aparecido, seleccione la variable Q3Aq02 y haga clic en la flecha (o simplemente haga doble clic en el nombre de la variable) para desplazarla a la lista de variables que está a la derecha (figura del ejercicio 11.2.A). Nota: Puede seleccionar más de una variable a la vez. FIGURA DEL EJERCICIO 11.2.A  Ejecución de un comando Frequency para buscar valores no válidos Fuente: ejemplo en el programa del Paquete SPSS. 5. Haga clic en OK. 6. Ahora deberían mostrarse los siguientes resultados en la ventana de salida del Paquete SPSS (figura del ejercicio 11.2.B). La cantidad de respuestas (frecuencia) para cada valor de ítem, incluidos valores faltantes de usuario y faltantes del sistema, se presenta en la columna Frequency. También se proporcionan los porcentajes respectivos, porcentajes válidos y porcentajes acumulativos para estas respuestas. El ejemplo muestra un valor de 13, que no es una respuesta válida para este ítem. (continúa) 170 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO EJERCICIO 11.2  (continúa) FIGURA DEL EJERCICIO 11.2.B  Valores desplegables para la variable Q3Aq02 Statistics Q3Aq02 N (válido) Valid 291 Missing (faltante) 6 Q3Aq02 Frequency Percent Valid Percent Cumulative Percent (frecuencia) (porcentaje) (porcentaje (porcentaje válido) acumulativo) Valid (válido) A: Leah 1 0,3 0,3 3 B: Marie 2 0,7 0,7 1,0 C: Sarah 286 96,3 98,3 99,3 D: Kari 1 0,3 0,3 99,7 13 1 0,3 0,3 100,0 Total 291 98,0 100,0 Missing 8 2 0,7 (faltante) 9 3 1,0 System 1 0,3 (sistema) Total 6 2,0 Total 297 100,0 Fuente: ejemplo en el programa del Paquete SPSS. 7. Vuelva a la ventana Data View de la hoja de datos original del Paquete SPSS, resalte la columna que contiene los datos de la variable Q3Aq02, y seleccione Edit – Find (CTRL+F). 8. Escriba 13 en el campo Find y haga clic en Find Next. Este comando ubica el valor no válido en el conjunto de datos, que, en este caso, pertenece al alumno Anthony Jamap (StudID 2152410). En el contexto de una evaluación nacional, la respuesta para este ítem se verificaría comparándola con la respuesta dada en el cuadernillo de prueba y el valor se cambiaría en consecuencia. En este caso, cambie el valor en la celda Q3Aq02 de este alumno por 3, y guarde (CTRL+S) el cambio. 9. Haga el cambio correspondiente en el archivo README.DOCX, como se muestra en la figura del ejercicio 11.2.C. Si vuelve a ejecutar el procedimiento Frequency (pasos 3 a 5), verá que ahora no aparece el listado para el valor de 13 y que los casos de respuesta del tercer ítem (C: Sarah) han aumentado de 286 a 287 en el conjunto de datos. VERIFICACIÓN DE DATOS | 171  EJERCICIO 11.2  (continúa) FIGURA DEL EJERCICIO 11.2.C  Extracto del archivo README.DOCX Stud ID Variable Data value (valor de datos) Repaired value (valor reparado) 2152410 Q3aq02 13 3 Los ejemplos de captura de datos en el capítulo 10 utilizaron 7 como un valor predeterminado para los ítems de opción múltiple. Debido a que 7 fue un valor no válido, un valor de 7 para los ítems de opción múltiple indicaría que el operador clave no registró ningún valor. EJERCICIO 11.3 Utilización del comando Frequency para encontrar valores faltantes Puede usar el comando Frequency para buscar valores faltantes de la siguiente manera: 1. Abra …\NAEA DATA CLEANING\MY SOLUTIONS\MY_DATA_SET_1.SAV (con cambios guardados de los ejercicios anteriores). 2. Ejecute el comando Frequency (según lo demostrado en el ejercicio anterior), esta vez transfiriendo todas las variables de Gender a Q3Aq14 en la lista de variables. 3. Desde la Tabla Gender Frequency (figura del ejercicio 11.3.A), puede ver que esta variable tiene un valor faltante del sistema, representado por el 1 que aparece a la derecha de System. Es uno de dos valores faltantes especificados en esta tabla; otro valor faltante del usuario está representado por el 1 a la derecha del 9 en la primera columna. FIGURA DEL EJERCICIO 11.3.A  Valores faltantes de género Valid Cumulative Frequency Percent Percent Percent Valid Male 147 49,5 49,8 49,8 (válido) (masculino) Female 148 49,8 50,2 100,0 Total 29 99,3 100,0 Missing 9 1 0,3 (faltante) System 1 0,3 Total 2 0,7 Total 297 100,0 Fuente: ejemplo en el programa del Paquete SPSS. (continúa) 172 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO EJERCICIO 11.3  (continúa) 4. Para encontrar este valor faltante en la hoja de datos (en Data View), seleccione Data – Sort Cases. En la ventana Sort Cases que aparece ahora, seleccione la variable Gender, y haga clic en la flecha para mover esta variable a la casilla Sort by. Luego haga clic en OK. 5. El registro con la variable Gender faltante aparecerá ahora como el primer registro. El valor en blanco debería corresponderse con StudID 4106321 para Simon Patchatt (figura del ejercicio 11.3.B). Si el género del alumno no puede confirmarse, debe ingresar un valor de 9. En este caso, suponga que verificó el cuadernillo de prueba original, que indicaba 1 para el género, e ingrese el valor de 1 (para Boy) en esta celda. FIGURA DEL EJERCICIO 11.3.B  Captura del valor correcto Fuente: ejemplo en el programa del Paquete SPSS. 6. Guarde (CTRL+S) los cambios hechos en la hoja de datos del Paquete SPSS. 7. Tenga en cuenta la actualización (Figura 11.3.C) en …\EXERCISE SOLUTIONS\ READ ME.DOCX. FIGURA DEL EJERCICIO 11.3.C  Actualización de README.DOCX Data value Repaired value (valor de (valor reparado) Stud ID Variable datos) 4106321 Gender Missing data 1 (género) (datos faltantes) 8. Para las variables restantes con valores faltantes o valores de 7, ingrese el código correspondiente a respuesta faltante (por ejemplo, 9 o 99), y haga las actualizaciones en su documento ReadMe. Puede comparar sus cambios con los documentados en la sección Data Modifications de README.DOCX en la carpeta EXERCISE SOLUTIONS. VERIFICACIÓN DE DATOS | 173  Creación de nuevas variables Los estudios de evaluaciones nacionales pueden usar información que no provenga de los alumnos, maestros o escuelas. Dicha información incluye un número de identificación oficial, la región administrativa de la escuela, y si la escuela participa en una iniciativa piloto especí- fica. Parte de esta información podría ser proporcionada por el minis- terio de educación, en particular mediante un sistema de información sobre la gestión educativa. Otras variables de interés para el equipo de evaluación pueden ser las variables derivadas, no directamente recogi- das de los alumnos, sus maestros, o sus escuelas, sino obtenidas como una combinación de elementos de datos inmediatamente disponibles en los cuadernillos. Incluso si el conjunto de datos se crea con Access, las variables derivadas pueden computarse en el Paquete SPSS. La segunda y ter- ­ cera partes de este volumen brindan varios ejemplos de creación de variables en el Paquete SPSS, utilizando los comandos del menú Transform – Compute Variable..., que pueden adaptarse fácilmente para satisfacer necesidades en particular, como la creación de un índice de nivel educativo parental que se base en los niveles más altos de educación alcanzados por la madre y el padre. La creación de nuevas variables puede conducir a errores. Es mejor evitar manipular muchos archivos y registros. Cuando se crean varia- bles derivadas utilizando el Paquete SPSS, puede ahorrarse una can- tidad de tiempo considerable aplicando un comando (que puede revertirse) a muchos registros. 12 CA P Í T U L O IMPORTACIÓN Y FUSIÓN DE DATOS En el capítulo 10 se abordaron rutinas para minimizar los errores en la entrada de datos utilizando Access. En la segunda parte se trató la creación de variables derivadas a partir de la utilización de los comandos del menú Transform - Compute Variable en el Paquete SPSS (Paquete estadístico para ciencias sociales). Una vez completas estas rutinas, si las variables adicionales han sido crea- das fuera de Access, resulta útil importar los archivos de vuelta a ­ Access para permitir la fusión eficaz de los datos. Este capítulo describe el proceso para exportar datos del Paquete SPSS a Access y ­ brinda algunas rutinas de verificación útiles. LOS PELIGROS DE LA TRANSFERENCIA DE DATOS ENTRE PROGRAMAS Es importante tomar precauciones siempre que se transfiera informa- ción entre archivos o se combinen datos provenientes de distintas fuentes porque pueden ocurrir errores. Tales errores pueden ser implí- citos o explícitos. Los errores implícitos se presentan porque los pro- gramas almacenan o codifican los datos de maneras diferentes, lo que 175 176 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO puede resultar en la pérdida o modificación irreversible de la informa- ción durante el proceso de transferencia. Un error común se presenta cuando el tipo de ítem correspondiente a un campo de datos en una aplicación difiere del de otra aplicación. Por ejemplo, uno puede ele- gir almacenar ciertos datos numéricos como texto para que los dígitos se almacenen exactamente como se ingresaron. Este método se utiliza comúnmente para mantener la integridad de un número identificador (ID) que comience con un 0. Sin embargo, la aplicación a la que se exportan estos datos puede registrar los dígitos en los campos y alma- cenar los números ID como datos numéricos. En consecuencia, los datos se almacenan como números y el dígito 0 con el que comienza el número ID se elimina. También se pueden perder datos durante transferencias si la longi- tud de campo de los ítems de datos difiere entre un programa y el otro. Por ejemplo, si la aplicación original posee un ancho de campo de 15 caracteres y la aplicación que recibe los datos tiene un ancho de campo de solo 5 caracteres, todos los datos que excedan los 5 caracte- res se perderán. Cuestiones relacionadas a la consistencia de los nom- bres de campo, a aplicaciones que no acepten determinados caracteres en los nombres de campo y a la consistencia de codificación (como la forma en que se almacenan valores perdidos) también son posibles vías de introducción de errores en los datos. Los errores explícitos generalmente son resultado de errores humanos. La eliminación accidental de datos, el “pasar por alto” regis- ­ tros y la transferencia parcial de datos son todos ejemplos de errores de datos explícitos, y a medida que aumenta la frecuencia con la que se transfieren datos entre programas, aumenta la posibilidad de que ocurran estos errores. Por estas razones, las rutinas de importación y exportación deben llevarse a cabo con cuidado y únicamente cuando sea absolutamente necesario. EXPORTACIÓN DE DATOS DE SPSS A ACCESS SPSS posee una función que permite exportar datos a una base de datos de Access. A los fines del ejercicio 12.1, se ha creado un archivo SPSS con todas las correcciones necesarias realizadas a los IMPORTAción Y FUSIón de DATOS | 177  EJERCICIO 12.1 Exportar datos desde SPSS a Access El ejercicio a continuación mostrará cómo exportar datos desde SPSS a Access: SOLUTION. • Abra ...\NAEA DATA CLEANING\EXERCISE SOLUTIONS\DATA_SET_1_­ SAV. • De la barra de herramientas, seleccione File – Export to Database. • Del cuadro ODBC Data Sources, resalte MS Access Database, y haga clic sobre Next (o simplemente haga doble clic sobre MS Access Database). • En la pantalla ODBC Driver Login, busque la base de datos que creó previamente (...\ MY SOLUTIONS\MATHS_3A_DATA.ACCDB). Haga clic sobre Open, y luego sobre OK. • En la pantalla Choose how to export the data, seleccione el último cuadro: Create a new table. • En el cuadro de texto Name, ingrese TBL_MATHS_3A_DATA_CLEANED. Luego haga clic sobre Next. • En la pantalla Select variables to store in new table, resalte todas las variables en el cuadro del lado izquierdo (CTRL+A). Luego haga clic en una de las flechas de la tabla del lado derecho para trasladar todas las variables al cuadro Table: TBL_MATHS_3A_ DATA_CLEANED (figura del ejercicio 12.1.A). FIGURA DEL EJERCICIO 12.1.A  Seleccionar variables para exportar Fuente: ejemplo dentro del programa SPSS. (continúa) 178 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO EJERCICIO 12.1  (continúa) • Haga clic sobre Next y luego sobre Finish. SPSS ha exportado los datos a Access y ha creado la nueva tabla, TBL_MATHS_3A__ DATA_CLEANED, según se demuestra en esta tabla que figura en el menú All Access Objects de su base de datos de Access. errores en los datos descubiertos en el capítulo 11. Este archivo corregido se encuentra en ...\NAEA DATA CLEANING\EXERCISE SOLUTIONS\DATA_SET_1_SOLUTION. SAV. Nota: Si se importan datos a Access desde otra fuente, es necesario asegurarse de que los nombres de campo no contengan ningún espa- cio ni caracteres especiales (por ejemplo: *, &, $). Si tales espacios o caracteres especiales existen, deben ser reemplazados por el carácter de subrayado (_), que está permitido. Debido a que SPSS tampoco permite estos caracteres en sus nombres de campo, no debería encon- trarse con este problema cuando exporte e importe datos entre SPSS y Access. IMPORTACIÓN DE DATOS CONEXOS Como ya se ha indicado, puede haber información importante sobre la escuela, el sistema o los estudiantes, que no se haya recopilado en las pruebas escritas de los estudiantes, contenida en un archivo central oficial. Estos datos pueden facilitar las comparaciones de rendimiento estatal o regional o incluir otra información importante relacionada con el grupo. En algunos países, por ejemplo, la información requerida sobre los padres o el entorno social y familiar del estudiante puede conservarse en bases de datos del departamento central oficial. El ejercicio 12.2 muestra de qué manera esos datos se pueden impor- tar a Access y muestra cómo se pueden utilizar las búsquedas para enla- zar los datos de diferentes tablas. En este ejemplo, el resto de los datos a importar y enlazar está relacionado con las escuelas y se guarda en un archivo central de Excel bajo el nombre de SCHOOLS.XLSX. El campo SchoolName de este archivo también se puede utilizar para IMPORTAción Y FUSIón de DATOS | 179  EJERCICIO 12.2 Importar datos de la escuela a Access Los siguientes pasos le muestran cómo importar datos de la escuela desde Excel a Access: Abra ...\NAEA DATA CLEANING\MY SOLUTIONS\MATHS_3A_DATA.ACCDB 1.  (con los cambios del ejercicio anterior guardados). 2.  De la cinta External Data, seleccione Excel en la sección Import. Haga clic sobre el botón Browse y navegue hasta…\NAEA DATA CLEANING\ 3.  EXERCISES\ SCHOOLS.XLSX. Resalte la hoja de cálculo SCHOOLS.XLSX y haga clic sobre Open. Luego haga clic 4.  sobre OK para importar los datos a la nueva tabla de Access. 5.  Resalte la Sheet1 y luego haga clic sobre Next. 6.  Deje el cuadro First row contains column headings seleccionado y haga clic en Next. La pantalla siguiente le permite especificar la información acerca de los datos que está 7.  importando. Para los fines de este ejercicio, simplemente haga clic sobre Next. Esta pantalla le permite fijar los ajustes de configuración principal de esta tabla de 8.  datos. Haga clic sobre Choose my own Primary Key, y seleccione SchoolCode del menú desplegable. Luego haga clic sobre Next. Nombre la tabla tbl_Schools. Luego haga clic sobre Finish. Su tabla importada de 9.  datos de la escuela aparecerá ahora en la sección de Tablas del menú All Access Objects. todos los fines de notificaciones oficiales que exijan que el nombre de la escuela se escriba correctamente (por ejemplo, para imprimir el nombre de la escuela en un certificado de prueba de un alumno), en lugar del campo SchoolName de la tabla de datos de respuesta del estudiante, que suele estar mal escrito por los estudiantes y debe usarse, por lo tanto, únicamente con finalidad de referencia cruzada. Luego de importar con formato de tabla a Access todos los datos que se va a fusionar o cuestionar, se pueden crear consultas para bus- car información o para realizar otras investigaciones sobre los datos y así comprobar los contenidos y la calidad. La sección siguiente des- cribe dos procesos de depuración de datos fundamentales. El primero describe la fusión de datos de dos archivos, proceso que puede deman- dar mucho tiempo y ser propenso a errores si se utiliza otro programa 180 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO informático como Excel. Por lo tanto, crear un solo archivo que sirva como fuente de datos única para todos los análisis de evaluación nacional es de suma importancia. La segunda sección describe cómo usar Access para buscar registros duplicados. Los operadores principa- les (y a veces operadores de escáneres) pueden distraerse en algún momento e ingresar accidentalmente dos veces la misma i ­ nformación. A menos que se use una rutina específica para comprobar duplicados, este tipo de problema de depuración de datos suele ser difícil de detectar. FUSIÓN DE DATOS A PARTIR DE TABLAS DIFERENTES UTILIZANDO BÚSQUEDAS DE ACCESS Debido a que las pruebas o formularios de respuestas de los estudiantes contienen relativamente poca información contextual que pueda ser de utilidad para los responsables de las políticas interesados en los resulta- dos de una evaluación nacional, puede que sea necesario recurrir a otras fuentes de información sobre escuelas y alumnos. Los ­ ejercicios anterio- res describieron el proceso para importar dos tablas a Access: (a) la tabla de datos modificada de respuestas de estudiantes luego de la depuración de datos (TBL_MATHS_3A_DATA_CLEANED) y (b) una tabla que incluye información escolar (tbl_Schools). Estas tablas comparten un campo común: el identificador escolar único, etiquetado SchoolID en la primera tabla y SchoolCode en la segunda tabla. El ejercicio 12.3 a con- tinuación muestra cómo unir estos archivos. Se utilizó un número limitado de variables en el ejercicio 12.3 para describir el proceso de combinación de conjuntos de datos. Para una evaluación nacional, normalmente se utilizarían más variables derivadas de datos de cuestionarios de alumnos, padres, profesores y de la escuela. CONTROL DE LA VERSIÓN Cada vez que se ha efectuado un cambio en los datos a través de vali- dación, verificación o procedimientos de gestión de datos, se ha gene- rado una nueva versión de los datos. Aunque se han utilizado nombres IMPORTAción Y FUSIón de DATOS | 181  EJERCICIO 12.3 Crear una búsqueda simple en Access Los siguientes pasos crearán una búsqueda simple en Access: Abra ...\NAEA DATA CLEANING\MY SOLUTIONS\MATHS_3A_DATA.ACCDB 1.  (con los cambios del ejercicio anterior guardados). De la cinta Create, seleccione Query Design. Access mostrará luego un cuadro de 2.  diálogo llamado Show Table. La función de este cuadro es permitirle seleccionar las tablas que desee incluir en la búsqueda. (Cuando adquiera mayores competencias en el uso de Access podrá tener múltiples tablas y combinaciones de tablas y búsquedas en diseños más complejos). 3. Seleccione TBL_MATHS_3A_DATA_CLEANED y haga clic sobre Add (véase la figura del ejercicio 12.3.A). Repita el proceso para agregar tbl_Schools a la búsqueda, y luego Close. El área de trabajo de la búsqueda tiene dos tablas, cada una con una lista de variables que están presentes en la tabla. Las barras de desplazamiento le permiten desplazarse hacia abajo. El área de trabajo y los tamaños de las tablas se pueden modificar colocando el cursor sobre los bordes de las tablas, haciendo clic y arrastrando. FIGURA DEL EJERCICIO 12.3.A  Agregar tablas a la búsqueda Fuente: ejemplo dentro del programa Access. (continúa) 182 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO EJERCICIO 12.3  (continúa) De la tabla TBL_MATHS_3A_DATA_CLEANED, seleccione la variable SchoolID. Tenga 4.  en cuenta que debido a que los datos en estas dos tablas provienen de fuentes diferentes no tienen exactamente el mismo nombre de variable (SchoolID frente a SchoolCode). No obstante, sí contienen la misma información en el mismo formato. Ambas contienen datos numéricos. Aunque es preferible utilizar nombres de variables comunes, no siempre es posible porque los conjuntos de datos pueden proceder de organismos diferentes. Una las tablas haciendo clic y arrastrando la variable SchoolID a TBL_MATHS_3A_ 5.  DATA_CLEANED hasta la variable SchoolCode en tbl_Schools y luego suelte el ratón (véase la figura del ejercicio 12.3.B). FIGURA DEL EJERCICIO 12.3.B  Unir tablas Fuente: ejemplo dentro del programa Access. La línea entre SchoolID y SchoolCode indica que estas variables han sido seleccionadas como el criterio que une las dos tablas. Ambas tablas han sido conectadas, y cualquier otro dato disponible en cualquiera de los conjuntos de datos ahora se puede combinar seleccionando datos de cada tabla y arrastrándolos al espacio de trabajo que se encuentra debajo o haciendo doble clic sobre los mismos. Haga doble clic sobre las siguientes variables de TBL_MATHS_3A_DATA_CLEANED: 6.  StudID, GivenName, FamilyName y Yearlevel. Nota: También puede seleccionar y arrastrar múltiples variables en una sola acción utilizando la tecla shift mientras selecciona los diferentes nombres de variables, luego arrastrando los nombres resaltados al espacio de trabajo. Las características usuales de arrastrar y soltar de Microsoft se implementan en Access. Si quiere incluir todas las variables de tbl_Schools, haga doble clic en el asterisco 7.  sobre la variable SchoolCode en tbl_Schools; eso llevará a todas las variables a la tabla de búsqueda. Estas variables deben aparecer ahora en los campos situados IMPORTAción Y FUSIón de DATOS | 183  EJERCICIO 12.3  (continúa) debajo, en los que la fila llamada Table indica la fuente de los datos (véase la figura del ejercicio 12.3.C). La información de las escuelas proviene de la tabla tbl_Schools, y la información de los estudiantes proviene de TBL_MATHS_ 3A_DATA_CLEANED. Seleccione la información escolar de tbl_Schools porque es una fuente más confiable de información sobre las escuelas que TBL_MATHS_3A_DATA_CLEANED, que está tomada de las cubiertas de los cuadernillos de prueba. Resalte la columna YearLevel de los campos en la figura del ejercicio 12.3.C 8.  haciendo clic en el cuadro gris pequeño sobre el nombre del campo. Manteniendo el cursor sobre el cuadro gris pequeño para que el cursor se convierta en una flecha blanca, haga clic y arrastre esta columna hasta la posición final (después de las variables tbl_Schools*). Esta acción asegurará que la variable YearLevel se muestre al final de la hoja de datos resultante. FIGURA DEL EJERCICIO 12.3.C  Variables de búsqueda Fuente: ejemplo dentro del programa Access. Si es necesario, haga clic en un espacio vacío para eliminar el resaltado. 9.  Ejecute la búsqueda haciendo clic sobre el símbolo rojo ! en la barra de herramientas 10.  de Access. La hoja de datos resultante debe verse como la de la figura del ejercicio 12.3.D. El resultado de la búsqueda proporciona un registro por fila con los ­ datos conocidos sobre el estudiante contenidos en un archivo. Este archivo puede consultarse para la depuración final antes de que se exporte al analista de datos como un conjunto de datos limpio. (continúa) 184 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO EJERCICIO 12.3  (continúa) FIGURA DEL EJERCICIO 12.3.D  Resultado de búsqueda Fuente: ejemplo dentro del programa Access. 11. Seleccione Office Button – Save y guarde la búsqueda como qry_student_&_ school_data_ combined, presionando luego OK. Tenga en cuenta que la búsqueda que acaba de crear ahora aparece como un ícono 12.  en el menú All Access Objects. exclusivos para cada versión de datos modificados, solo debe usarse el archivo exportado final para análisis futuros. Por lo tanto, es importante generar un registro exhaustivo del tra- yecto que se ha recorrido para desarrollar los datos finales y un regis- tro de los pasos y archivos intermedios que se han creado para la producción del conjunto final de datos limpios. El archivo README.DOCX brinda el medio para esta documen- tación. Este archivo se actualiza para registrar el trayecto del conjunto final de datos, lo que es importante porque se debe impedir que las personas trabajen con versiones diferentes de la fuente de datos y que produzcan resultados diferentes. SEGURIDAD DE LOS DATOS Los aspectos relacionados a la confidencialidad y la seguridad son indu- dablemente importantes cuando se lleva a cabo una evaluación ­nacional. Por lo tanto, es crucial mantener los datos de dichas evaluaciones tan IMPORTAción Y FUSIón de DATOS | 185  seguros como sea posible, tanto por motivos de confidencialidad como para evitar que los datos se vean alterados (ya sea inadvertidamente o intencionalmente) por aquellos que puedan tener acceso a la información. Cuando los datos se encuentran en formato electrónico, es ­ importante establecer niveles de acceso a la información tanto a nivel de redes como de computadoras personales. Además, la base de datos en la que se almacena la información debe estar asegurada, lo que se puede implementar de dos maneras diferentes, aunque no excluyentes: a través de la aplicación de una contraseña para la base de datos y a través del establecimiento de seguridad a nivel del usuario. Aplicar una contraseña a la base de datos Cuando se implementa una contraseña en una base de datos, se les pedirá a los usuarios que la ingresen antes de poder utilizar la ­ aplicación. La función de contraseña simplemente restringe el acceso al sistema únicamente a aquellos que conozcan la contraseña. En su forma más básica, cada base de datos puede tener una contraseña. Establecer una contraseña para una base de datos de Access requiere que la base de datos se abra en modo de uso exclusivo. Para abrir la base de datos en modo de uso exclusivo, cierre la base de datos y luego vuelva a abrirla utilizando las instrucciones que aparecen en el mensaje de alerta (Figura 12.1). Una vez que la base de datos esté abierta en el modo exclusivo, se podrá establecer la contraseña haciendo clic sobre Set Database Password en la pestaña Database Tools, ingresando la contraseña elegida en los cuadros de texto requeridos, y haciendo clic en OK. FIGURA 12.1 Mensaje de alerta de uso exclusivo Fuente: mensaje de alerta dentro del programa Access. 186 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO Desde ese momento en adelante, Access le pedirá al usuario la contraseña antes de permitirle abrir la base de datos. ­ Agregar seguridad a nivel del usuario a la base de datos Agregar distintos niveles de permisos o seguridad a nivel del usuario a una base de datos es una manera efectiva de restringir el uso y la manipulación de datos a ciertos usuarios del sistema. Por ejemplo, aquellos individuos que tienen por única tarea ingresar datos a una herramienta de entrada de datos no necesitan tener acceso a todas las herramientas que les permitan modificar el diseño de ese o cualquier otro objeto de la base de datos. Por consiguiente, la seguridad a nivel del usuario debe establecerse para impedir que esos individuos pue- dan modificar la base de datos de cualquier modo que resulte ajeno a la realización de las tareas para las que fueron contratados. Definir la seguridad a nivel del usuario debe ser una de las últimas acciones a ejecutar cuando se diseña una base de datos porque, luego de su aplicación, puede ser difícil modificar el sistema, y los usuarios necesitarán que se les dé acceso a los nuevos objetos creados. La apli- cación de este tipo de seguridad debe realizarse de manera ordenada, porque el sistema podría negar el acceso mientras se definen los nive- les de usuario. Este problema se puede evitar a través de la creación de una copia de respaldo no asegurada de la base de datos antes de comenzar este proceso. La copia de respaldo debe almacenarse por separado hasta que se haya aplicado con éxito la seguridad a nivel del usuario de la base de datos original. En esa etapa, la copia de respaldo no segura se puede eliminar. En Access, la seguridad a nivel del usuario se puede añadir a una base de datos haciendo clic en Users and Permissions – User Level Security Wizard de la pestaña Database Tools y siguiendo el proceso paso por paso que establece el asistente. Como medida adicional, una forma efectiva de llevar un control de los cambios realizados durante el proceso de configuración de seguridad es presionar CTRL+Print Scrn en cada etapa de la configuración. Esta acción copiará la ventana actual, que podrá pegarse luego en un documento de Word. 13 CA P Í T U L O DATOS DUPLICADOS Este capítulo aborda el problema de los datos duplicados; en particular, cómo comprobar si existen números de identificación (ID) duplicados y registros duplicados. UTILIZACIÓN DE ACCESS PARA COMPROBAR LA EXISTENCIA DE NÚMEROS DE IDENTIFICACIÓN DUPLICADOS Ingresar un registro de un estudiante dos veces en un archivo de datos puede suceder con facilidad, y si no se detecta, el dato extra puede distorsionar los resultados. Los datos que incluyen el ID de un alumno deben chequearse para asegurarse de que cada estudiante tenga solo un registro. Este chequeo se aplica incluso si el equipo de evaluación nacional creara números de identificación únicos, porque el personal de captura de datos podría haber duplicado inadvertidamente uno o más registros. Aunque las reglas de validación creadas en los ejercicios previos para la variable StudID no permitían la creación de números de identificación duplicados, ejecutar los procedimientos descritos a continuación es aconsejable de cualquier manera. El ejercicio 13.1 muestra cómo usar las rutinas de Access para comprobar la existencia de números de identificación duplicados. 187 188 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO EJERCICIO 13.1 Crear una búsqueda “Encontrar duplicados” en Access Los pasos siguientes muestran cómo usar las rutinas de Access para buscar números de identificación duplicados. 1. Abra ...\NAEA DATA CLEANING\MY SOLUTIONS\MATHS_3A_DATA.ACCDB (con los cambios de ejercicios previos guardados). 2. De la cinta Create, seleccione Query Wizard en la sección Other. Access mostrará entonces un cuadro de diálogo llamado New Query. Seleccione Find Duplicates Query Wizard, luego haga clic en OK. 3. Luego Access le pedirá que elija la tabla en la que quiere buscar valores duplicados. En este caso, resalte la tabla TBL_MATHS_3A_DATA_CLEANED, y luego haga clic en Next. 4. De la lista de campos disponibles a la izquierda (como se muestra en la figura del ejercicio 13.1.A), resalte aquellos en los que sospeche que pueda haber datos duplicados, en este caso StudID. Transfiéralo a la caja del lado derecho utilizando el signo > entre las cajas, y luego haga clic en Next. FIGURA DEL EJERCICIO 13.1.A  Campos con valores duplicados Fuente: ejemplo dentro del programa Access. El cuadro de diálogo le pedirá que seleccione los campos que quiere incluir en el informe de valores que se encuentran en la consulta. DATOS DUPLICADOS | 189  EJERCICIO 13.1 (continúa) 5. Seleccione SchoolID, GivenName, FamilyName y SchoolName (figura del ejercicio 13.1.B), porque estos permitirán la identificación fácil de cualquier registro para su corrección, luego haga clic en Next. Access recomendará un nombre para la consulta (en este caso, Find duplicates for TBL_MATHS_3A_DATA_CLEANED). FIGURA DEL EJERCICIO 13.1.B  Agregar tablas a la búsqueda Fuente: ejemplo dentro del programa Access. 6. Seleccione View the results y luego Finish. BÚSQUEDA DE REGISTROS DUPLICADOS Una búsqueda en Encontrar duplicados en una tabla puede dar con una o más entradas duplicadas si los datos se han ingresado incorrec- tamente en varias ocasiones. Esta situación puede ocurrir cuando un operador pierde la concentración e ingresa datos del mismo cuaderni- llo dos veces o cuando se guardan accidentalmente cuadernillos com- pletos en la pila de cuadernillos de prueba sin calificar y se vuelven a ingresar. Tenga en cuenta que los datos indicados en las figuras 13.1, 13.2, 13.4 y 13.5 son de una evaluación ficticia. Se usaron para demos- trar los resultados de una consulta de datos duplicados en Access. 190 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO Se utilizaron datos ficticios en estos casos porque la variable StudentID en nuestros datos no hubiera permitido que existieran valores dupli- cados (y por lo tanto una consulta de datos duplicados basada en StudentID hubiera dado un valor nulo. El ejercicio 13.1 no tiene números de identificación duplicados porque StudID se estableció como la leyenda principal (y los datos duplicados no están permitidos en el campo de la leyenda principal), de modo que la consulta del ejercicio no devolvió registros que coin- cidieran con el criterio de búsqueda. Para ver un ejemplo de cómo se muestran los duplicados, vea la Figura 13.1. Los resultados en la Figura 13.1 sugieren que los datos han sido registrados por error. Cuando una consulta devuelve un duplicado, se debe comprobar la validez de ambos registros. Si los patrones de res- puesta del alumno son idénticos, la posibilidad de que la entrada esté duplicada es alta. Los registros, sin embargo, deben contrastarse igual- mente con las fuentes originales de datos: las pruebas de los estudian- tes. Un registro del error en el README.DOCX se muestra en la Figura 13.2 con la indicación de la corrección consiguiente. Para eliminar un registro, resáltelo haciendo clic sobre la fila que contiene los datos a eliminar. De la cinta Home, seleccione Delete en la sección Records. Sea muy cauteloso durante este proceso. Access no le permitirá deshacer lo eliminado con el comando Undo. Para minimizar las eliminaciones accidentales, Access le pedirá si desea eliminar el registro (vea la Figura 13.3). Si hace clic en Yes, eliminará ­ el registro. FIGURA 13.1 Registros duplicados identificados Fuente: ejemplo dentro del programa Access. DATOS DUPLICADOS | 191  FIGURA 13.2 Documentación de la corrección de los errores de ID de los alumnos ID ID del único alumno Variable Valor del dato Valor reparado Registro Registro Registro 2 510 completo duplicado eliminado FIGURA 13.3 Eliminar un registro Fuente: mensaje de alerta dentro del programa Access. FIGURA 13.4 El mismo ID de estudiante para dos estudiantes Fuente: ejemplo dentro del programa Access. La consulta Find duplicates también puede mostrar si se ha ingre- sado el mismo StudID para dos estudiantes (vea la Figura 13.4). Esta situación puede ocurrir cuando un analista usa una rutina de copia y pega incorrecta o cuando un valor se modifica manualmente por error. La Figura 13.5 muestra la entrada relevante README.DOCX de dicha modificación. 192 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO FIGURA 13.5 Documentación de la corrección de los errores de ID de los alumnos ID unique StudID Variable Valor del dato Valor reparado 4 755 StudentID 755 756 UTILIZACIÓN DE ACCESS PARA COMPROBAR NOMBRES DUPLICADOS Access también se utiliza para buscar nombres duplicados en la misma escuela (ejercicio 13.2). Si está establecido que existan dos listados con el mismo nombre pero con números de identificación diferentes en la escuela, debe revisarse el cuadernillo de prueba origi- nal para ver si, de hecho, la escuela tiene dos alumnos con nombres idénticos. La necesidad de realizar tales chequeos es la razón principal por la que deben archivarse cuidadosamente los cuadernillos de prueba luego de colocarse los puntajes para facilitar la recuperación en caso de consulta. El proceso es similar al descrito en la sección previa. Debe crearse una consulta que utilice las variables para el nombre del estudiante y el ID de la escuela y que logre identificar si existen estudiantes en el colegio con nombres idénticos. Access une las variables para crear una variable de búsqueda que encuentre coincidencias en los datos. Si, por ejemplo, uno elige GivenName John, FamilyName Smith y SchoolID 1294, la variable temporal de búsqueda que se crea dentro de Access es 1294. Access no intenta encontrar a todos los estudiantes que ten- gan por nombre John o todos los estudiantes con apellido Smith sino que limita la búsqueda a todos los estudiantes en la escuela 1294 que se llamen John Smith. El lector puede chequear su progreso en los ejercicios 13.1 y 13.2 revisando la base de datos en ...\NAEA DATA CLEANING\EXERCISE SOLUTIONS\MATHS_3A_DATA_SOLUTION2.ACCDB. Para llevar a cabo el análisis, el usuario tendrá que acceder a un archivo que contenga los resultados de los datos de la prueba. En este caso, se puede calcular un puntaje total para cada alumno utilizando DATOS DUPLICADOS | 193  EJERCICIO 13.2 Usar la consulta Find Duplicates para localizar nombres de alumnos duplicados Este ejercicio muestra cómo usar una consulta Find duplicates en Access: 1. Abra …\MY SOLUTIONS\MATHS_3A_DATA.ACCDB (con los cambios de ejercicios previos guardados). 2. De la cinta Create, seleccione Query Wizard en la sección Other. Access mostrará entonces un cuadro de diálogo llamado New Query. Seleccione Find Duplicates Query Wizard y luego haga clic en OK. 3. Seleccione TBL_MATHS_3A_DATA_CLEANED y haga clic sobre Next. 4. Seleccione GivenName, FamilyName y SchoolID (figura del ejercicio 13.2.A). Luego haga clic sobre Next. FIGURA DEL EJERCICIO 13.2.A  Campos con valores duplicados Fuente: ejemplo dentro del programa Access. 5. De la pantalla siguiente, seleccione StudID y SchoolName como las variables que quiere en el informe (vea el ejercicio de la Figura 13.2.B). Esta acción permitirá la identificación fácil de cualquier nombre duplicado. Luego haga clic sobre Next. 6. Dele a esta consulta el nombre Find duplicates for TBL_MATHS_3A_DATA_ CLEANED_names. Seleccione View the results y luego haga clic en Finish. (continúa) 194 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO EJERCICIO 13.2 (continúa) El informe de Access (vea el ejercicio de la Figura 13.2.C) muestra que este archivo de datos puede tener un registro duplicado porque dos estudiantes. FIGURA DEL EJERCICIO 13.2.B  Campos de consulta adicionales Fuente: ejemplo dentro del programa Access. FIGURA DEL EJERCICIO 13.2.C  Resultados de búsqueda Fuente: ejemplo dentro del programa Access. de la misma escuela tienen el mismo nombre y se les ha asignado números de identificación de alumno diferentes. El operador de datos debe revisar el cuadernillo de prueba original o la lista de estudiantes en la escuela mencionada para ver si, de hecho, dos estudiantes con el mismo nombre tomaron la prueba o si uno de los registros es un error de duplicación. Si el registro tiene un error y los datos fueron duplicados, la tabla de datos en la base de datos de Access debe corregirse. 7. Abra TBL_MATHS_3A_DATA_CLEANED en su base de datos. 8. Para localizar los registros, seleccione Find en la cinta Home (CTRL+F) y tipee el número 3870204 en el cuadro de texto Find what. Haga clic sobre Next. DATOS DUPLICADOS | 195  EJERCICIO 13.2 (continúa) Access localizará el ID de este alumno en el archivo de datos, y las dos entradas con el mismo nombre serán visibles (ejercicio de la Figura 13.2.D). Existen dos posibles razones por las que puede haber dos alumnos con el mismo nombre en la FIGURA DEL EJERCICIO 13.2.D  Nombres duplicados observados Fuente: ejemplo dentro del programa Access. misma escuela: o dos estudiantes de la muestra de la evaluación nacional tienen el mismo nombre, o ha ocurrido un error en la entrada de datos y los datos del alumno se ingresaron dos veces. El operador de datos debe chequear los registros de la escuela o los cuadernillos de prueba originales. Si se descubre que dos estudiantes tienen el mismo nombre, cada uno será fácilmente identificable. Puede distinguir a los dos estudiantes agregando una de las iniciales que corresponda al apellido de uno de los estudiantes (como JohnC para John Charles) o agregando un número a cada primer nombre. La corrección debe realizarse en la tabla. No debe realizarse en la consulta. 9. En TBL_MATHS_3A_DATA_CLEANED, teclee el número 1 después de k en Jack para el primer registro. Haga lo mismo con el número 2 para el segundo registro (vea el ejercicio de la Figura 13.2.E). FIGURA DEL EJERCICIO 13.2.E  Generar un nombre único a partir de un nombre duplicado Fuente: ejemplo dentro del programa Access. 10. Registre ambos cambios en README.DOCX (ejercicio de la Figura 13.2.F). FIGURA DEL EJERCICIO 13.2.F  Duplicados en README.DOCX StudID Variable Valor del dato Valor reparado 3870204 GivenName Jack Jack1 3870305 GivenName Jack Jack2 11. Vuelva a ejecutar la consulta para comprobar que el error de Jack Crokar haya sido reparado. No debe devolver ninguna entrada. (Nota: Para volver a ejecutar la consulta, haga doble clic en la consulta Find duplicates TBL_MATHS_3A_FINAL_ NAMES en el menú All Access Objects - Queries ). (continúa) 196 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO SPSS, que se puede exportar a Access con el resto de los datos depu- rados de la forma en que se muestra en el ejercicio 12.1 A través de los pasos descritos en el ejercicio 12.3, se puede crear una consulta desde la tabla importada que aísle las respuestas a los ítems de los estudiantes y los datos de puntaje total, junto con los datos de entorno social y familiar de los alumnos y los datos de la escuela. Muchas de las acciones realizadas aquí cuando se fusionan dos archivos tienen el objetivo de asegurar que se retenga el número correcto de registros, que los registros de un archivo coincidan con el registro correcto en el segundo archivo y que los duplicados sean iden- tificados y eliminados si fuera necesario. Esas tareas se realizaron en la segunda parte de este volumen cuando se crearon las bases de mues- treo para la probabilidad proporcional al tamaño de la muestra de los estudiantes. SPSS preguntará rutinariamente qué hacer con los duplicados que encuentra durante la combinación de archivos. ­ Remítase a esos ejercicios y tenga en cuenta cómo se configura y eje- cuta la combinación. ANEXO III.A DEPURACIÓN Y GESTIÓN DE DATOS: CARPETAS Y ARCHIVOS Este anexo describe los archivos que se utilizarán para realizar los ejercicios de la tercera parte. Estos archivos se pueden encontrar en el CD que acompaña este manual. La Tabla III.A.1 del anexo describe los contenidos de la carpeta Exercises. La Tabla III.A.2 del anexo muestra los contenidos de la carpeta Exercise Solutions. La estructura del directorio de gestión de archivos y depu- ración de datos se muestra en la Figura III.A.1 del anexo. 197 198 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO TABLA III.A.1 Ejercicios Nombre del archivo Programa Explicación DATA VERIFICATION EXERCISE. Excel 2007 Realiza comparaciones lógicas para XLSX comprobar si las celdas son idénticas. DATA_SET_1.SAV SPSS Ejecuta comandos de frecuencia y corrige registros de archivos con errores. MATHS 3A CODEBOOK Excel 2007 Agrega todos los valores del manual de TEMPLATE.XLSX codificación para los últimos 7 ítems. SAMPLE TEST PAPER 3A.DOCX Word 2007 Usar como herramienta de referencia para la creación del manual de codificación. SCHOOLS.XLSX Excel 2007 Importa la lista de la escuela a la base de datos de Access. STUDENTQUESTIONNAIRE. Word 2007 Usar como ejemplo de cuestionario de DOCX alumnos para la evaluación nacional. TABLA III.A.2 Soluciones de los ejercicios Nombre del archivo Programa Explicación DATA VERIFICATION EXERCISE_ Excel 2007 Solución al chequeo de comparación SOLUTION.XLSX lógica DATA_SET_1_SOLUTION.SAV SPSS Solución a la tarea de corrección de errores en los datos MATHS 3A CODEBOOK Excel 2007 Solución a la tarea de creación del manual SOLUTION.XLSX de codificación MATHS_3A_DATA_SOLUTION1. Access 2007 Solución a la tarea de creación de tabla y ACCDB formulario MATHS_3A_DATA_SOLUTION2. Access 2007 Solución a las tareas de exportación de ACCDB datos y creación de consultas README.DOCX Word 2007 Registro de las correcciones realizadas a los archivos de datos DEPURACIÓN Y GESTIÓN DE DATOS: CARPETAS Y ARCHIVOS | 199  FIGURA III.A.1 Estructura del directorio de gestión de archivos y depuración de datos NAEA DATA CLEANING EXERCISES EXERCISE SOLUTIONS MY SOLUTIONS DATA VERIFICATION EXERCISE. DATA VERIFICATION XLSX EXERCISE_SOLUTION.XLSX DATA_SET_1.SAV DATA_SET_1_SOLUTION.SAV MATHS_3A_CODEBOOK MATHS_3A_CODEBOOK TEMPLATE.XLSX SOLUTION.XLSX SAMPLE TEST PAPER 3A.DOCX MATHS_3A_ DATA_SOLUTION1.ACCDB MATHS_3A_ SCHOOLS.XLSX DATA_SOLUTION2.ACCDB STUDENTQUESTONNAIRE. README.DOCX DOCX PA RT E 4 PONDERACIÓN, ESTIMACIÓN Y ERROR DE MUESTREO Jean Dumais y J. Heward Gough La cuarta parte se centra en la preparación de datos para su análisis, lo que se realiza después del muestreo, la administración de la prueba, y la captura y depuración de los datos. Los ejercicios se basan en el trabajo previo sobre el conjunto de datos de Sentz, que debió haberse realizado en la segunda parte. La cuarta parte abarca una serie de pasos importantes previos al análisis, como es el cómputo y empleo de las ponderaciones de la encuesta y el cálculo de las estimaciones y sus errores de muestreo. Por último, se aborda una serie de temas especiales, como las respuestas omitidas y las cuestiones relacionadas con las escuelas de tamaño mayor y menor al promedio. 201 14 CA P Í T U L O CÓMPUTO DE LAS PONDERACIONES DE LA ENCUESTA Este capítulo describe las ponderaciones de las e ­stimaciones, cómo computarlas, cómo ajustarlas ante respuestas omitidas y cómo utilizar información auxiliar actualizada para ajustar las ponderaciones de las estimaciones con el fin de calcular los totales nacionales. PONDERACIONES DE DISEÑO La estimación es una técnica utilizada para generar información acerca de una población de interés a partir de datos recopilados de una muestra de esa misma población. El primer paso de esta técnica consiste en asignar una ponderación a cada unidad muestral o a cada una de las unidades muestreadas que respondieron. La ponderación de diseño se puede describir como el número promedio de unidades den- tro de la población de la encuesta representadas por la unidad mues- treada y se determina a través del diseño de la muestra. La ponderación de diseño, wd (donde d representa el diseño), para una unidad de la muestra es la inversa de su probabilidad de inclusión p. Anteriormente se mencionó que en el muestro probabilístico cada unidad tiene una probabilidad conocida, p, de ser muestreada. Si la probabilidad de 203 204 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO inclusión es, por ejemplo, 1 en 50, entonces cada unidad seleccionada representa, en promedio, 50 unidades de la población de la encuesta; por lo tanto, la ponderación de diseño es wd = 50. Téngase en cuenta que, para un diseño de etapas múltiples (que es el que normalmente se emplea en una evaluación nacional del rendi- miento académico), la probabilidad de selección de una unidad es su probabilidad combinada de selección en cada etapa. Los muestreos aleatorios simples y los muestreos aleatorios ­ sistemáticos son diseños con igualdad de probabilidades, dado que cada unidad tiene la misma posibilidad de quedar incluida en la mues- tra. En términos estadísticos, en el caso de muestreos aleatorios sim- ples (SRS), la probabilidad de inclusión es p = n/N para cada unidad, y la ponderación de diseño es wd = 1/p = N/n. En el caso de los mues- treos aleatorios sistemáticos, la probabilidad de inclusión es p = 1/k, siendo el número entero k = [n/N], el que representa la etapa de muestreo; por consiguiente, para cada unidad, la ponderación de diseño es wd = 1/p = k. El ejercicio 14.1 muestra cómo calcular la ponderación de diseño para un muestreo aleatorio simple (SRS). EJERCICIO 14.1 Ponderación de diseño de un muestreo aleatorio simple de 400 alumnos Recordemos que la primera muestra seleccionada para Sentz tomó como base de muestreo de lista perfecta a todos los 27 654 alumnos que reúnen los requisitos, de la que se extrajo una muestra aleatoria simple de 400 alumnos. De este modo, la probabilidad de inclusión de cada alumno es p = n/N = 400/27.654, y la ponderación de diseño es wd = 1/p = 27.654/400 = 69,135. Esta ponderación se agregó al archivo con el paquete estadístico para ciencias sociales (SPSS) al seleccionar la muestra. Para poder ver esta ponderación, ingrese en la carpeta SRS400 y abra el archivo STUDENTSRSAMPLE con los siguientes comandos: File – Open – Data – Look in …\MYSAMPLSOL\STUDENTSRSAMPLE.SAV Open El resultado debe ser similar a los datos en la figura del ejercicio 14.1.A, después de (a) eliminar las variables automáticas que no serán necesarias (es decir, Inclusion CÓMPUTO DE LAS PONDERACIONES DE LA ENCUESTA | 205  EJERCICIO 14.1 (continúa) Probability_1,, SampleWeightCumulative_1_ y SampleWeight_Final_); (b) cambiar el nombre de las variables que se necesitarán más adelante en el proceso de la encuesta (es decir, PopulationSize, SampleSize y SampleWeight); y (c) guardar el archivo. Esta etapa de depuración es idéntica a la que se realizó anteriormente con las muestras de escuelas y de clases (véase el ejercicio 8.3). Puede guardar el archivo STUDENTSRSAMPLE con el nombre ...\MYSAMPLSOL\ para utilizarlo más adelante. FIGURA DEL EJERCICIO 14.1.A  Datos del archivo de la muestra de alumnos Fuente: ejemplo dentro del programa SPSS. Cuando la estratificación es una de las características del diseño muestral, los estratos se consideran poblaciones distintas, que aportan su propia porción a la muestra completa. Por lo tanto, las ponderacio- nes de diseño se calculan en forma independiente para cada estrato, de acuerdo con el diseño de muestreo utilizado en cada uno. Consideremos que, en el marco muestral de la encuesta, una ­población N = 1000 escuelas se divide en dos estratos, urbano y rural. El estrato urbano se compone de N1 = 400 escuelas, y el rural, de N2 = 600 escuelas. La Tabla 14.1 señala que el tamaño total de la muestra n = 200 para ambos estratos, tiene una asignación uniforme para cada estrato. La probabilidad de inclusión o, en este caso, la 206 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO TABLA 14.1 Muestreo aleatorio simple estratificado con asignación uniforme Tamaño de la Tamaño de la Fracción de muestreo/ Estrato población muestra probabilidad de inclusión Urbano N1 = 400 n1 = 100 π1 = 1/4 Rural N2 = 600 n2 = 100 π2 = 1/6 Total N = 1000 N = 200 fracción del muestreo del estrato urbano es, por lo tanto, equivalente a n/N = 100/400 = 1/4 = 0,25. La fracción de muestreo del estrato rural es equivalente a n/N = 100/600 = 1/6 = 0,167. En el archivo de ejemplo, cada escuela del estrato urbano tiene una ponderación de diseño de wd,1 = 4, y la de cada escuela del estrato rural es wd,2 = 6. En el muestreo de etapas múltiples, la ponderación general de diseño se calcula tomando el inverso de la probabilidad de selección de cada etapa o fase y multiplicándolos. Consideremos que una mues- tra por conglomerados en dos etapas selecciona una muestra aleatoria simple de n1 = 10 de N1 = 100 escuelas en la primera etapa y una muestra aleatoria simple de n2 = 30 alumnos de cada escuela (conglo- merado) en la segunda etapa, donde la cantidad de unidades de cada conglomerado es N2 = 60. La probabilidad de selección en la primera etapa es n1 10 1 , π1 = = = N1 100 10 y la probabilidad de selección en la segunda etapa es n2 30 1 . π2 = = = N2 60 2 De modo que la ponderación de diseño de cada alumno seleccio- nado es 1 1 wd = × = 10 × 2 = 20. π1 π 2 En el muestreo de tres etapas, el diseño utilizado en el caso de estudio Sentz (escuelas, clases y, por último, alumnos en virtud de CÓMPUTO DE LAS PONDERACIONES DE LA ENCUESTA | 207  las respuestas omitidas), donde la probabilidad de selección del alumno i es πki en la etapa k, la ponderación de diseño para ese alumno es 1 1 1 wdi = × × π1i π2i π3i = escuela _ ponderación × clase_ ponderación × alumno_ponderación = escuela _ ponderación × clase_ ponderación × 1. Observe que la muestra, tal como fue inicialmente diseñada para Sentz, seleccionó a todos los alumnos de las clases seleccionadas, de manera que alumno_ponderación = 1. Por lo tanto, el diseño parece tener solo dos etapas. No obstante, la importancia de la tercera etapa queda demostrada más adelante, cuando se establece que, en realidad, no todos los alumnos participaron en la evaluación nacional. En este caso, las ponderaciones de la tercera etapa deben ajustarse a la respuesta omitida (ver la siguiente sección). ­ El ejercicio 14.2 muestra cómo calcular la ponderación de diseño para una probabilidad proporcional al tamaño (PPT) de la muestra. El ejercicio 14.3 y el 14.4 muestran cómo agregar los resultados de las pruebas. EJERCICIO 14.2 Ponderación de diseño para una muestra con PPT de escuelas y clases Con el diseño en dos etapas, en cada estrato se seleccionaron varias escuelas aplicando la probabilidad proporcional a la medida de su tamaño, de modo que cada escuela seleccionada tiene su propia probabilidad de selección. Para calcular estas probabilidades, se necesitan tres cantidades: nh, la cantidad de escuelas seleccionadas en el estrato h; zhi, el tamaño de la escuela i en el estrato h; y Zh, la medida del tamaño total (cumMOS) del estrato h. Por lo tanto, la probabilidad de selección de la escuela es z hi . π 1hi = nh × Zh (continúa) 208 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO EJERCICIO 14.2 (continúa) Por ejemplo, la cantidad total de alumnos en la provincia 1 es Z1 = 5565, y el tamaño de la muestra asignada a esa provincia es n1 = 24. Si la medida del tamaño de la escuela 1101 es z1,1101 = 89 (ver líneas 1 y 2 de la figura del ejercicio 14.1.A), la probabilidad de selección para esa escuela sería z 1 ,1101 89 π 1,1,1101 = n 1 × = 24 × = 0, 384. Z1 5565 Por consiguiente, cada clase fue seleccionada con igualdad de probabilidades de la lista de clases que reúnen los requisitos dentro de cada escuela seleccionada; en caso de haber Mhi clases en la escuela i en el estrato h, la probabilidad de la segunda etapa de selección es 1 . π 2 hi = Mhi SPSS Complex Samples calcula tanto las probabilidades de selección como las ponderaciones de diseño (que SPSS denomina ponderaciones de la muestra), dado que selecciona las muestras. Debido a que se seleccionaron dos muestras anidadas, la ponderación total de diseño para escuelas y clases debe calcularse como el producto de dos componentes. Abra el archivo con los siguientes comandos: File – Open – Data – Look in …\MYSAMPLSOL\CLASS_SAMPLE.SAV Open A continuación seleccione Transform – Compute Variable. Escriba DesignWeight en Target Variable. Escriba Weight1*Weight2 en Numeric expression. Haga clic en OK. Para ajustar el formato de la variable DesignWeight, cambie la visualización a Variable View (pestaña izquierda inferior) y compruebe que el formato tenga dos o tres decimales. Vuelva a Data View y guarde el archivo CLASS_SAMPLE. En la figura del ejercicio 14.2.A se muestran los datos del archivo CLASS_SAMPLE, que incluye la ponderación de diseño en un formato con dos decimales. Puede guardar el archivo CLASS_SAMPLE con el nombre ...\MYSAMPLSOL\ para utilizarlo más adelante. CÓMPUTO DE LAS PONDERACIONES DE LA ENCUESTA | 209  EJERCICIO 14.2 (continúa) FIGURA DEL EJERCICIO 14.2.A  Datos del archivo Class_Sample Fuente: ejemplo dentro del programa SPSS. EJERCICIO 14.3 Cómo agregar resultados de las pruebas de un muestreo aleatorio simple de 400 alumnos Los resultados de las pruebas simuladas de todos los alumnos del octavo grado se almacenan en …\BASE FILES\ RESPONSES. (En condiciones reales, se habrían ingresado después de la administración de la prueba y de la depuración de los datos, habiendo pasado un tiempo después del cálculo de las ponderaciones de diseño inicial.) En la siguiente etapa, deberá hacer coincidir el archivo que contiene 400 alumnos seleccionados con el archivo de los resultados de la prueba de estos alumnos. Nuevamente, deberá ordenar y fusionar los archivos. 1. Lea y ordene el archivo RESPONSES con los siguientes comandos: File – Open – Data – Look in …\BASE FILES\RESPONSES.SAV Open Seleccione Data – Sort cases y mueva STUDENTID a Sort by. Haga clic en OK. (continúa) 210 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO EJERCICIO 14.3 (continúa) 2. Lea y ordene de la misma manera los archivos que contienen el muestreo aleatorio simple : File – Open – Data – Look in …\MYSAMPLSOL\STUDENTSRSAMPLE.SAV Open Seleccione Data – Sort cases y mueva STUDENTID a Sort by. Haga clic en OK. 3. Combine las respuestas y la muestra de los alumnos. Descarte algunas variables superfluas y conserve solo los registros de la muestra. (En condiciones reales, estas acciones corresponderían a las fases de recolección y captura de datos.) Abra el archivo RESPONSES en la pantalla. Seleccione Data – Merge files – Add variables. Elija STUDENTSRSAMPLE en Open dataset y haga clic en Continue. Haga clic en Match cases on key variables…, y mueva STUDENTID de Excluded variables a Key variables. Haga clic en Non-active dataset is keyed table. A continuación, haga clic en OK y nuevamente en OK. Las variables PopulationSize, SampleSize y SampleWeight deberían mostrarse ahora como variables del conjunto de datos RESPONSES. La mayor parte de los registros tienen celdas vacías. Debe conservar los registros de los 400 alumnos SRS, no de todos los alumnos. Utilice los siguientes comandos: Data – Select Cases – Use filter variable. Mueva PopulationSize a Use filter variable. Haga clic en Copy selected cases…. Escriba SRSResponses en la casilla Dataset name y haga clic en OK. Cierre RESPONSES sin guardar. Abra en la pantalla SRSResponses y guarde el archivo con el nombre …\MYSAMPLSOL\SRSRESPONSES.SAV. La figura del ejercicio 14.3.A contiene el archivo de datos guardado para tres alumnos, que incluye un extracto de los resultados de la prueba de la muestra de 400 alumnos listo para ponderar y estimar. Puede que en su pantalla el orden de las variables sea diferente. Observe la variable status, que indica el estado del alumno en el momento de la realización de la prueba. Desplácese por el archivo hacia abajo y observe que algunos alumnos estuvieron ausentes el día de la prueba y otros ya habían abandonado la escuela (o se habían cambiado de establecimiento educativo) después del día que esta institución creó las listas de alumnos. Ausentismo, abandono escolar y transferencias son problemas comunes en las encuestas de evaluación nacional. CÓMPUTO DE LAS PONDERACIONES DE LA ENCUESTA | 211  EJERCICIO 14.3 (continúa) FIGURA DEL EJERCICIO 14.3.A  Extracto de los resultados de las pruebas para la muestra de alumnos (Continued) Fuente: ejemplo dentro del programa SPSS. AJUSTE DE LA PONDERACIÓN PARA RESPUESTAS OMITIDAS En todas las encuestas hay respuestas omitidas, situación que ocurre cuando, por algún motivo, la totalidad o parte de la información reque- rida para las unidades de la muestra no se encuentra disponible. Las respuestas omitidas pueden producirse cuando la escuela o el alumno se niega a participar, no es posible localizar la escuela, los alumnos están ausentes o la información obtenida carece de utilidad. La manera más sencilla de trabajar con estas respuestas omitidas es dejarlas de lado. No obstante, la falta de compensación de las unidades sin respuesta provoca sesgos. Por ejemplo, podría generar una subestimación o sobrestimación de los niveles de rendimiento medio de los alumnos, de la magnitud de la matrícula nacional o de la cantidad de personal educativo. La manera más común de trabajar con el total de respuestas omiti- das es ajustar las ponderaciones de diseño adoptando el supuesto de que las unidades con respuesta representan todas las unidades, tanto con como sin respuesta. Este ajuste es lógico si se adopta el supuesto de que, para las características que pretende medir la encuesta, las uni- dades sin respuesta son iguales a las que tienen respuesta. Entonces, las 212 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO EJERCICIO 14.4 Cómo agregar resultados de las pruebas para un diseño con PPT El proceso de agregar los resultados de las pruebas para un diseño con PPT es similar a agregar los resultados de la prueba de los 400 alumnos del SRS. No obstante, en este caso, las secuencias del muestreo son importantes: primero se muestrearon las escuelas, luego las clases y, por último, los alumnos. Esta estructura influye en la forma de almacenar y combinar los archivos. El siguiente ejercicio corresponde a las actividades de captura de datos de una evaluación nacional en condiciones reales. Para comenzar, debe abrir el archivo de las respuestas completas, que contiene los datos de los 27 654 alumnos de 8.º grado. Luego, estas respuestas deberán coincidir con los alumnos (muestreados) de las clases muestreadas, y se conservarán los datos coincidentes. 1. Lea y ordene el archivo RESPONSES de la siguiente manera: File – Open – Data – Look in …\BASE FILES\RESPONSES.SAV Open Seleccione Data – Sort cases y mueva SCHOOLID CLASSID a Sort by. Haga clic en OK. 2. Lea y ordene el archivo que contiene la muestra de 120 clases como se indica a continuación: File – Open – Data – Look in …\MYSAMPLSOL\CLASS_SAMPLE.SAV Open Seleccione Data – Sort y mueva SCHOOLID CLASSID a Sort by. Haga clic en OK. 3. Combine las respuestas con la muestra de las clases. Descarte algunas variables superfluas y conserve solo los registros de la muestra. Abra el archivo RESPONSES en la pantalla. Seleccione Data – Merge files – Add variables. Elija CLASS_SAMPLE desde Open dataset, y haga clic en Continue. Haga clic en Match cases on key variables. Mueva SCHOOLID y CLASSID de Excluded variables a Key variables. Haga clic en Non-active dataset is keyed table. Haga clic en OK y nuevamente en OK. Las variables tamaño de la población, tamaño de la muestra y ponderaciones ahora deben aparecer en el archivo de respuestas. Conserve los registros muestreados seleccionando Data – Select Cases. Mueva DesignWeight a Use filter variable. Haga clic en Copy selected cases… y escriba PPTResponses en la casilla Dataset name; a continuación haga clic en OK. Abra PPTResponses en la pantalla y haga clic en la pestaña Variable View. Las siguientes variables no serán necesarias y pueden descartarse: nbclass, class_size, school_size, alloc. CÓMPUTO DE LAS PONDERACIONES DE LA ENCUESTA | 213  EJERCICIO 14.4 (continúa) Guarde el archivo con el nombre …\MYSAMPLSOL\PPTRESPONSES.SAV. La figura del ejercicio 14.4.A presenta un extracto de los resultados de la prueba basados en un muestreo aleatorio de dos etapas con PPT. FIGURA DEL EJERCICIO 14.4.A  Extracto de los resultados de las pruebas basados en un muestreo aleatorio de dos etapas Fuente: ejemplo dentro del programa SPSS. Cierre todos los archivos de datos abiertos sin guardarlos. ponderaciones de diseño de las unidades sin respuesta se distribuyen nuevamente entre las que tienen respuesta. Este paso suele realizarse mediante un ajuste por respuestas omitidas; el factor se multiplica por la ponderación de diseño para generar una ponderación ajustada por respuestas omitidas, como se ilustra en el siguiente ejemplo. El factor de ajuste por respuestas omitidas generalmente se define como la relación entre la suma de las ponderaciones en la muestra original y la suma de las ponderaciones de las unidades con respuesta. El equipo de muestreo debe consultar a los responsables de la administración de la prueba y determinar el número de unidades sin respuesta en cada escuela. Los datos sobre estas unidades sin respuesta deben quedar registrados en, por ejemplo, un formulario de segui- miento de los alumnos (véase el Recuadro 4.1). El equipo de 214 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO muestreo puede emplear esta información para computar los factores de ajuste adecuados. Tomemos por caso que se seleccionó una muestra aleatoria simple de n = 20 alumnos de una clase de N = 40 alumnos. El número de unidades con respuesta está representado por nr. De la muestra obje- tivo original de 20 alumnos, solo nr = 16 alumnos completaron la evaluación. Para determinar la ponderación de diseño y la pondera- ción ajustada por respuestas omitidas para las unidades con respuesta, se aplicarán los pasos que se explican a continuación: • En primer lugar, calcule las probabilidades de inclusión para una muestra aleatoria simple: n 20 1 π= = = . N 40 2 En consecuencia, la ponderación de diseño para cada unidad de la muestra es wd = 2. • En segundo lugar, calcule el factor de ajuste por respuestas omiti- das. Debido a que solo nr = 16 personas de las n = 20 seleccionadas brindaron la información requerida, el tamaño final de la muestra es 16. Si adoptamos el supuesto de que las unidades con respuesta pueden aplicarse para representar también a las unidades sin res- puesta, el factor de ajuste por respuestas omitidas es ∑w d 20 × 2 muestra A= = = 1,25. ∑wd respuesta 16 × 2 • El último paso es computar la ponderación ajustada por respuestas omitidas. La ponderación de diseño ajustada por respuestas omiti- das, wnr, es producto de la ponderación de diseño por el factor de ajuste por respuestas omitidas: wnr = wd A = 2 × 1,25 = 2,5. Cada unidad con respuesta ahora representa a 2,5 alumnos en la evaluación nacional (en comparación con 2,0 alumnos, si todos CÓMPUTO DE LAS PONDERACIONES DE LA ENCUESTA | 215  hubiesen respondido). En consecuencia, se asigna una ponderación final de 2,5 a cada unidad del archivo de datos. El ejercicio 14.5 se incluye por razones pedagógicas. Este ejemplo muestra cómo debe abordarse el tema de la ponderación de alumnos que, si bien forman parte de la muestra, no participaron en la evalua- ción nacional. Si se adopta el supuesto de que todas las unidades sin respuesta en una evaluación nacional son iguales en términos de las características medidas, entonces puede aplicarse el mismo factor de ajuste por res- puestas omitidas a todos los grupos con respuesta. No obstante, normal- mente existen buenos motivos para suponer que entre los distintos subgrupos existen diferencias en las propensiones de sus respuestas y en sus características. Por ejemplo, puede que los alumnos de escuelas rura- les tengan ausencias con mayor frecuencia que los alumnos de escuelas urbanas o que las tasas de respuesta de los niños y las niñas sean diferen- tes. La aplicación de un único ajuste a todas las unidades con respuesta probablemente impondría un sesgo a los resultados. En esos casos, deben realizarse distintos ajustes por respuestas omitidas dentro de cada estrato. El siguiente ejemplo examina una situación en la que existe una diferencia en las tasas de respuesta de alumnos urbanos y rurales (en, por ejemplo, la prueba de matemáticas), y crea la necesidad de aplicar distintos ajustes por respuestas omitidas a ambos conjuntos de datos. En la evaluación nacional, si bien se tomaron muestras de tamaño 100 para representar a las poblaciones urbana y rural, solo nr,1 = 85 alumnos del estrato urbano y nr,2 = 70 alumnos del estrato rural rindieron la prueba en matemáticas (Tabla 14.2). ­ Los resultados de los pasos que se siguieron para calcular las tasas de ajuste por respuestas omitidas son los siguientes: • La ponderación de diseño es wd,1 = 4 para el estrato urbano y wd,2 = 6 para el estrato rural. • Los factores de ajuste por respuestas omitidas para cada estrato se calcularon de la siguiente manera: 100 × 4 Estrato 1, Urbano: A1 = = 1,177. 85 × 4 100 × 6 Estrato 2, Rural: A2 = = 1,428. 70 × 6 216 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO EJERCICIO 14.5 Ajuste de ponderación por respuestas omitidas para muestra aleatoria simple de 400 alumnos No se evaluaron algunos alumnos de la muestra de 400 que se seleccionó de la base de muestreo de acuerdo con el diseño. El equipo de muestreo debe dar cabida a las respuestas omitidas. Debe tomar en consideración dos tipos distintos de alumnos no participantes. En primer lugar, es probable que algunos alumnos no puedan ser evaluados porque han abandonado la clase (y la escuela) de manera definitiva. En los archivos de datos se les asignará el estado abandonó o ya no está en la escuela. En este caso, algunos sostienen que estos no participantes deben permanecer en la base de muestreo, sin modificar sus ponderaciones, pero asignándoles un puntaje de 0 en las pruebas. Esto puede considerarse una consecuencia bastante grave por emplear una base de muestreo desactualizada. De hecho, los alumnos formaban parte de la población cuando se creó la base de muestreo, pero ya habían dejado de ser miembros de la población al momento de la evaluación, y esta última población es a la que en verdad se referirán las estimaciones. Sin embargo, una práctica usual es indicar 0 para la ponderación de los abandonos y, más adelante, eliminarlos de la base de datos. Esta estrategia supone que el alumno simplemente se cambió a otra escuela y que aún existe la posibilidad de que participe en la evaluación o de que otro lo represente en la muestra. No se realiza ningún ajuste a las ponderaciones de los alumnos participantes. En segundo lugar, puede que algunos alumnos hayan estado temporalmente ausentes por una enfermedad, por tener que ayudar a sus padres o por algún otro motivo. Estos alumnos, registrados con el estado ausente, pueden considerarse “verdaderas” unidades sin respuesta. Aún forman parte de la población y, si se hubiese tomado en otra fecha, habrían sido evaluados. Se los puede considerar como “faltantes aleatorios.” En consecuencia, a las ponderaciones de los restantes miembros de la muestra (entre los que se incluyen aquellos que dejaron la escuela de manera definitiva, es decir los abandonos, porque forman parte de la base de muestreo y eran miembros de la población cuando se definieron las ponderaciones de diseño) se les debe asignar un ajuste por respuestas omitidas. Más adelante, cuando se computen las estimaciones para la población encuestada, se aplicará un filtro para descartar los elementos sin respuesta de la muestra (ausentes, abandono y demás). El equipo de muestreo debe obtener información sobre el estado de participación de cada alumno de la muestra (participante, ausente, abandono o cualquier otro estado según se requiera) del equipo de recopilación de datos para cada escuela y alumno participantes. Esta información deberá registrarse y adjuntarse al archivo de muestra de manera similar a la indicada a continuación. Las respuestas de los alumnos y su ponderación para el diseño del muestreo aleatorio simple se almacenan en CÓMPUTO DE LAS PONDERACIONES DE LA ENCUESTA | 217  EJERCICIO 14.5 (continúa) …\MYSAMPLSOL\SRSRESPONSES. La variable STATUS indica las unidades sin respuesta. La variable RESP se crea como marcador para respuesta o respuesta omitida. Debido a que el muestreo aleatorio simple no utiliza información sobre escuelas o clases, solo deben contarse los casos en el archivo y compararse con el tamaño de muestra pretendido. Las ponderaciones de los estudiantes de la muestra se ajustan de acuerdo con su estado de participación, y las ponderaciones finales se guardan en …\MySamplSol\SRSResponses para que puedan utilizarse más adelante. 1. Lea el archivo SRSResponses aplicando los siguientes comandos: File – Open – Data – Look in …\MYSAMPLSOL\SRSRESPONSES.SAV Open 2. Cree un marcador para respuesta y cuente el número de casos con respuesta. Utilice los siguientes comandos: Transform – Recode into Different Variables…. Luego, mueva STATUS a Input Variable. Escriba RESP en Output Variable Name. Si lo desea, puede ingresar un título explicativo en el recuadro Label. Haga clic en Change. Clic en Old and New Values. Dentro de Old Value, haga clic en Value y escriba absent, respetando mayúsculas y minúsculas. En New Value, ingrese el número 0. Haga clic en Add. En Old Value, haga clic en All other values en la parte inferior de la pantalla. En New Value, ingrese el número 1 y haga clic en Add. Luego, haga clic en Continue y después presione OK. Seleccione Data – Aggregate del menú. Mueva RESP a Break variable. Dentro de Aggregated variables, haga clic en Number of cases. Escriba EFFSAM para “muestra efectiva” en reemplazo de la opción predeterminada N_BREAK. En Save, haga clic en Add aggregated variables to active dataset. En Options, haga clic en Sort file before aggregating y luego presione OK. Observe el número 19 debajo del encabezado EFFSAM donde RESP es 0. Este número indica que 19 miembros de la muestra de los 400 alumnos seleccionados eran unidades sin respuesta. 3. Compute el factor de ajuste por respuestas omitidas (NRESADJ) y la ponderación de estimación. Seleccione Transform – Compute Variable de los comandos del menú. Escriba NRESADJ en Target Variable. Ingrese SampleSize/EFFSAM en Numeric expression. Haga clic en If…. Clic en Include if case satisfies condition. Escriba RESP=1, haga clic en Continue y luego presione OK. Vuelva a seleccionar Transform – Compute Variable de los comandos del menú. Escriba NRESADJ en (continúa) 218 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO EJERCICIO 14.5 (continúa) Target Variable. Ingrese 0 en Numeric expression. Haga clic en If…, y luego en Include if case satisfies condition. Escriba RESP=0. Haga clic en Continue, luego en OK y nuevamente en OK. Vuelva a seleccionar Transform – Compute Variable de los comandos del menú para verificar la ponderación de estimación. Escriba FINALWEIGHT en Target Variable. Ingrese SampleWeight* NRESADJ en Numeric expression. Haga clic en If…, y luego en Include all cases. Presione Continue. Haga clic en OK. Observará que la ponderación final de la estimación es 0 para los alumnos ausentes y alrededor de 72,6 (según el número de unidades sin respuesta en la muestra) para los participantes y abandonos. Si el ajuste por respuestas omitidas y la ponderación final aparecen como números enteros, es posible modificar la cantidad de posiciones decimales visibles desde la opción para formato en la pestaña Variable View. Cada unidad con respuesta ahora representa a 72,6 alumnos. Guarde el archivo como …\MYSAMPLSOL\RESPSRSFINALWT.SAV. Este archivo se utilizará para computar estimaciones más adelante. Cierre sin guardar todos los demás archivos de datos abiertos. TABLA 14.2 Muestra aleatoria simple estratificada: población urbana y rural y tamaños de la muestra y tasas de respuesta Tamaño de la Tamaño de la Número de unidades Estrato población muestra con respuesta Urbano N1 = 400 n1 = 100 nr,1 = 85 Rural N2 = 600 n2 = 100 nr,2 = 70 • Las ponderaciones ajustadas por respuestas omitidas para cada estrato, es decir, el resultado de la multiplicación de la ponderación de diseño por el factor de ajuste por respuestas omitidas, fueron: Estrato 1, Urbano: wnr,1 = wd,1A1 = 4 × 1,177 = 4,706. Estrato 2, Rural: wnr,2 = wd,2A2 = 6 × 1,428 = 8,571. Por consiguiente, a cada unidad con respuesta del estrato urbano en el archivo de la muestra se le asigna una ponderación final de 4,706 CÓMPUTO DE LAS PONDERACIONES DE LA ENCUESTA | 219  TABLA 14.3 Muestra aleatoria simple estratificada: población urbana y rural y tamaños de muestra, tasas de respuesta y ponderaciones ajustadas por respuestas omitidas Tamaño Número de Tamaño de de la unidades con Ponderación Ponderación Estrato la población muestra respuesta de diseño ajustada Urbano N1 = 400 n1 = 100 nr,1 = 85 4 4,706 Rural N2 = 600 N2 = 100 nr,2 = 70 6 8,571 en tanto que para cada unidad con respuesta del estrato rural la pon- deración final es de 8,571 (véase la Tabla 14.3). En otras palabras, cada alumno urbano representó a alrededor de 4,7 alumnos urbanos, mientras que cada alumno rural representó a cerca de 8,6 alumnos. En algunos casos, puede que sea necesario o posible un ajuste por respuestas omitidas en clases definidas por variables distintas a las empleadas para la estratificación; por ejemplo, si los niños tienden a responder mucho menos que las niñas, puede que un ajuste por res- puestas omitidas según el tipo de urbanización no sea tan efectivo como un ajuste por género. Desde luego, este tipo de ajuste requiere que esté indicado el género en las planillas de clase de las listas de alumnos para cada clase de la muestra. Puede que convenga consultar a un especialista en estadísticas de encuestas debido a que estos ajus- tes pueden ser más delicados de lo que parecen y pueden afectar la manera en que se computarán las ponderaciones de replicación (véase el Capítulo 16). Al calcular el factor de ajuste por respuestas omitidas, puede que descubra que es importante tener en cuenta el hecho de que algunas unidades de la muestra (alumnos) podrían quedar fuera del alcance (es decir, que podrían no ser parte de la población objetivo). Por ejemplo, puede que un niño con una dificultad de aprendizaje asista a una clase regular gracias a una política nacional de integración escolar. No obstante, debería haberse excluido a este niño de la evaluación nacional porque sigue un currículo reducido o adaptado y no forma parte de la población objetivo. El cálculo del ajuste por respuestas omitidas debe basarse en unidades dentro del alcance, debido a que las unidades fuera del alcance de la muestra en general representan a 220 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO otras unidades de este tipo dentro de la base de muestreo. En el ejemplo precedente se adopta el supuesto de que todas las unidades ­ sin respuesta están dentro del alcance. El ajuste por respuestas omitidas debe realizarse de manera separada para cada grupo de unidades con respuesta similares, donde ­ cada grupo representa a las unidades sin respuesta dentro de ese grupo. Puede que sea recomendable que el equipo de muestreo con- sulte a un especialista en muestreo para que colabore en la identifi- cación de los grupos de respuesta más adecuados para una evaluación específica. El ejercicio 14.6 muestra cómo calcular el ajuste de ponderación para una muestra con PPT. EJERCICIO 14.6 Ajuste de ponderación por respuestas omitidas para una muestra con PPT Al calcular las ponderaciones para la evaluación nacional de Sentz con el diseño de dos etapas con PPT, se debe adoptar el supuesto de que todas las escuelas y clases elegidas respondieron. En la práctica, esto probablemente no sucederá, y se requerirán ajustes de ponderación adicionales para que las escuelas participantes representen a las escuelas sin respuesta. Como en el ejemplo del muestreo aleatorio simple, en las clases seleccionadas deben tenerse en cuenta las respuestas omitidas. Aquí también se debe hacer una distinción entre los abandonos, que se mantienen en el archivo con puntajes de 0 en las pruebas, y los ausentes temporales, que se tratan como unidades sin respuesta. Las ponderaciones de los restantes miembros de la clase deben ajustarse de manera usual. El ajuste se calcula de la misma manera que para el caso del muestreo aleatorio simple, con la excepción de que deben incluirse las clases en los cómputos. 1. Determine los grupos de respuesta más adecuados para el ajuste. Si, por ejemplo, se espera que los puntajes de las pruebas o las tasas de respuesta difieran significativa- mente entre los niños y las niñas, o entre áreas urbanas y rurales, podrían considerarse estas categorías al momento de realizar los ajustes por respuestas omitidas. En este caso, un rápido análisis de los resultados no sugirió que estos factores revistieran particular importancia. En consecuencia, los ajustes por respuestas omitidas se realizarán dentro de cada clase. Si, por ejemplo, una clase tenía inicialmente 42 alumnos, de los cuales 1 abandonó la escuela y 3 estaban temporalmente ausentes, las ponderaciones originales ahora se multiplican por 42/(42 − 3) = 42/39 = 1,0769; el alumno que abandonó la escuela mantendría la ponderación original representando así a otros alumnos que hayan abandonado la escuela. CÓMPUTO DE LAS PONDERACIONES DE LA ENCUESTA | 221  EJERCICIO 14.6 (continúa) El archivo …\MYSAMPLSOL\PPTRESPONSES.SAV contiene las respuestas y las ponderaciones de diseño para la muestra de dos etapas de alumnos. El proceso para computar los factores de ajuste por respuestas omitidas es idéntico al que se empleó anteriormente para la muestra aleatoria simple. Las respuestas deben contarse por clase y escuela, por lo que las instrucciones transmitirán la jerarquía de la muestra. Ante la falta de información que indique que las respuestas omitidas son completamente uniformes en toda la población, puede que convenga realizar los ajustes a nivel local en vez de a nivel global. Siga los pasos a continuación para (a) abrir el archivo de respuestas adecuado, (b) computar el tamaño de la muestra en la última etapa del muestreo (el tamaño de la clase) y el número de unidades con respuesta, (c) calcular un factor de ajuste por respuestas omitidas a nivel de clase, y (d) computar las ponderaciones finales. En primer lugar, lea el archivo PPTResponses: File – Open – Data – Look in ...\MYSAMPLSOL\PPTRESPONSES.SAV Open 2. Cree un marcador para respuesta y cuente el número de casos con respuesta.a Seleccione Transform – Recode into Different Variables…. Mueva STATUS a Input Variable. Escriba RESP en Output Variable Name. Si lo desea, puede ingresar una etiqueta. Haga clic en Change, luego en Old and New Values. Dentro de Old Value, haga clic en Value y escriba absent, respetando mayúsculas y minúsculas. En New Value, ingrese el número 0. Haga clic en Add. En Old Value, haga clic en All other values (en la parte inferior de la pantalla). En New Value, ingrese el número 1. Haga clic en Add. Presione Continue. Haga clic en OK. Seleccione Data – Aggregate. Mueva SCHOOLID CLASSID a Break variable. En Aggregated variables, haga clic en Number of cases. Escriba CLASS_SIZE en reemplazo de la opción predeterminada N_BREAK. En Save, haga clic en Add aggregated variables to active dataset. En Options, clic en Sort file before aggregating. Haga clic en OK. Vuelva a seleccionar Data – Aggregate. Mueva RESP a Break variable y agréguelo a SCHOOLID CLASSID, que aún debe estar en el cuadro de diálogo del paso anterior. Dentro de Aggregated variables, haga clic en Number of cases. Escriba CLASS_RESP para número de unidades con respuesta en el lugar de la opción predeterminada N_BREAK. En Save, haga clic en Add aggregated variables to active dataset. En Options, clic en Sort file before aggregating. Haga clic en OK. (continúa) 222 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO EJERCICIO 14.6 (continúa) 3. Calcule el factor de ajuste por respuestas omitidas. Seleccione Transform – Compute Variable. Escriba NRESADJ en Target Variable. Ingrese CLASS_SIZE/ CLASS_RESP en Numeric expression. Haga clic en If…. Luego haga clic en Include if case satisfies condition. Escriba RESP=1. Presione Continue. Haga clic en OK. Seleccione Transform – Compute Variable. Escriba NRESADJ en Target Variable. Ingrese 0 en Numeric expression. Haga clic en If…, y luego en Include if case satisfies condition. Escriba RESP=0. Pesione Continue. Haga clic en OK. Vuelva a hacer clic en OK. 4. Compute la ponderación final de estimación. Seleccione Transform – Compute Variable del menú. Escriba FINALWEIGHT en Target Variable. Ingrese DesignWeight*NRESADJ en Numeric expression. Haga clic en If…, luego en Include all cases. Presione Continue. Haga clic en OK. Guarde los resultados del ajuste por respuestas omitidas de la ponderación de diseño en el archivo …\MYSAMPLSOL\RESP2STGFINALWT.SAV para que pueda utilizarse más adelante. La Figura 14.6.A del ejercicio muestra una parte del archivo de datos de la muestra con PPT con los ajustes finales de ponderación y las ponderaciones finales en las últimas dos columnas. FIGURA DE EJERCICIO 14.6.A  Extracto de archivo de datos de muestra con PPT Fuente: ejemplo en el programa SPSS. a. En este ejemplo, el recuento está actualizado. En algunos casos, puede que transcurra un tiempo entre la creación de la base de muestreo (por ejemplo, en el mes 1 del año escolar) y la realización de las pruebas (por ejemplo, en el mes 10). Puede que el número de alumnos cambie debido a factores como la migración natural (nuevos ingresos y egresos). Ante esta circunstancia, debe realizarse un nuevo recuento. CÓMPUTO DE LAS PONDERACIONES DE LA ENCUESTA | 223  EXPORTACIÓN E IMPORTACIÓN DE DATOS LIMPIOS El último paso en el proceso de depuración y ponderación de datos es ­ propiado exportar el conjunto de datos limpios en un formato que sea a para su análisis. SPSS importará archivos de Access y de otros forma- tos de texto. El programa de análisis estadístico (SAS) importará for- matos de Access y SPSS además de muchos otros formatos de texto. WesVar acepta directamente archivos de Access, EpiData, Epi Info, SAS, SPSS y Stata. POST-ESTRATIFICACIÓN: USO DE INFORMACIÓN AUXILIAR PARA MEJORAR LAS ESTIMACIONES MEDIANTE EL AJUSTE DE PONDERACIONES La ponderación de diseño multiplicada por el factor de ajuste por respuestas omitidas puede emplearse para generar ponderaciones finales y estimaciones de la encuesta para las características deseadas. No obstante, con frecuencia la información sobre la población de la encuesta proviene de otras fuentes (por ejemplo, de las últimas esta- dísticas de matrícula). Esta información también puede incorporarse al proceso de ponderación. Existen dos razones principales que respaldan el empleo de datos auxiliares en las estimaciones. En primer lugar, muchas veces es importante que las estimaciones de la encuesta coincidan con los totales conocidos de la población. Por ejemplo, puede que se desee que los números estimados de alumnos de género masculino y feme- nino coincidan con los números oficiales de niños y niñas matricula- dos en la escuela. En segundo lugar, la post-estratificación puede mejorar la precisión de las estimaciones. Recuerde que se considera preciso a un estimador con variación de muestreo baja—una medida para el error de muestreo—. No obstante, en la etapa de diseño, debe haber informa- ­ ción auxiliar para todas las unidades de la base de muestreo. En la estimación, los datos auxiliares pueden emplearse para mejorar la pre- cisión de las estimaciones siempre y cuando los valores de las variables auxiliares se recopilen para las unidades encuestadas y que se cuente 224 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO con totales o estimaciones de la población para estas variables auxilia- res de otra fuente confiable. La información auxiliar también puede usarse para una mayor corrección de las distintas tasas de respuestas omitidas en subgrupos de la población. También puede ayudar a ajus- tar las deficiencias de cobertura que llevan a que la población de la encuesta difiera de la población objetivo. Para que el empleo de datos auxiliares en la etapa de estimación sea exitoso se deben cumplir tres requisitos básicos: • Los datos auxiliares deben estar bien correlacionados con las varia- bles de la encuesta. • Las fuentes externas de información sobre la población deben ser exactas. • Cuando solo se conocen los totales de la población, la información auxiliar debe ser recopilada para todas las unidades de muestreo con respuesta. Normalmente, la información auxiliar se utiliza para la post-­ estratificación (por ejemplo la cantidad de personas por género y grupo de edad o la cantidad de estudiantes que asisten a clases avan- zadas de matemáticas o especializadas de lengua) se obtiene de fuen- tes oficiales (censos nacionales, ministerio de educación) pero se informan (o llegan) al equipo de muestreo solamente como totales de la población, y no como valores individuales para cada miembro de esa población. En la post-estratificación, estos totales se deben com- parar con las estimaciones correspondientes tomadas de la muestra, lo cual significa que la información debe ser recopilada para cada indi- viduo muestreado como parte de la sección de contexto dentro del cuestionario o de los cuadernillos de la prueba. Los beneficios en eficiencia que logran las estimaciones que utilizan datos auxiliares dependen de la correcta correlación de las variables de la encuesta con los datos auxiliares disponibles. No solo los datos tienen que ser confiables, sino que además, la fuente de datos externa debe corresponder a la misma población objetivo y basarse en conceptos, definiciones y períodos de referencia comparables con los de la encuesta. La post-estratificación se utiliza para ajustar las ponderaciones de la encuesta aplicando variables que son adecuadas para la estratificación pero que no pudieron utilizarse en la etapa de diseño, porque esos datos CÓMPUTO DE LAS PONDERACIONES DE LA ENCUESTA | 225  no estaban disponibles o porque, después de la selección de la muestra, se contó con información más actualizada y confiable sobre la estratifi- cación en esa población. La post-estratificación se utiliza cuando se dis- pone de datos auxiliares en forma de recuentos (por ejemplo, la cantidad de estudiantes mujeres o varones en la población). Es muy efectiva para reducir la varianza muestral cuando los promedios de la población para las variables de interés son muy diferentes entre los post-estratos (por ejemplo cuando los puntajes de rendimiento para niñas y niños son marcadamente diferentes). No obstante, es siempre preferible estratifi- car en la etapa de diseño que realizar una post-estratificación. Los ejemplos mencionados a continuación son bastante simples y muestran cómo utilizar la post-estratificación para mejorar la estima- ción de la cantidad de docentes mujeres en una escuela. Supongamos que un grupo de investigación externo realizó una encuesta para obtener información sobre el personal de la escuela. Se seleccionó una muestra aleatoria simple de n = 25 personas de la lista anónima de N = 78 empleados de la escuela. A los fines de este ejemplo, supongamos que en la etapa de diseño no se contaba con ­ información auxiliar que pudiera emplearse para la estratificación. Además de la información sobre género, se recopiló información sobre edad y materia de especialización en cada una de las respuestas. De las n = 25 personas originales, nr = 15 respondieron. La Tabla 14.4 presenta datos específicos por género sobre la muestra de personal y sobre los docentes de matemáticas. Obsérvese lo siguiente: • La probabilidad de inclusión de cada unidad muestreada fue n 25 π= = = 0,32; N 78 TABLA 14.4 Encuesta de escuela: distribución post-estrato del personal por género Número de Post-estrato 1 Post-estrato 2 unidades con Grupo hombres mujeres respuesta Todo el personal 3 12 15 Docentes de matemáticas 1 7 8 226 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO En consecuencia, la ponderación de diseño fue wp = 1/p = 3,12. 25 A= = 1,67. 15 • El factor de ajuste por respuestas omitidas, adoptando el supuesto de que todos en la encuesta tuvieron la misma probabilidad de responderla (es decir, hubo un grupo de respuestas omitidas), fue wnr = wd A = 3,12 × 1,67 = 5,2. • La ponderación ajustada por respuestas omitidas fue En consecuencia, todas las respuestas tuvieron la misma pondera- ción ajustada por respuestas omitidas, wr = 5,2. Estas ponderaciones se emplearon para producir las estimaciones de la encuesta que se muestran en la Tabla 14.5. Las ponderaciones ajustadas por respuestas omitidas dieron como resultado una estimación de aproximadamente 16 hombres y 62 mujeres que trabajan en la escuela, con una estimación de que ense- ñan matemáticas un 33 por ciento de hombres y un 58 por ciento de mujeres. Supongamos que después de realizada la encuesta, el organismo de investigación externo encontró que 42 hombres y 36 mujeres estaban trabajando en la escuela al momento de la encuesta. Las estimaciones producidas a partir de la encuesta fueron bastante diferentes de estos valores reales. El organismo decidió que las estimaciones de la encuesta deberían ser congruentes con el número conocido de hombres y mujeres. También se consideró que la materia de especialización podría estar relacionada con el género del docente. Si al momento del diseño de la muestra se hubiese contado con información específica sobre el TABLA 14.5 Estimaciones de la encuesta ajustadas por respuesta omitida Hombres Mujeres Total Número de personal (3 x 5,2 = ) 15,6 62,4 78,0 Número de docentes de matemáticas 5,2 36,4 41,6 Proporción de docentes de matemáticas 0,33 0,58 0,53 CÓMPUTO DE LAS PONDERACIONES DE LA ENCUESTA | 227  género de los docentes, el organismo habría estratificado por género. ¿Qué puede hacer el organismo? La muestra se puede estratificar después del hecho para crear lo que se conoce como una ponderación post-estratificada que se aplicará durante la estimación. La ponderación post-estratificada, wpst, es el producto de la ponderación ajustada por respuestas omitidas, wnr , y el factor de ajuste post-estratificación. Este factor se calcula para cada post-estrato. El factor corresponde a la relación entre el número de unidades de la población en el pos- testrato, N, y el número de unidades de la población estimado en el post-estrato, Nˆ , que se estima aplicando las ponderaciones de diseño ajustadas por respuestas omitidas. (Si bien en este ejemplo se aplica al muestreo aleatorio simple, la misma fórmula, N/ N ˆ , se puede emplear para ponderaciones de diseño más complejas.) En este ejemplo, los factores de ajuste post-estratificación son Nhombres 42 Post-estrato 1, hombres: = = 2,69. ˆ N 15 , 6 hombres Nmujeres 36 Post-estrato 2, mujeres: = = 0,58. ˆ Nmujeres 62 ,4 Cuando estos factores se aplican a las ponderaciones ajustadas por respuestas omitidas, se obtiene las siguientes ponderaciones post- estratificadas finales: Nhombres Post-estrato 1, hombres: wpst,hombres = wnr × = 5,2 × 2,69 = 14. ˆ N hombres Nmujeres Post-estrato 2, mujeres: wpst,mujeres = wnr × = 5,2 × 0,58 = 3. ˆ N mujeres Al utilizar ponderaciones post-estratificadas, las estimaciones del número de hombres y mujeres ahora coinciden con los totales cono- cidos de hombres y mujeres en la escuela, y en la medida en que el género esté relacionado con el número y la proporción de la especia- lización docente, se puede obtener una mejora importante en la pre- cisión. Observe que la proporción de docentes de matemáticas dentro 228 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO TABLA 14.6 Estimaciones de la encuesta ajustadas por respuestas omitidas antes y después del ajuste post-estratificación Post- estratificación Personal Hombres Mujeres Total Antes del Número (3 x 5,2 = ) 15,6 62,4 78,0 ajuste Número de docentes de matemáticas 5,2 36,4 41,6 Proporción de docentes de matemáticas 0,33 0,58 0,53 Después del Número (3 x 5,2 = ) 42 36 78 ajuste Número de docentes de matemáticas 14 21 35 Proporción de docentes de matemáticas 0,33 0,58 0,45 de cada post-estrato no ha variado, en cambio la proporción de docen- tes de matemáticas dentro de la población total, que abarca más de un post-estrato, sí ha variado. En la Tabla 14.6 se presentan las estimacio- nes de la encuesta realizada. Existen métodos más complejos de ajuste de ponderaciones, pero quedan fuera del alcance de este enfoque del muestreo. Para cuestio- nes más complejas, puede que el equipo de muestreo desee consultar a un especialista en muestreo para explorar el método de ajuste más adecuado para una situación dada. Por último, observe que no se ha intentado post-estratificar los datos de Sentz. Posiblemente, después de algunos análisis iniciales de los resultados ponderados, puede que se hubieran detectado diferen- cias que, ante la existencia de información actualizada y precisa, habrían llevado a tomar la decisión de realizar una post-estratificación en una o más variables clave. 15 CA P Í T U L O USO DE MUESTRAS ALEATORIAS SIMPLES PARA EL CÁLCULO DE ESTIMACIONES Y SUS ERRORES DE MUESTREO El objetivo de los ejemplos y los cálculos, hasta este momento, fue calcular las ponderaciones de diseño y ajus- tarlas según fuera necesario por respuestas omitidas y por datos auxi- liares (ponderaciones post-estratificadas). Estos cálculos han dado como resultado un conjunto de ponderaciones de estimación finales, que se aplicarán para el cálculo de estimaciones de la población para la evaluación nacional. Prácticamente en todas las encuestas se producen estadísticas des- criptivas simples, como por ejemplo totales, promedios y proporciones. Para estos diferentes tipos de variables corresponde crear distintos tipos de estimadores. Normalmente, para variables cualitativas se producen conteos de totales y proporciones, mientras que para variables cuantita- tivas se estiman promedios y totales. En el Capítulo 14 hemos tratado cómo se calculan las ponderaciones de la estimación, ahora explicare- mos cómo utilizar estas ponderaciones para obtener estimaciones para algunas características básicas de la población, tales como los totales, los promedios y las proporciones. También se mostrará cómo obtener esti- maciones de precisión (que con frecuencia se conocen como error de muestreo) para esas estimaciones. Este capítulo se concentra en las mues- tras aleatorias simples. En el Capítulo 16 se describe cómo obtener estimaciones de error de muestreo en diseños de muestras complejas. ­ 229 230 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO Un punto a tener en consideración durante una estimación, además del tipo de datos, es la naturaleza de la población respecto de la cual se está realizando la estimación. Las estimaciones se pueden efectuar respecto de la totalidad de la población encuestada, o respecto de un subgrupo específico—o sector—de la población (por ejemplo, provin- cia, materia enseñada o fuente de financiación de la escuela), tanto si en el momento del muestreo se conocía o no la información que define ese sector. Cuando la clasificación original de las unidades de muestreo ha sido modificada entre el momento de la selección de la muestra y la estimación, para la estimación del sector deberá utilizarse la última clasificación. Esos cambios podrían producirse cuando en los archivos administrativos se registró como docente de Matemáticas a un docente que se describe a sí mismo como docente de Lengua. Las respuestas a las siguientes preguntas ayudarán a determinar cómo se computan las estimaciones de la encuesta: • ¿Qué tipo de datos se están utilizando: cualitativos o cuantitativos? • ¿Qué tipo de estadísticas se necesita: un total, un promedio o una proporción? • ¿Cuáles son las ponderaciones finales? • ¿Cuáles son los sectores de interés? En este capítulo se describen los procedimientos para estimar totales, promedios y proporciones de la población total de la encuesta ­ y de sectores, aplicando ponderaciones para variables cualitativas y cuantitativas. Se pueden utilizar estimadores para cualquier tipo de diseño de probabilidad de la muestra, ya sea simple (por ejemplo, muestreo aleatorio simple o muestreo aleatorio sistemático) o más complejo. Lo importante es que la ponderación final de cada unidad responda al diseño de la muestra. ESTIMACIÓN DEL TOTAL POBLACIONAL Para obtener las estimaciones correctas de los datos de la población en una evaluación nacional, es necesario aplicar las ponderaciones fina- les correctas a los datos. En el Anexo IV.A se presenta la anotación estadística para el cálculo de estimaciones. En el ejercicio 15.1 se ejemplifican los procedimientos de estimación. USO DE MUESTRAS ALEATORIAS SIMPLES PARA EL CÁLCULO DE ESTIMACIONES | 231  EJERCICIO 15.1 Estimación para SRS400 Este ejercicio busca construir tres estimaciones de interés para los responsables de las políticas sobre la totalidad de la población de una muestra aleatoria simple, SRS400: (a) el número total de alumnos, (b) su edad promedio y (c) la proporción que alcanzó un puntaje de 230 o más en Matemáticas. Las 3 estimaciones se realizarán para la subpoblación “niños” (gender =1): el número total de niños, su edad promedio y su puntaje promedio en Matemáticas. Los datos que se requieren están guardados en …\MYSAMPLSOL\RESPSRSFINALWT.SAV. Las estimaciones deben considerar la población en el momento de la evaluación. En consecuencia, si bien los alumnos que han abandonado todavía están en el archivo y tienen ponderaciones finales porque pertenecían a la base de muestreo original, no contribuyen a las estimaciones; al momento de la evaluación, todas sus características tenían un valor cero, incluso una variable conceptual ficticia para indicar que pertenece a la población evaluada, belongs to the population being assessed, es igual a cero. Asignar un valor cero a sus características es equivalente a concebir la población evaluada como un sector de estimación dentro de la población definida por la base de muestreo. Por lo tanto, los registros de abandono deben quedar excluidos del archivo final que se utilizará para calcular las estimaciones finales. Los únicos aportes directos a las estimaciones, por ende, son los alumnos que fueron realmente evaluados, que también representan a los ausentes a través de los ajustes que dieron como resultado ponderaciones finales. Al recopilar las estimaciones, debe tenerse en consideración la condición (participante o ausente) de cada alumno y utilizar la variable STATUS como filtro. También es necesario crear una variable ficticia, MAT230, porque los responsables políticos están interesados en obtener información sobre los alumnos que alcanzaron un puntaje de al menos 230 en la prueba de Matemáticas. 1. Para comenzar el ejercicio, abra SPSS, recupere el conjunto de datos y cree MAT230. Los detalles sobre cómo crear MAT230 en WesVar se muestran en los pasos 8 a 12 del Anexo IV.D. Siga esta secuencia de comandos: File – Open – Data …\MYSAMPLSOL\RESPSRSFINALWT Open Transform – Recode into Different Variables… 2. Mueva MATH a Input Variable. Escriba MAT230 en Output Variable Name. Si lo desea, puede además escribir una etiqueta. Haga clic en Change. 3. Haga clic en Old and New Values. En Old Value, haga clic en Range, value through HIGHEST y escriba 230. En New Value, escriba el número 1. Haga clic en Add. En Old Value, haga clic en All Other Values (en la parte inferior de la pantalla). En New Value, escriba el número 0. Haga clic en Add, Continue y OK. (continúa) 232 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO EJERCICIO 15.1 (continúa) Antes de poder realizar las estimaciones, debe filtrar los alumnos no participantes para excluirlos y emplear la ponderación de la estimación. Utilice los siguientes comandos: Data – Select Casesa – If condition is satisfied… – If… 4. Mueva STATUS al casillero en el extremo superior izquierdo. Escriba = “participant” y haga clic en Continue. En Output, haga clic en Filter out unselected cases y luego en OK. 5. Ahora deberá emplear el asistente SPSS para avanzar por los pasos necesarios para realizar la estimación, del mismo modo que lo hizo para el muestreo. Compruebe que después del filtro hayan quedado solo los alumnos participantes. Siga esta secuencia de comandos: Analyze – Complex Samples – Prepare for Analysis… Create a Plan File 6. Haga clic en Browse hasta encontrar MYSAMPLSOL (figura del ejercicio 15.1.A). Escriba SRS_plan como nombre del archivo. Luego haga clic en Save y en Next. FIGURA DEL EJERCICIO 15.1.A  Cómo preparar el asistente para análisis Fuente: ejemplo dentro del programa SPSS. a. Puede que este paso sea distinto en SPSS18; probablemente, tenga que modificar las instrucciones o el formato de la variable “condición”. (Por ejemplo podría convertir STATUS a una variable numérica, con TRANSFORM.) USO DE MUESTRAS ALEATORIAS SIMPLES PARA EL CÁLCULO DE ESTIMACIONES | 233  EJERCICIO 15.1 (continúa) 7. Mueva FinalWeight de Variables al casillero Sample Weight y haga clic en Next. Haga clic en Equal WOR y después en Next. En este punto, el programa podría mostrar una advertencia que indica que la sección está incompleta; complete la sección. 8. Haga clic en Read values from variable. Seleccione Population Sizes en el casillero Units ubicado en la parte superior derecha. Mueva PopulationSize de Variables a Read values… y haga clic en Next. En el panel Summary, haga clic en No, do not add another stage y luego en Next. A continuación, haga clic en Finish. 9. Siga esta secuencia de comandos: Analyze – Complex Samples – Descriptives Seleccione el archivo de plan que acaba de crear, …\MYSAMPLSOL\SRS_PLAN. Seleccione …\MYSAMPLSOL\RESPSRSFINALWT como el conjunto de datos y haga clic en Continue, y luego en OK. Mueva Age, Math y MAT230 de Variables a Measures. Haga clic en Statistics y verifique que Means y Standard Error estén activados. A continuación, haga clic en Continue y luego en OK. Se mostrará una pequeña tabla de salida en la ventana Output de SPSS (figura del ejercicio 15.1.B). FIGURA DEL EJERCICIO 15.1.B  Estadísticas descriptivas para edad y matemáticas Fuente: ejemplo dentro del programa SPSS. Para computar las estimaciones del sector “niños”, en lugar del total de la población, puede utilizar el archivo SRS_plan que acaba de crear, ir directamente al comando Descriptives y especificar una subpoblación de la siguiente manera: Analyze – Complex Samples – Descriptives (continúa) 234 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO EJERCICIO 15.1 (continúa) Seleccione el archivo de plan que acaba de crear …\MYSAMPLSOL\SRS_PLAN. Luego seleccione …\MYSAMPLSOL\RESPSRSFINALWT como el conjunto de datos. Haga clic en Continue y en OK. A continuación, mueva Age, Math y MAT230 de Variables a Measures. Mueva Gender de Variables a Subpopulations. Haga clic en Statistics y verifique que Means y Standard Error estén activados. A continuación, haga clic en Continue y luego en OK. Los resultados de las niñas (GENDER = 0) y de los niños (GENDER = 1) se muestran en la tabla de resultados, en la figura del ejercicio 15.1.C. FIGURA DEL EJERCICIO 15.1.C  Estadísticas descriptivas para edad y matemáticas, por género Fuente: ejemplo dentro del programa SPSS. USO DE MUESTRAS ALEATORIAS SIMPLES PARA EL CÁLCULO DE ESTIMACIONES | 235  ESTIMACIÓN DEL PROMEDIO POBLACIONAL Para una variable cuantitativa, la estimación de un valor promedio en la población (por ejemplo, la edad promedio de los alumnos) se obtiene sumando el producto del valor de la muestra y la ponderación de cada unidad con respuesta. La cifra obtenida se divide luego por la suma de las ponderaciones. En otras palabras, la estimación del pro- medio en una población es la estimación del valor total de una varia- ble cuantitativa dividida por la estimación del número total de unidades en la población: ∑w y i i ˆ Y ˆ respuesta . Y = = ∑w respuesta i Nˆ ESTIMACIÓN DE UNA PROPORCIÓN POBLACIONAL Para datos cualitativos, la estimación de la proporción de unidades dentro de la población encuestada que tiene una característica dada C se obtiene sumando las ponderaciones de las unidades que tienen esa característica y dividiendo ese total por la suma de las ponderaciones de todas las respuestas. Se puede emplear una variable ficticia, ϕi, para indicar si el elemento i tiene (ϕi = 1) o no tiene (ϕi = 0) la caracterís- tica de interés. En otras palabras, la estimación de la proporción de la población es la estimación del número total de unidades que tienen la característica dada dividida por la estimación del número total de unidades de la población: ­ ∑ wiϕi ˆ N ˆ = P respuesta = c . ∑ wi ˆ c N respuesta 236 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO ESTIMACIÓN DE SUBGRUPOS EN LA POBLACIÓN Puede que se requieran estimaciones de subgrupos, que en la litera- tura de muestreo frecuentemente se denominan como sectores. Estos sectores pueden incluir el grupo de edad, la fuente de financiación de la escuela y la condición socioeconómica de los alumnos. En estas estimaciones, wi indica las ponderaciones finales ajustadas por respuestas omitidas; la variable ficticia δi indica si el elemento i está ­ (δi = 1) o no está (δi = 0) en la subpoblación de interés; y la variable ficticia ϕi indica si el elemento i tiene (ϕi = 1) o no tiene (ϕi = 0) la característica de interés. El tamaño de la población de una subpoblación de interés, ya sea para datos cualitativos o cuantitativos, ­ se estima como ˆ N subpoblación = ∑ wi δi . respuesta La estimación de una subpoblación total para datos cuantitativos es ˆ Y subpoblación = ∑wδ y. respuesta i i i Las estimaciones de un promedio de una subpoblación para una variable cuantitativa o cualitativa son, respectivamente, ˆ ∑wδ y respuesta i i i ˆ Y subpoblación Ysubpoblación = = ∑wδ respuesta i i ˆ N subpoblación y ∑wδ ϕ i i i ˆ N ˆ P = respuesta = subpoblación ∩C . ∑wδ ˆ subpoblación i i N subpoblación respuesta Para realizar estimaciones se debe emplear la ponderación final adecuada. Si se ignoran las ponderaciones de muestreo (como ha USO DE MUESTRAS ALEATORIAS SIMPLES PARA EL CÁLCULO DE ESTIMACIONES | 237  sucedido en, al menos, una evaluación nacional), las estimaciones serán incorrectas. Después de completar el ejercicio 15.1, si el lector está interesado puede ver una comparación entre los datos de SRS400 y de los del censo para toda la población de 27 654 alumnos. Esta comparación está incluida en el Anexo IV.B. CONCLUSIÓN Este capítulo se refiere exclusivamente a la estimación por muestreo aleatorio simple. SPSS Complex Samples se puede emplear para cal- cular las estimaciones y sus errores de muestreo en diseños complejos. Sin embargo, puede que sea difícil aplicar este software en esta situa- ción en particular, ya que exigiría una comprensión relativamente profunda del muestreo de encuestas. En el capítulo 16 se propone un enfoque alternativo y otro programa (véase también el Anexo IV.C). 16 CA P Í T U L O USO DE MUESTRAS COMPLEJAS PARA EL CÁLCULO DE ESTIMACIONES Y SUS ERRORES DE MUESTREO Las estimaciones que se producen a partir de una encuesta están sujetas a errores de dos tipos básicos: errores de muestreo y errores no debidos al muestreo. Entre los errores no debi- dos al muestreo se incluyen errores de medición, errores de tendencia, errores de respuesta y similares. Cuando estos errores son sistemáti- cos, muchas veces producen sesgos y son difíciles de medir. Cuando son aleatorios, se pueden estimar pero exigen mucho trabajo y abun- dancia de recursos. En las evaluaciones nacionales, los errores no de- bidos al muestreo son generalmente el resultado de factores humanos, tales como una supervisión inadecuada durante la administración de la prueba, equivocaciones durante la depuración e ingreso de datos, ausencia de esfuerzo en la respuesta de las pruebas o cuestionarios, o respuestas falsas en los ítems del cuestionario. Por el contrario, los errores de muestreo no son atribuibles a factores humanos. El error de muestreo es una medida del grado de discrepancia entre estimaciones realizadas a partir de distintas muestras posibles del mismo tamaño y diseño y aplicando el mismo estimador. En una evaluación nacional basada en una muestra se deben calcu- lar los errores de muestreo. El objetivo de este capítulo es ilustrar cómo se estima la varianza de muestreo (error de muestreo) en la 239 240 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO mayoría de las encuestas de evaluación y la importancia de incorporar correctamente el diseño de la muestra en dicha estimación. Este ­ capítulo explica cómo se pueden obtener las estimaciones de error de muestreo de manera bastante sencilla mediante replicación, por la cual, en lugar de seleccionar una muestra de tamaño n, se seleccionan muestras k independientes del tamaño n/k . Luego se aplica la varia- bilidad entre las estimaciones de la muestra k para estimar la varianza de muestreo (véase el Anexo IV.C). Los errores de muestreo basados en el diseño para la evaluación de Sentz se estiman con WesVar (­ejercicio 16.1). La teoría en la que se basa la estimación de errores de muestreo está fuera del alcance de este capítulo, pero quienes estén interesados pueden buscar en libros de estudio sobre teoría del muestreo (véase, por ejemplo, Lohr, 1999) descripciones detalladas de los métodos exactos de estimación según el diseño o también consultar libros que traten sobre el análisis de datos en encuestas complejas (véase, por ejemplo, Lehtonen y Pahkinen, 1995). El procedimiento para calcular ponderaciones con el método jackknife se describe en el Anexo IV.D. Existen otros métodos (como la técnica “bootstrapping” y la replica- ción repetida y equilibrada), pero no se tratarán aquí. Cuando la muestra es lo suficientemente grande y la cantidad de estratos es moderada, se pueden aplicar estrategias alternativas de remuestreo con el método jackknife. En muchos programas interna- cionales de evaluación, un servicio centralizado se encarga de compu- tar las estimaciones de manera estandarizada; puede que el método empleado difiera del que se describe aquí. Cuando se requiere que los países participantes generen sus propias estimaciones, se suele adop- tar la estrategia descrita en el ejercicio 16.1 debido al atractivo de su simplicidad. No obstante, existen limitaciones en cuanto a lo que puede lograr el remuestreo con el método jackknife. Esta técnica es bastante eficaz para estimar varianzas para totales y funciones conti- nuas de totales (por ejemplo, relaciones, proporciones o coeficientes de correlación). Sin embargo, no resulta de tanta utilidad para estadís- ticas discontinuas no lineales o de orden (por ejemplo, coeficientes de Gini o medianas). Si estas estadísticas son de su interés, debe consul- tar a un especialista en muestreo a fin de determinar el mejor enfoque de replicación. USO DE MUESTRAS COMPLEJAS PARA EL CÁLCULO DE ESTIMACIONES | 241  EJERCICIO 16.1 Estimación de varianza con el método jackknife para una muestra con PPT Si aún no ha instalado WesVar en su computadora, debe hacerlo en este momento; siga las instrucciones detalladas en el Anexo IV.D y reanude el ejercicio desde aquí. 1. Para Sentz, primero debe preparar las replicaciones, computar las ponderaciones con el método jackknife y asignarlas a las escuelas. El Anexo IV.D incluye las instrucciones para crear 60 zonas con el método jackknife (dos escuelas por zona) y computar las ponderaciones de replicación. Estas instrucciones para SPSS se pueden modificar fácilmente para trabajar con distintos tamaños de muestra. El archivo …\­MYSAMPLSOL\RESP2STGWTJK contiene las respuestas, las ponderaciones finales de la estimación y las zonas y unidades calculadas con el método jackknife. 2. Obtenga estimaciones para la edad promedio, el puntaje promedio en matemáticas y la proporción de alumnos con un puntaje de al menos 230 en matemáticas tanto para la población de alumnos en general como para los niños. Se incluyen sentencias para calcular en WesVar las estimaciones de varianza con el método jackknife. 3. Abra WesVar. Luego, si fuera necesario, consulte en los pasos 8 a 17 del Anexo IV.D las instrucciones para crear la variable derivada MAT230 y para agregar algunas etiquetas a RESP2STGWTJK. Guarde el conjunto de datos. Haga clic en New WesVar Workbook y seleccione …\MYSAMPLSOL\RESP2STGWTJK. Puede ingresar un nombre para ese cuaderno para futuras consultas. (¡Recuerde guardarlo!) Haga clic en Table, luego en Subset Detail y escriba STATUS = “participant” en el recuadro Subpop string. Presione Add Table Set (Single). Compruebe que no estén seleccionados Missing, RS2 ni RS3; solo debe estar marcado Value. Mueva GENDER de Source Variables a Selected y haga clic en Add as New Entry. Haga clic en Computed Statistics en el panel izquierdo y en AGE en Source Variables. Luego, presione BlockMean. M_AGE quedará agregado en la lista de Computed Statistics. Haga lo mismo con MATH y MAT230. Puede que desee cambiar las etiquetas como lo hizo anteriormente. Ahora presione la flecha verde (o haga clic en Requests – Run Workbook Requests) para ejecutar la petición (figura del ejercicio 16.1.A). Haga clic en el ícono de libro abierto o en Requests – View Output y expanda la vista lo suficiente como para poder presionar el botón GENDER con el fin de visualizar los resultados tal como se muestran en la figura del ejercicio 16.1.B. Tenga en cuenta que el cómputo y el despliegue de las estadísticas pueden tardar algunos minutos. Cuando el ícono View Output aparece en Requests, el programa ha finalizado la ejecución. (continúa) 242 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO EJERCICIO 16.1  (continúa) FIGURA DEL EJERCICIO 16.1.A  Ejecución de una petición en WesVar Fuente: ejemplo en el programa WesVar. FIGURA DEL EJERCICIO 16.1.B  Estimaciones de la población por variables de edad y matemáticas por género Fuente: ejemplo en el programa WesVar. USO DE MUESTRAS COMPLEJAS PARA EL CÁLCULO DE ESTIMACIONES | 243  Los ejemplos del ejercicio 16.2 se diseñaron tomando el archivo de datos de evaluación nacional disponible como el archivo … NATASSESS\NATASSESS.SAV del paquete estadístico para ciencias sociales. Este archivo de datos es también la fuente empleada para la primera parte del volumen 4, Análisis de los datos de una evaluación nacional del rendimiento académico. Una última llamada de atención: el mercado de programas infor- máticos ofrece una amplia variedad de productos de software estadís- tico y de procesamiento de datos para computadoras personales. Un número importante de estos productos, incluso aquellos que aseguran especializarse en procesamiento de encuestas, generan resultados inexactos si no toman en cuenta que la encuesta estaba basada en un diseño de muestra complejo. Es recomendable que los usuarios inte- resados consulten críticas profesionales de los programas estadísticos (véase, por ejemplo, http://www.fas.harvard.edu/~stats/survey-soft​ /­survey-soft.html). EJERCICIO 16.2 Cálculo de diferencias entre géneros en una prueba de matemáticas Tal como lo hizo con el archivo de demostración en el ejercicio 16.1, en este caso también debe crear una versión en WesVar del archivo y computar las ponderaciones de replicación con el método jackknife antes de avanzar con los siguientes pasos. Abra WesVar, haga clic en New WesVar Data File y seleccione …\NATASSESS\ NATASSESS.SAV. Avance por Source Variables y mueva la ponderación de diseño WGTPOP al recuadro Full Sample y STUDID a ID. Mueva todas las variables restantes al recuadro Variables. Guarde el archivo como …\NATASSESS\NATASSESS.var. Presione el ícono de balanza para generar las ponderaciones de replicación. Debido a que estos datos de evaluación se recopilaron en base a un plan de muestreo complejo, como se describió anteriormente, debe usar dos unidades calculadas con el método jackknife para cada estrato computado con ese mismo método. En Method, haga clic en JK2; si lo desea puede también modificar el prefijo de las ponderaciones de replicación por JK. Mueva JKINDIC al recuadro VarUnit (esto es lo que NATASSESS llama unidad calculada con el método jackknife) y mueva JKZONE (es decir, el estrato calculado con este método) al recuadro VarStrat. Haga clic en OK para generar las ponderaciones y guarde el archivo. En esta etapa, no se requiere recodificación ni etiquetado. Cierre la pantalla y vuelva al archivo de WesVar y a la pantalla de creación del libro de trabajo en WesVar. (continúa) 244 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO EJERCICIO 16.2  (continúa) Otra opción es abrir un nuevo libro de trabajo desde New WesVar Workbook y seleccionar …\NATASSESS\NATASSESS.var como el archivo de datos de WesVar. Presione Open y luego haga clic en Descriptive Statistics. Haga clic en Analysis Variables en el panel izquierdo y mueva las tres variables de interés (en este caso)—MATHPC (porcentaje de respuestas correctas en matemáticas), MATHRS (puntaje bruto en matemáticas) y MATHSS (puntaje escalar en matemáticas)—de Source Variables a Selected. Presione el botón con la flecha verde para ejecutar la petición (figura del ejercicio 16.2.A) y haga clic en el ícono de libro abierto (o en Requests – View Output) para visualizar los resultados. Expanda la vista con el signo +. A fin de obtener los datos para MATHPC, haga clic en el signo + y luego presione Statistics (figura del ejercicio 16.2.B). Esta petición produce un gran número de estadísticas de variable única para MATHPC (media, percentil, varianza de población y otras estadísticas básicas ponderadas) junto con sus errores de muestreo estimados, según corresponda, tal como muestra la figura del ejercicio 16.2.C. Observe que WesVar no computa modos. Cierre la ventana de resultados. Resalte WorkBook Title 1 en el panel izquierdo y haga clic en Table y luego en Add Table Set (Single). En el panel izquierdo, haga clic en Computed Statistics, resalte MATHSS en Source Variables y presione Block Mean; se computará el puntaje medio en matemáticas. Resalte Table Set #1, mueva GENDER de Source Variables a Selected y haga clic en Add as New Entry. Si es necesario, FIGURA DEL EJERCICIO 16.2.A  Cuaderno WesVar previo a la etapa de análisis Fuente: ejemplo en el programa WesVar. USO DE MUESTRAS COMPLEJAS PARA EL CÁLCULO DE ESTIMACIONES | 245  EJERCICIO 16.2  (continúa) FIGURA DEL EJERCICIO 16.2.B  Estadísticas descriptivas para MATHPC en WesVar Fuente: ejemplo en el programa WesVar. presione + para expandir Table Set. Haga clic en el nodo Cells del panel izquierdo. El panel derecho mostrará todas las celdas que se crearán para esa tabla en Cell Definition; resalte 1, escriba Boys en el panel Label y haga clic en Add as New Entry. Haga lo mismo para la celda 2, que se referirá a Girls (figura del ejercicio 16.2.C). Haga clic en Cell Functions (panel izquierdo), escriba Diff = Boys – Girls en el recuadro Function Statistic y presione Add as New Entry. Resalte el nodo For… en el panel izquierdo. Mueva M_MATHSS al lado derecho y vuelva a colocar SUM_WTS en su Variables original (figura del ejercicio 16.2.D). Ahora ejecute la petición con el botón de la flecha verde. Para visualizar las estadísticas, haga clic en el ícono de libro abierto (o en Requests – View Output) y de nuevo en GENDER en el nodo Table Set ya expandido. Finalmente, para visualizar los resultados, presione el ícono de libro abierto (o haga clic en Requests – View Output) y vaya al nodo que corresponda. El puntaje medio para los niños se estima en 250,44 (error de muestreo = 2,88) y, para las niñas, en 249,55 (error de muestreo = 2,52) (figura del ejercicio 16.2.E). Para ver los datos (continúa) 246 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO EJERCICIO 16.2  (continúa) FIGURA DEL EJERCICIO 16.2.C  WesVar: celdas de etiquetado Fuente: ejemplo en el programa WesVar. sobre la diferencia entre niños y niñas, haga clic en Functions en GENDER (figura del ejercicio 16.2.F). Observe que en el nodo de opciones de tabla se puede controlar el conjunto de estadísticas computadas y desplegadas. Puede que los datos desplegados difieran de los que aparecen en la figura del ejercicio 16.2.F debido a que dependen de las opciones seleccionadas. La diferencia estimada es muy pequeña (dif = 0,89) y el valor t asociado es 0,89/3,189 = 0,279, con lo cual la diferencia no es estadísticamente significativa (valor p = 0,781 > 0,05). USO DE MUESTRAS COMPLEJAS PARA EL CÁLCULO DE ESTIMACIONES | 247  EJERCICIO 16.2  (continúa) FIGURA DEL EJERCICIO 16.2.D  Cómputo de diferencias entre entradas de celdas Fuente: ejemplo en el programa WesVar. FIGURA DEL EJERCICIO 16.2.E  WesVar: comparación entre géneros de los puntajes medios en matemáticas Fuente: ejemplo en el programa WesVar. (continúa) 248 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO EJERCICIO 16.2  (continúa) FIGURA DEL EJERCICIO 16.2.F  Diferencia de puntaje medio en matemáticas en WesVar Fuente: ejemplo en el programa WesVar. 17 CA P Í T U L O TEMAS ESPECIALES Este capítulo aborda una serie de cuestiones de muestreo adicionales asociadas a dudas, problemas y errores que se encuentran frecuentemente en los estudios de evaluación nacional. Estos temas incluyen el tratamiento de respuestas omitidas, la estrati- ficación, la clasificación de la base de muestreo y la selección de mues- tras; el tratamiento de escuelas de tamaño mayor y tamaño menor al promedio; y las normas para juzgar la adecuación de las tasas de ­ respuesta en una evaluación nacional. RESPUESTA OMITIDA No existe una forma universal o uniforme que sea mejor para tratar las respuestas omitidas. En un estudio social general, las razones para la respuesta omitida en una parte del país (por ejemplo, el cierre de escuelas debido a las condiciones climáticas) pueden ser diferentes a las de otra región del mismo país (por ejemplo, insatisfacción gene- ral con las autoridades locales). La magnitud, la fuente y el impacto de las respuestas omitidas son prácticamente imposibles de predecir, lo que dificulta en gran medida la posibilidad de concebir una 249 250 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO estrategia global para prevenir este problema. Con el tiempo, sin embargo, los estadísticos de encuestas han establecido una serie de prácticas más o menos aceptadas para abordar la cuestión de la ­respuesta omitida. Una estrategia es aumentar el tamaño de la muestra para com- pensar las respuestas omitidas previstas. Este método es válido en tanto los motivos para la respuesta omitida no se relacionen con el tema objeto de la encuesta. Dicho aumento puede producirse en relación con la muestra completa o puede restringirse a algunos estratos o grupos de participantes seleccionados de los que se obtu- vieron pocas respuestas en el pasado. En el contexto de una evalua- ción nacional sobre el rendimiento académico, si se necesita una muestra de 100 centros escolares encuestados y se prevé, por ejem- plo, que un 25 por ciento se negará a participar, es preciso seleccio- nar y contactar con 134 escuelas (el 75 por ciento de 134 = 100,5). Una tasa de respuestas mejor de la prevista no aportará demasiado a la recopilación de datos y los costes de procesamiento. Por esta razón, es aconsejable tener en cuenta costes adicionales potenciales en el presupuesto inicial. Una segunda estrategia común entre los estudios de evaluación es utilizar respuestas aproximadas o escuelas de reemplazo. Normalmente, para cada centro escolar seleccionado se elige también uno de reem- plazo. Una escuela de reemplazo debe ser lo más similar posible a la escuela seleccionada. Cuando existe un documento clasificado (para la estratificación implícita), una técnica consiste en utilizar el centro escolar que figura inmediatamente después o inmediatamente antes que el centro seleccionado en el listado, suponiendo que esté disponi- ble para la sustitución. Esta estrategia no elimina el sesgo de la ­ respuesta omitida, pero puede conseguir reducirla al mínimo si la cla- sificación está realmente relacionada con los resultados. Una escuela seleccionada para la muestra principal nunca puede reemplazar a otro centro escolar seleccionado que no haya respondido. Es posible mar- car una escuela de reemplazo para reemplazar a dos escuelas seleccio- nadas consecutivas (por ejemplo, cuando la tasa de muestreo es muy alta en un estrato y el número de centros disponibles para la sustitu- ción es insuficiente). En esta situación, el centro escolar de reemplazo se puede utilizar solamente una vez. TEMAS ESPECIALES | 251  Las escuelas de reemplazo pueden ser una alternativa esperanza- dora. No obstante, los equipos que realizan una evaluación nacional pueden ayudar a limitar el uso de escuelas de reemplazo tomando medidas para promover la participación de todos los centros escolares seleccionados originalmente. ESTRATIFICACIÓN, CLASIFICACIÓN DE LA BASE DE MUESTREO Y SELECCIÓN DE MUESTRAS La mayoría de los estudios de evaluación nacional utilizan un diseño estratificado de etapas múltiples. En el Capítulo 8 se ilustra ese diseño. Como se ha indicado previamente, es posible utilizar estratos para garantizar que se seleccionen tipos determinados de escuelas en la muestra (por ejemplo, por provincia) y que se asigne a cada grupo un tamaño determinado de muestra (por ejemplo, 75 escuelas por pro- vincia). Estos estratos se denominan explícitos. También se puede optar por utilizar otros criterios para los que no se requiere el mismo nivel de precisión, o para los cuales es suficiente con una representa- ción proporcional (por ejemplo, poblaciones de una provincia o finan- ciamiento en una provincia). Estos estratos se denominan implícitos. En la práctica, los estratos implícitos son variables de clasificación en los estratos explícitos. Por último, independientemente de la técnica de selección de muestras que se haya utilizado (por ejemplo, mues- treo aleatorio simple, muestreo aleatorio sistemático o probabilidad proporcional al tamaño), la base de muestreo debe clasificarse según el tamaño del centro escolar antes de la selección de muestras. La ­clasificación por tamaño mejorará la selección de las escuelas de reemplazo. Una característica común del proceso de selección es el uso del muestreo aleatorio sistemático. Algunos países lo utilizan con igual- dad de probabilidades, mientras que otros lo utilizan con una proba- bilidad proporcional al tamaño de los centros educativos. Claramente, la clasificación del marco debe realizarse dentro de cada estrato explícito, porque esto corresponde a la estratificación implícita. Una forma útil de clasificar la base de muestreo antes de la selección de muestras es alternar el orden de la clasificación por 252 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO tamaño de un estrato implícito al siguiente. La Tabla 17.1 muestra cómo se realiza este tipo de clasificación. No es obligatorio clasificar el marco muestral de esta forma, aun- que mejora la semejanza de las escuelas seleccionadas y de reemplazo, y podría reducir el sesgo por respuestas omitidas. Esta clasificación por tamaño mejora también las posibilidades de seleccionar escuelas de todos los tamaños de cada uno de los estratos explícitos, minimi- zando la variación de estrato a estrato, y mejorando así la precisión de las estimaciones. ESCUELAS DE TAMAÑO MAYOR AL PROMEDIO Cuando se utiliza un muestreo con una probabilidad proporcional al tamaño, la ponderación del diseño resulta directamente afectada por el tamaño de la unidad de muestreo. Las unidades muy peque- ñas tendrán ponderaciones muy grandes y, a la inversa, las unidades TABLA 17.1 Base de muestreo con diferente orden de medidas de tamaño dentro de los estratos Otra variable Estrato Estrato Medida de Identificación Dirección Nombre de la base de explícito implícito tamaño de la escuela de correo del director muestreo 1 1 Pequeño 1 ... ... ... 1 ... ... ... … … … 1 1 GRANDE … … … … 1 2 GRANDE … … … … 1 ... ... … … … … 1 2 Pequeño … … … … 1 3 Pequeño … … … … 1 ... ... … … … … 1 3 GRANDE … … … … 2 1 Pequeño … … … … ... ... … … … … H 3 ... N ... ... ... Nota: En la columna 3, todos los centros escolares del país en el primer estrato (las tres primeras filas de datos) se clasifican por orden de tamaño desde el más pequeño hasta el más grande. No es posible incluir en la lista todas las escuelas de cada estrato en esta figura; el símbolo “…” representa las escuelas que se sitúan entre la más pequeña y la más grande. TEMAS ESPECIALES | 253  muy grandes tendrán ponderaciones muy pequeñas. Algunas unidades pueden incluso terminar teniendo ponderaciones inferio- ­ res a uno. En esta situación, la práctica común es elegir la unidad “con certeza” y reorganizar el muestreo para el resto de la base de muestreo. Por ejemplo, consideremos el estrato de Nh = 10 centros escolares en la Tabla 17.2, del que se necesita una muestra de nh = 3 centros escolares y la ponderación del diseño que tendría cada escuela en el caso de haber sido seleccionada. Si se seleccionara la escuela 1 (que representa más del 50 por ciento de los alumnos en la base de mues- treo), la ponderación de su diseño sería inferior a uno. Para abordar el problema, se puede decidir que este centro escolar será seleccionado, y que se representará solo a sí mismo. La escuela 1 se denomina una unidad que se representa a sí misma. Entonces, sería necesario selec- cionar dos escuelas de las nueve restantes, tal como se indica en la Tabla 17.3. Si un experto en muestreo sugiere esta estrategia, podrá también recomendar que se seleccionen dos clases de la escuela 1. Obsérvese que esta selección tendrá el efecto de acercar más las ponderaciones de las unidades restantes, lo que tendrá como resultado un error de muestreo menor. Si —después de eliminar la escuela 1— se observara TABLA 17.2 Base de muestreo para 10 escuelas y ponderaciones de diseño asociadas, si son seleccionadas Medida del Medida Identificación tamaño de la acumulativa de la escuela escuela del tamaño Ponderación del diseño 1 500 500 830/(3 × 500) = 0,5533 2 50 550 830/(3 × 50) = 5,5333 3 50 600 830/(3 × 50) = 5,5333 4 40 640 830/(3 × 40) = 6,9167 5 40 680 830/(3 × 40) = 6,9167 6 35 715 830/(3 × 35) = 7,9048 7 35 750 830/(3 × 35) = 7,9048 8 30 780 830/(3 × 30) = 9,2222 9 30 810 830/(3 × 30) = 9,2222 10 20 830 830/(3 × 20) = 13,8333 254 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO TABLA 17.3 Base de muestreo ajustada Medida del Medida Identificación tamaño de la acumulativa del de la escuela escuela tamaño Ponderación del diseño 1 500 500 500/500 = 1,0000 2 50 50 330/(2 × 50) = 3,3000 3 50 100 330/(2 × 50) = 3,3000 4 40 140 330/(2 × 40) = 4,1250 5 40 180 330/(2 × 40) = 4,1250 6 35 215 330/(2 × 35) = 4,7143 7 35 250 330/(2 × 35) = 4,7143 8 30 280 330/(2 × 30) = 5,5000 9 30 310 330/(2 × 30) = 5,5000 10 20 330 330/(2 × 20) = 8,2500 que la escuela 2 causa un problema similar, se eliminaría también, y el marco muestral y la muestra se enmendarían tal como ya se ha ilus- trado. Evidentemente, la muestra aumentaría a cuatro unidades (dos unidades que se representan a sí mismas y dos de las ocho restantes). ESCUELAS DE TAMAÑO MENOR AL PROMEDIO Muchos países con poblaciones rurales importantes tienen una canti- dad relativamente grande de centros escolares pequeños. Supongamos que los más pequeños de los centros que componen la base de mues- treo tienen tan pocos alumnos (digamos, menos de diez alumnos cada uno) que no podrían ofrecer suficiente información interna del cole- gio. (El tamaño mínimo de los agrupamientos se decide por medio de las pruebas psicométricas de la encuesta, el número de cuadernillos utilizados en la evaluación y otros parámetros exteriores al proceso de muestreo). Algunos estudios de evaluación recomiendan excluir a los centros escolares que están por debajo del umbral (por ejemplo, cinco estudiantes por clase). Esta estrategia concentrará la recogida de datos ­ allí donde el tamaño del colegio y de las aulas sea suficiente para TEMAS ESPECIALES | 255  garantizar una evaluación económica, así como análisis y modelos fia- bles. No obstante, la exclusión de las escuelas más pequeñas puede dar lugar a serios problemas de cobertura insuficiente en países o en algunas de sus regiones con muchas escuelas rurales pequeñas. La exclusión tiende también a impedir que los analistas y los responsa- bles de la toma de decisiones adviertan problemas o peculiaridades específicos de estas escuelas más pequeñas. Como alternativa, algunos expertos en muestreo recomiendan que los centros educativos pequeños que se encuentran en zonas geográfi- cas cercanas se reúnan para formar seudoescuelas, ya sea agrupando varias escuelas pequeñas o juntando un centro grande con otro pequeño. Supongamos que en una evaluación los responsables de las políti- cas se interesan por las estadísticas de instituciones de todos los tama- ños, pero el material de prueba es tan voluminoso que es necesaria la rotación de tres cuadernillos de prueba entre todos los alumnos encuestados. Los investigadores que trabajan en la evaluación pueden verse obligados a realizar análisis que requieren la participación de al menos 15 niños de cada escuela, creando cinco grupos rotativos para los tres cuadernillos. En dicha situación, los centros escolares peque- ños supondrán un problema adicional. La lista ordenada de escuelas puede parecerse a la que se presenta en la Tabla 17.4. Las escuelas 1012, 1013, 1014 y 1015 no tienen suficientes alum- nos para cumplir con todos los requisitos de la evaluación. Más aún, dichos centros no se encuentran en la misma zona geográfica. Ahora bien, la base de muestreo se puede clasificar por zona y por tamaño, de modo que sea más fácil detectar dónde residen las soluciones y cuál es la mejor forma de crear seudoescuelas, en el caso de que sea necesario. Si las escuelas 1011 y 1013 están relativamente cerca, y las escuelas 1012 y 1014 también se encuentran en localidades vecinas, el marco muestral se podría reorganizar tal como se indica en la Tabla 17.5. Una vez reunidos, los diversos centros educativos que forman la seudoescuela se tratan como una unidad de muestreo única. Por ejem- plo, si se seleccionara la seudoescuela 1111, se invitaría a todos los alumnos de las escuelas originales 1011 y 1013 a la sesión de evalua- ción. Las tasas de respuesta y participación se calcularían utilizando la seudoescuela 1111 en vez de utilizar las escuelas originales 1011 y 256 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO TABLA 17.4 Base de muestreo Identificación Medida del tamaño Zona Medida acumulativa de la escuela de la escuela geográfica del tamaño 1001 75 1 75 1002 60 2 135 1003 50 2 185 1004 40 1 225 1005 40 2 265 1006 35 1 300 1007 15 1 315 1008 20 3 335 1009 30 2 365 1010 30 3 395 1011 15 2 410 1012 10 2 420 1013 5 2 425 1014 5 2 430 1015 2 3 432 1013 por separado. La ponderación de la estimación se aplicaría a la seudoescuela usando la medida de tamaño combinada. Esta estrategia mantiene la cobertura en un nivel óptimo pero, al mismo tiempo, provoca una interferencia en las estadísticas internas de la escuela y en las estadísticas entre las escuelas, que puede resultar poco conveniente. Muchos análisis psicométricos intentan distinguir entre la contribución del centro educativo y la contribución del alumno a la puntuación de la evaluación (en análisis de múltiples niveles) bajo la presunción de que la contribución de la escuela es la misma para todos los niños que asisten al mismo centro y puede variar de una escuela a otra. Reunir escuelas pequeñas en una seudoescuela de mayor tamaño puede introducir una variabilidad de escuela a escuela en un modelo que prevé que la contribución se establezca para todos los miembros de una única unidad. Los análisis deben ­ realizarse teniendo en cuenta la estructura de la escuela original. Los gestores y los estadísticos de las encuestas, y los analistas de la evaluación, deben someter a debate esta cuestión antes de seleccionar las opciones finales del muestreo. TEMAS ESPECIALES | 257  TABLA 17.5 Base de muestreo modificada Escuelas originales Seudoescuelas Medida Identifica- Identifica- del Medida ción de la Medida Medida ción de la tamaño de Zona acumulativa seudoes- del acumulativa escuela la escuela geográfica del tamaño cuela tamaño del tamaño 1007 15 1 15 1007 15 15 1006 35 1 50 1006 35 65 1004 40 1 90 1004 40 90 1001 75 1 165 1001 75 165 1013 5 2 170 1111 20 185 1011 15 2 200 1111 1014 5 2 175 1112 15 200 1012 10 2 185 1112 1009 30 2 230 1009 30 230 1005 40 2 270 1005 40 270 1003 50 2 320 1003 50 320 1002 60 2 380 1002 60 380 1015 2 3 382 1115 22 402 1008 20 3 402 1115 1010 30 3 432 1010 30 432 NORMAS PARA JUZGAR LA ADECUACIÓN DE LA TASA DE RESPUESTAS Como se ha indicado previamente, las exclusiones (como la exclu- sión de las escuelas que se encuentran en islas remotas o de los cen- tros educativos pequeños) con frecuencia se limitan a un 5 por ciento de la población objetivo deseada antes de incluir algún tipo de adver- tencia en la publicación de los resultados. Tras la participación de las escuelas, o su reemplazo, y la recopilación de datos de las muestras, es posible calcular las diversas tasas de respuesta y de participación. Aunque no existe ninguna regla universal que defina lo que es “bueno” y lo que es “malo”, existe una norma que ha llegado a ser reconocida y utilizada en los estudios de evaluación internacional más importantes. 258 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO La Asociación Internacional para la Evaluación del Rendimiento Educativo utiliza la siguiente regla en muchas de sus evaluaciones: • 85 por ciento (sin ponderar) de la muestra original de las escuelas (es decir, antes de la sustitución) y • 85 por ciento (sin ponderar) de la muestra de alumnos de las escue- las participantes (independientemente de que sea una muestra ­ original o sustituciones) o • 75 por ciento (ponderado) para la participación combinada de escuelas y alumnos (es decir, la participación de la escuela multipli- cada por la participación de los alumnos en los centros educativos participantes). Es preciso establecer otras reglas; sin embargo, cuanto menor sea la participación tanto de las escuelas como de los alumnos, mayor es la probabilidad de sesgo. ANEXO IV.A NOTACIÓN ESTADÍSTICA PARA EL CÁLCULO DE LAS ESTIMACIONES Para los datos cualitativos y cuantitativos, las esti- maciones del número total de unidades en la población del estudio se calculan añadiendo las ponderaciones ajustadas finales de las unidades participantes: ˆ = N ∑ respuesta wi , donde i es la unidad participante i de la muestra, wi es su ponderación ajustada final, y ello se suma a todas las unidades participantes. Para los datos cuantitativos, la estimación de un valor total (como el coste total) es el producto de la ponderación final wi y el valor yi, para cada unidad participante, sumado a todas las unidades participantes: Yˆ = ∑ respuesta w i yi . Es posible definir una variable ficticia δ i = 1, para todas las unidades con respuesta  yi =  δ i = 0, para todas las unidades sin respuesta,  259 260 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO y entonces la suma de las ponderaciones de la estimación (ajustada para las respuestas omitidas) en todas las unidades participantes es: Yˆ = ∑ wy = ∑ wδ = ∑ muestra i i muestra i i respuesta wi × 1 = ∑ respuesta ˆ, wi = N que es una estimación de N, el tamaño de la población. ANEXO IV.B COMPARACIÓN DE LOS DATOS SRS400 Y LOS DATOS DEL CENSO La comparación de los datos SRS400 y los datos del censo utiliza un archivo llamado…\BASE FILES\CENSUS. SAV. Este archivo contiene datos para cada uno de los 27 654 alum- nos de Sentz. Es un fichero ideal que no existiría en la vida real. Todos los alumnos tienen resultados de la evaluación, excepto los casos considerados como deserción escolar, tal como se indica en el campo del ­ estado de la respuesta. De este modo, este archivo repre- resultados que se hubieran obtenido mediante un censo senta los ­ perfecto. Utilizando el archivo CENSUS y el menú Data – ­ Aggregate, el paquete SPSS produjo los resultados que se muestran en la Tabla IV.B.1. A continuación se comparan las estimaciones de una muestra ­ aleatoria simple y los datos del censo. Como esta es una muestra TABLA IV.B.1 Datos de Sentz basados en el censo Media de edad Puntuación media Proporción sobre Sector (años) en matemáticas 230 Población total 14,00 216,83 0,25 Niñas 13,99 211,99 0,16 Niños 14,01 221,69 0,35 261 262 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO aleatoria simple, las estimaciones sin ponderar (en la columna de la derecha de la Tabla IV.B.2) y las estimaciones ponderadas (en la columna central) de medias y proporciones son equivalentes; este resultado se prevé para las medias y proporciones pero no para los totales. La población creada para este libro contiene proporciones aproximadamente iguales de niñas y niños. Los datos fueron organiza- dos de un modo en que los niños obtuvieron mayor puntuación en matemáticas que las niñas y ellas obtuvieron mayor puntuación en otros temas, y los residentes urbanos obtuvieron mayor puntuación que los residentes en zonas rurales. Esta muestra tiene una proporción bastante mayor de niños urbanos, lo que ayudaría a explicar la dife- rencia entre los datos del censo y las estimaciones de la muestra para la proporción relativamente alta de niños cuya puntuación en mate- máticas fue superior a 230. Más aún, el valor “verdadero” se calcula para la población tal como se conocía, es decir, al inicio del curso escolar. Por lo tanto, existen regis- tros sobre el archivo “censo” para los que no existe información dispo- nible (a saber, los casos de deserción escolar) y para los que todas las puntuaciones son cero. Estos valores nulos bajan la puntuación media. Si fuera posible actualizar las estadísticas sobre la población para representar la población en el momento de la evaluación (lo que TABLA IV.B.2 Comparación de estimaciones calculadas con y sin las ponderaciones de los valores del censo, inicio del curso escolar, muestra aleatoria simple Estimación Estimación correcta incorrecta, Valor “verdadero” utilizando ignorando (inicio del curso ponderaciones (± ponderaciones (± Variable de interés escolar) error de muestreo) error de muestreo) N 27 654 27 437 ± 331 378 Media de edad (todos) 14,00 13,98 ± 0,04 13,98 ± 0,04 Proporción ≥ 230 en 0,25 0,25 ± 0,02 0,25 ± 0,02 matemáticas Nboys 13 807 12 920 ± 722 178 Media de edad (niños) 14,01 14,05 ± 0,06 14,05 ± 0,06 Puntuación media en 221,69 223,1 ± 1,0 223,1 ± 1,0 matemáticas (niños) COMPARACIÓN DE LOS DATOS SRS400 Y LOS DATOS DEL CENSO | 263  podría conseguirse eliminando del fichero del censo a los alumnos con una puntuación de cero en matemáticas), las comparaciones mostra- rían que los resultados de la encuesta se acercan más a los valores “verdaderos”, dentro de los márgenes de error. Este resultado se mues- tra en la Tabla IV.B.3. Semejante lujo de información rara vez está al alcance de los plani- ficadores, gestores o analistas de las encuestas. TABLA IV.B.3 Comparación de estimaciones calculadas con y sin las ponderaciones de los valores del censo, momento de la evaluación y muestra aleatoria simple Valor Estimación correcta Estimación incorrecta “verdadero” utilizando ignorando las (momento de la ponderaciones (± ponderaciones (± error Variable de interés evaluación) error de muestreo) de muestreo) N 27 368 27 437 ± 331 378 Media de edad (todos) 14,00 13,98 ± 0,04 13,98 ± 0,04 Proporción ≥ 230 en matemáticas 0,26 0,25 ± 0,02 0,25 ± 0,02 Nboys 13 665 12 920 ± 722 178 Media de edad (niños) 14,01 14,05 ± 0,06 14,05 ± 0,06 Ponderación media en matemáticas (niños) 224,00 223,1 ± 1,0 223,1 ± 1,0 ANEXO IV.C ESTIMACIÓN DEL ERROR DE MUESTREO CON TÉCNICAS DE REMUESTREO En la mayoría de los diseños complejos (diseños que no son un muestreo aleatorio simple ni un muestreo aleatorio sistemático), la fórmula de la varianza exacta es difícil de obtener y menos aún de programar. En muchos casos, la puesta en práctica del diseño del muestreo ha generado situaciones que imposibilitan el uso de la fórmula de la varianza exacta. Se necesitan métodos aproximados, pero sólidos y fiables, para estimar la varianza del muestreo. Una clase de esos métodos se conoce como muestreo replicado o remuestreo. Entre los mejores métodos de estimación de la varianza del remuestreo se encuentran los grupos aleatorios, la replicación repetida y equilibrada, el remuestreo con el método jackknife y la técnica “bootstrapping”. A finales de los años 1950 (Keyfitz, 1957) se obtuvo un método de aproximación a la varianza más inteligente que más tarde se adaptó para transformarlo en una estimación “jackknife”. Esta estimación se utiliza frecuente- mente en las encuestas de evaluación educativa internacional a gran escala. 265 266 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO UTILIZACIÓN DEL MUESTREO REPLICADO En los muestreos replicados, el estadístico de la encuesta selec- ciona muestras k independientes de tamaño n/k, en vez de utilizar una muestra de tamaño n. Para cada una de esas muestras k replicaciones) se produce una estimación de la característica de (o ­ interés utilizando las ponderaciones. La variabilidad entre las esti- maciones de la muestra k se utiliza luego para estimar la varianza del muestreo. La estimación, t, de la característica de interés (como un total, una media, una proporción o una mediana) se obtiene mediante el promedio de las estimaciones creadas para cada ­replicación j: k tj t= ∑ k. j =1 La varianza del muestreo estimada de t, Vâr(t) viene dada por la siguiente expresión: k (t j − t )2 ∑ (k − 1) . 1 ˆ (t ) = Var k j =1 Nótese que esta expresión es de la forma s2/n. Supongamos que se utiliza un diseño trietápico (escuelas, aulas y alumnos) para estimar el nivel de alfabetización general de los alum- nos de 10.º grado. En lugar de seleccionar una muestra de tamaño n = 10 y utilizar las fórmulas exactas para estimar Var ˆ Y ˆ ( ) complex , los investigadores eligen dos muestras de tamaño n = 5 . La Tabla IV.C.1 muestra la puntuación media ponderada obtenida por los alumnos de cada escuela (puntuación de la escuela) y la ponderación para cada escuela. La puntuación media estimada para la población es 2 ˆ Y j 32.8 + 36.6 ˆ Yreplicación = ∑ j =1 k = 2 = 34.7, ESTIMACIÓN DEL ERROR DE MUESTREO CON TÉCNICAS DE REMUESTREO | 267  TABLA IV.C.1 Cálculo de la varianza estimada del muestreo usando el muestreo replicado Réplica 1 Réplica 2 Puntuación Puntuación de la Ponderación de la Ponderación Escuela escuela de la escuela Escuela escuela de la escuela 1001 21 16 1006 26 18 1002 27 20 1007 32 20 1003 34 16 1008 37 22 1004 38 20 1009 40 20 1005 42 20 1010 47 20 Ponderación total 3020 92 3662 100 Ponderación media 32,8 36,6 Y la varianza del muestreo estimada para la puntuación media, ­ obtenida por el método de muestreo replicado, es ˆ ˆ ( ) ∑ (Y(k−−Y k 2 ˆ 1 ) j ˆ Y Var replicación = k 1) j =1 1 (32.8 − 34.7)2 + (36.6 − 34.7)2 = × = 7.2. 2 1 En general, esta metodología ofrece estimaciones de varianza muy inestables porque cada grupo replicado es normalmente demasiado pequeño para ofrecer una estimación estable por sí mismo. ESTIMACIÓN CON EL MÉTODO JACKKNIFE Los métodos de remuestreo como “Jackknifing” y “Bootstrapping” se usan con frecuencia en estudios con datos complejos. El principio de la estimación con el método jackknife es descartar sucesivamente cada una de las unidades primarias de la muestra (por ejemplo, las escuelas); volver a computar las ponderaciones finales para dar cuenta de la pér- dida de una unidad; y producir una estimación de la característica de interés empleando esta muestra reducida. A medida que se descarta cada ­unidad, existen tantas replicaciones como unidades primarias hay en la muestra completa. El error de muestreo se estima computando las 268 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO diferencias cuadradas entre cada una de las estimaciones de las replica- ciones y la estimación de la muestra completa (como sucede en el caso del muestreo replicado descrito en la sección anterior). Si la muestra completa comprende, digamos, 150 escuelas, se deberían realizar 150 estimaciones de las replicaciones y cómputos bastante tediosos. Para reducir y simplificar los cálculos, se puede superponer un “diseño de muestreo jackknife” al diseño del muestreo original. Al mantener las unidades primarias (por ejemplo, las escuelas) en el orden en que aparecieron en la base de muestreo (la probabilidad sistemática proporcional al tamaño del muestreo se utiliza casi siem- pre en las evaluaciones internacionales), se emparejan las primeras dos unidades para formar un estrato jackknife (JK); luego se empare- jan las unidades 3 y 4; a continuación las unidades 5 y 6, y así sucesi- vamente. Al final del proceso, se habrán formado los estratos JK n/2, cada uno de ellos con dos unidades. Cada par se trata ahora como un estrato, independientemente de la estratificación original (algunos estratos JK probablemente coincidirán con los estratos originales). En cada estrato JK, se descartará una unidad de forma aleatoria y se ajustará la ponderación de las restantes en consonancia (incluyendo posibles respuestas omitidas o ajustes posteriores a la estratificación). Las unidades de los otros estratos JK conservan sus ponderaciones originales. La Tabla IV.C2 muestra cómo se construyen los conjuntos n/2 de las ponderaciones JK (asumiendo que no hay ajustes para las ponderaciones, con el fin de mantener la ilustración más simple). Tal como se hizo para el muestreo replicado, se realiza una estima- ción para cada conjunto de ponderaciones JK, y la varianza entre esas estimaciones se calcula como una base para el error de muestreo. La estimación de la muestra completa, las estimaciones jackknife, y la varianza del muestreo son, respectivamente, ˆ Ycomplejo = ∑ w yˆ , Yˆ i i ( j) = ∑ w yˆ , j = 1, , J ( j) i i ∑w i ∑w (j) i ( ) ∑ (Yˆ ), J 2 ˆ Y ˆ ( j) ˆ and V JK complejo = − Ycomplejo j =1 donde J es el número de estratos JK. TABLA IV.C.2 Preparación de la estimación de varianza con el método jackknife Ponderaciones replicadas Escuela Ponderación Estimación a nivel Estrato Unidad Descarte (n/2) muestreada i final wi de escuelas y ˆi JK JK aleatorio wi(1) ... w1 (1) (n/2) 1 w1 y ˆ1 1 1 w1 = 2 x w1 w1 = w1 1 (1) (n/2) 2 w2 y ˆ2 2 0 w2 =0 w2 = w2 (1) (n/2) 3 w3 y ˆ3 1 0 w 3 = w3 w3 = w3 2 (1) (n/2) 4 w4 y ˆ4 2 1 w4 = w4 w4 = w4 ... ... ... ... ... (1) (n/2) n−1 wn−1 y ˆ n–1 1 0 w n–1 = wn–1 w n–1 =0 n/2 (1) n wn y ˆn 1 wn = wn wn(n/2) = 2 × wn ˆ Estimación N ˆ = ∑w i Y ˆ ˆ =Σw y i i Y ˆ (1) = Σw (1) y i ˆi Y ˆ (n/2) = Σw (n/2)y i i ESTIMACIÓN DEL ERROR DE MUESTREO CON TÉCNICAS DE REMUESTREO | 269  270 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO Algunos estadísticos prefieren utilizar la media de las estimaciones de la replicación en vez de la estimación de la muestra completa para calcular la varianza estimada. Si J es grande, esto no implicará mucha diferencia. Si n es impar, será necesario hacer algún tipo de ajuste para tratar las dos unidades como si fueran una en la determinación aleatoria de la unidad que se va a descartar o conservar. En esta situación se debería consultar con un especialista en muestreo. Ahora el ejemplo anterior se puede examinar usando la estimación de la varianza JK en vez del muestreo replicado. La tabla de datos puede reorgani- zarse y las ponderaciones replicadas de JK pueden calcularse como se ha indicado previamente. La Tabla IV.C3 muestra los 10 centros escolares de la Tabla A4.3.1 organizados por pares JK e indica cuál unidad de qué par se seleccionó de forma aleatoria con el fin de conservarla o descartarla. Las ponderaciones replicadas JK se calcu- lan luego de acuerdo con las directrices mencionadas más arriba. Tomando como ejemplo la replicación 1, en el estrato JK 1 se des- carta la unidad 1 de JK y su ponderación replicada JK se convierte en cero; en consecuencia, para compensar la pérdida de la unidad JK 1, la ponderación replicada JK de la unidad JK 2 es el doble de su ponderación final original (20 = 2 × 10). Como todas las demás uni- dades permanecen intactas, sus ponderaciones replicadas JK son iguales a su ponderación final correspondiente. El mismo procedi- miento se aplica, a su vez, a cada par JK. Aquí la puntuación media estimada es ˆ Ycomplejo = ∑ w yˆ i i = (8 × 21 +  + 10 × 47) = 34.8, ∑w i (8 +  + 10 ) La primera estimación replicada es ˆ Y (1) = ∑ w yˆ (1) i i = ( 0 × 21 + 20 × 27 +  + 10 × 47) = 35.1, ∑w (1) i (0 + 20 + 8 +  + 10 ) TABLA IV.C.3 Estimación de la varianza del muestreo con el método jackknife Puntuación de Ponderaciones replicadas la escuela Ponderación final Estrato Unidad Descarte Escuela i y ˆi de la escuela wi JK JK aleatorio wi(1) wi(2) wi(3) wi(4) wi(5) 1 21 8 1 1 Descartado 0 8 8 8 8 2 27 10 1 2 Conservado 20 10 10 10 10 3 34 8 2 1 Descartado 8 0 8 8 8 4 38 10 2 2 Conservado 10 20 10 10 10 5 42 10 3 1 Descartado 10 10 0 10 10 6 26 9 3 2 Conservado 9 9 18 9 9 7 32 10 4 1 Descartado 10 10 10 0 10 8 37 11 4 2 Conservado 11 11 11 22 11 9 40 10 5 1 Conservado 10 10 10 10 20 10 47 10 5 2 Descartado 10 10 10 10 0 Estimaciones 34,8 35,1 35,2 33,2 35,3 34,1 ESTIMACIÓN DEL ERROR DE MUESTREO CON TÉCNICAS DE REMUESTREO | 271  272 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO Y el rango de las cinco estimaciones replicadas JK es de 33.2 a 35.3 para una varianza estimada de J ( ) ∑ (Yˆ ) 2 ˆ Y ˆ ( j) ˆ V JK complejo = −Y complejo = 3.6 j =1 (la varianza JK estimada es 3.4 cuando las diferencias se miden sobre la media de las estimaciones replicadas JK). Como ya hemos mencionado, se puede demostrar que el remues- treo con el método jackknife, tal como se implementa aquí, ofrecerá estimaciones de la varianza aproximadamente no sesgadas, en tanto la cantidad Y estimada sea una característica estándar, como por ejem- plo una suma, una media, una proporción o un coeficiente de correla- ción. Las estimaciones de cantidades como medianas, percentiles y coeficientes Gini requieren realizar ajustes en el método jackknife o en otros métodos de remuestreo alternativos, tal como la replicación repetida y equilibrada. ANEXO CREACIÓN DE IV.D ZONAS Y REPLICACIONES JACKKNIFE, Y CÁLCULO DE LAS PONDERACIONES JACKKNIFE WesVar se utiliza con una amplia gama de diseños complejos de muestras, donde el muestreo aleatorio simple produciría estimaciones sesgadas. Se debe tener un archivo de datos con pondera- ciones replicadas antes de poder crear un nuevo libro de trabajo. En primer lugar, se debe transferir los datos de un archivo SPSS a un archivo WesVar nuevo. El archivo SPSS debe incluir las variables ­ ­ necesarias para realizar los análisis en WesVar. Se debe tener un archivo de datos con ponderaciones replicadas para poder crear un nuevo libro de trabajo. El programa puede calcular estas ponderaciones. El siguiente conjunto de instrucciones sirve de guía en el proceso de creación de ponderaciones jackknife para el diseño de dos etapas de la encuesta desde el archivo de respuesta. Cabe destacar que SPSS se ha utilizado para crear la importante información de muestreo que WesVar utiliza para crear ponderaciones replicadas para el análisis de los datos de la evaluación nacional. Leer el archivo de respuestas SPSS que contiene las ponder-   1.  aciones utilizando los siguientes comandos: File – Open – Data – Look in   …\MYSAMPLSOL\RESP2STGFINALWT.SAV Open 273 274 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO   2. Dado que las ponderaciones replicadas se crean para las ­escuelas, la lista de escuelas seleccionadas se puede obtener del archivo de respuestas. Todo eso se requiere para tener un registro de cada escuela participante. Abrir Data – Identify Duplicate Cases, y luego mover SCHOOLID a Define matching cases by. En Variables to Create, seleccionar First case in each group is primary, y luego hacer clic en OK. Luego, abrir Data – Select Cases y seleccionar If Condition is satisfied. Hacer clic en If... y pasar a Indicator of each first matching case (PrimaryFirst) en la casilla de la derecha (flecha azul). Introducir =1. Luego hacer clic en Continue. En Out- put, hacer clic en Copy Selected to New Dataset e introducir un nombre, por ejemplo, RespondingSchools (escuelas que han respondido) y hacer clic en OK.   3. Traer RespondingSchools a la pantalla de visualización. Hacer clic en la pestaña Variable View en la parte inferior de la pan- talla y borrar todas las variables excepto SCHOOLID. Volver a Data View; solo se verá en pantalla una variable (­SCHOOLID), comenzando en 1101 y terminando con 5603, que es la 120ª entrada y la última. Ahora se debe asignar a las escuelas las zonas JK y los núme- ros replicados JK. Dado que participan 120 escuelas, habrá 60 zonas JK. Seleccionar los comandos Transform – Compute Variable e introducir JKZONE en Target Variable. Luego introducir RND ($Casenum/2) en Numeric Expression y hacer clic en OK. A continuación, seleccionar Transform – Compute Variable una vez más e introducir RANDOMPICK en Target Variable y rv.Uniform(0,1) en Numeric Expression. Hacer clic en OK. En este punto, debería visualizarse 120 escuelas, en 60 pares numerados del 1 al 60; cada escuela tiene también un número aleatorio entre 0 y 1. Si los números aleatorios se visualizan CREACIÓN DE ZONAS Y REPLICACIONES JACKKNIFE | 275  como ceros y unos, se debe aumentar el número de decimales desde la pestaña Variable View. Ahora puede crear las replica- ciones JK. Seleccionar Data – Sort Cases, luego mover JKZONE RANDOMPICK a Sort by. Hacer clic en Ascending y luego en OK. A continuación, seleccionar Data – Identify Duplicate ­Cases, y mover JKZONE a Define matching cases by. (Si fuera necesario, eliminar cualquier otra variable que haya en este ­panel.) En Variables to Create, hacer clic en Last case in each group is primary (PrimaryLast) y en OK. Como WesVar prevé que las replicaciones se numeren a partir de 1, y no de 0, los códigos de replicación deben modifi- carse utilizando los siguientes comandos: Transform – Recode into Different Variables…. Mover PrimaryLast a Input Variable, e introducir JKREP en Output Variable Name. Si lo desea, puede introducir una etiqueta. Hacer clic en Change y luego en Old and New Values. En Old Value, hacer clic en Value e introducir 0. En New Value, introducir el número 1 y hacer clic en Add. En Old Value, hacer clic en All other values. Ahora, en New Value, introducir el número 2. Hacer clic en Add, Continue, y en OK. Nótese que los valores PrimaryLast 0 se han transformado en valores JKREP de 1, y que todos los valores de 1 se han transformado en 2. Elegir Data – Sort Cases del menú. Eliminar JKZONE y RANDOMPICK de la casilla Sort by y mover SCHOOLID a su sitio; hacer clic en Ascending y en OK. Guardar el archivo utilizando los siguientes comandos: File – Save as – …\MYSAMPLSOL\ASSIGNJK. Hacer clic en Save. Puede comparar su solución con la copia de seguridad proporcionada en 2STG4400. 276 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO Ya se han creado las zonas JK y los números de replicaciones JK   4.  y se han asignado a las escuelas participantes; esta información se debe adjuntar a …\MYSAMPLSOL\ RESP2STGFINALWT. SAV, el archivo de ponderaciones y respuestas con el que ha comenzado el proceso. Si fuera necesario, puede abrir ese ar- ­ chivo; si ya se encuentra en su espacio de trabajo, tráigalo a la pantalla de visualización y no cierre el archivo ASSIGNJK. Seleccionar los siguientes comandos Data – Merge files – Add variables. Elegir ASSIGNJK de Open dataset y hacer clic en Continue. Hacer clic en Match cases on key variables y mover SCHOOLID de Excluded variables a Key variables. Si lo de- sea puede mover todas las variables innecesarias (CLASS, ­ ampleSize2, ­PopulationSize1, SampleSize1, PopulationSize2, S CLASS_SIZE, CLASS_RESP y NRESADJ) de New active ­dataset a Excluded variables. Hacer clic en Non-active dataset is keyed table y hacer ­ doble clic en OK. Guardar el archivo como: …\MYSAMPLSOL\ RESP2STGWTJK. Cerrar SPSS. Ahora, el archivo de respuestas contiene al menos STUDEN-   5.  TID, SCHOOLID, las diversas puntuaciones, las indicaciones RESP, FINAL WEIGHT, JKZONE y JKREP. Todo lo que resta hacer es poner en marcha WesVar, calcular las pondera- ciones de las replicaciones JK, y guardar ese archivo WesVar para utilizarlo más tarde. Poner en marcha WesVar. Hacer clic en New WesVar Data File. Seleccionar el directorio adecuado en Look in. Seleccionar …\MYSAMPLSOL\RESP2STGWTJK desde la ventana del directorio. Todas las variables disponibles apare- cerán en la ventana Source Variables (Figura IV.D.1). (Hacer clic en Done si aparece la ventana emergente Create Extra Formatted Variables). Hacer clic en Full Sample y mover CREACIÓN DE ZONAS Y REPLICACIONES JACKKNIFE | 277  FIGURA IV.D.1 Lista de variables disponibles Fuente: ejemplo en el software WesVar. FINALWEIGHT a esa ventana (el nombre de la variable puede estar incompleto, como por ejemplo, FINALWEI); si lo desea, puede enviar STUDENTID a la casilla ID. Hacer clic en Variables y luego en >> para mover todas las variables restantes a la ventana correcta; si lo desea, puede ­ mover nuevamente las variables innecesarias a la ventana de la izquierda con <. Guardar el archivo en la carpeta MYSAMPLSOL. Se puede utilizar el mismo nombre porque el formato y la extensión son únicos para los archivos WesVar y no se confundirán con los SPSS originales. A continuación, antes de poder calcular una tabla, WesVar   6.  debe crear ponderaciones de las replicaciones para calcular el error de muestreo. 278 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO En la misma pantalla, hacer clic en el botón scale o hacer clic en Data – Create weights. Desde Source Variables, mover JKZONE a VarStrat, mover JKREP a VarUnit, y hacer clic en JK2, que se encuentra en Method. Si hace clic en OK, replicate prefix será el RPL por defecto, pero puede cambiarlo por JK como se muestra en la Figura IV.D.2. Hacer clic en OK y aceptar sobrescribir el archivo. WesVar ha añadido las ponderaciones de las replicaciones para   7.  realizar la estimación del error de muestreo y el archivo tiene ahora el aspecto que se muestra en la Figura IV.D.3. En la misma pantalla, hacer clic en el botón recode (tiene una   8.  flecha descendente y está en la parte superior de la pantalla), o hacer clic en Format – Recode. FIGURA IV.D.2 Zonas jackknife en WesVar Fuente: ejemplo en el software WesVar. CREACIÓN DE ZONAS Y REPLICACIONES JACKKNIFE | 279  FIGURA IV.D.3 Ponderaciones de las replicaciones en WesVar Fuente: ejemplo en el software WesVar. Hacer clic en New Continuous (to Discrete) para convertir 9.  las puntuaciones de matemáticas en una variable binaria que indicará quién obtuvo una puntuación de al menos 230, y quién no la alcanzó. Introducir MAT230 como New variable name. Resaltar  10.  MATH en Source Variables y hacer clic en > para moverlo a Range of Original Variables. Introducir >=230 en Range of original variables e introducir 1 en MAT230. Mover el cursor a la segunda línea y en MATH>=230, insertar   11.  MATH<230 y asignar el código 0. Hacer clic en OK y luego hacer clic en OK nuevamente para   12.  ejecutar la creación de la variable binaria. Guardar el archivo utilizando el mismo nombre. En la misma pantalla, hacer clic en Format – Label.   13.  280 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO Resaltar GENDER desde Source Variables. Introducir Girl  14.  como la etiqueta para el valor 0, e introducir Boy como la etiqueta para el valor 1; introducir Total como la etiqueta para el valor Marginal (Figura IV.D.4). Resaltar MAT230 desde Source Variables. Introducir Math  15.  score below 230 como la etiqueta para el valor 0 e introducir Math score at least 230 como la etiqueta para el valor 1; ­introducir Total como la etiqueta para el valor Marginal. Resaltar RESP desde Source Variables. Introducir Nonres-  16.  ponse como la etiqueta para el valor 0, e introducir Partici- pant como la etiqueta para el valor 1; introducir Total como la etiqueta para el valor Marginal. Hacer clic en OK y guardar (sobrescribir) el archivo en …\   17.  MYSAMPLSOL\. Cerrar esta ventana.   18.  FIGURA IV.D.4 WesVar: creación de etiquetas CREACIÓN DE ZONAS Y REPLICACIONES JACKKNIFE | 281  Desde esta ventana se pueden realizar todos los cambios (como por ejemplo, nuevos códigos o formatos) haciendo clic en Open Wes- Var Data File (a la izquierda de la pantalla de WesVar) y seleccio- nando el archivo que usted necesita. Para realizar el cómputo de las estimaciones, debe hacer clic en New WesVar Workbook a la derecha de la pantalla de WesVar Figura IV.D.5). En la guía del usuario de WesVar puede encontrar (­ información muy útil. Ahora puede reanudar el ejercicio 16.1. FIGURA IV.D.5 WesVar: abrir captura de pantalla Fuente: ejemplo en el software WesVar REFERENCIAS Anderson, P., y G. Morgan. 2008. Developing Tests and Questionnaires for a National Assessment of Educational Achievement. Washington, DC: Banco Mundial. Cartwright, F., y G. Shiel. De próxima publicación. Analyzing Data from a National Assessment of Educational Achievement. Washington, DC: Banco Mundial. Cochran, W. G. 1977. Sampling Techniques. 3.ª ed. Nueva York: Wiley. Greaney, V., y T. Kellaghan. 2008. Assessing National Achievement Levels in Education. Washington, DC: Banco Mundial. Howie, S. J. 2004. “Project Plan.” Documento no publicado, Centro de Evaluación, Pretoria. Ilon, L. 1996. “Considerations for Costing National Assessments.” En National Assessment: Testing the System, ed. P. Murphy, V. Greaney, M. E. Lockheed, y C. Rojas, 69–88. Washington, DC: Banco Mundial. Kellaghan, T., V. Greaney, y T. S. Murray. 2009. Using the Results of a National Assessment of Educational Achievement. Washington, DC: Banco Mundial. Keyfitz, N. 1957. “Estimates of Sampling Variance Where Two Units Are Selected from Each Stratum.” Journal of the American Statistical Association 52 (280): 503–12. Kish, L. 1965. Survey Sampling. Nueva York: Wiley. 283 284 | IMPLEMENTACIÓN DE UNA EVALUACIÓN NACIONAL DEL RENDIMIENTO Lehtonen, R., y E. J. Pahkinen. 1995. Practical Methods for the Design and Analysis of Complex Surveys. Nueva York: Wiley. Lohr, S. L. 1999. Sampling: Design and Analysis. Pacific Grove, CA: Duxbury Press. TIMSS (Estudio Internacional de Tendencias en Matemáticas y Ciencias). 1998a. Manual for Entering the TIMSS-R Data (Doc. Ref. No. 98-0028). Chestnut Hill, MA: Centro de Estudios Internacionales, Boston College. ———. 1998b. Manual for International Quality Control Monitors (Doc. Ref. No. 98-0023). Chestnut Hill, MA: Centro de Estudios Internacionales, Boston College. ———. 1998c. Sampling Design and Implementation for TIMSS 1999 Countries: Survey Operational Manual (Doc. Ref. No. 98-0026). Chestnut Hill, MA: Centro de Estudios Internacionales, Boston College. UNESCO (Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura). 1997. Clasificación Internacional Normalizada de la Educación (ISCED). París: UNESCO. ECOAUDITORÍA Declaración de beneficios medioambientales El Grupo Banco Mundial tiene el compromiso de reducir su huella ambien- tal. En apoyo a dicho compromiso, la División de Publicaciones y Conocimiento impulsa las opciones de edición electrónica y la tecnología de impresión por encargo, desde centros regionales distribuidos por todo el mundo. En conjunto, estas iniciativas permiten reducir las tiradas y las dis- tancias de envío, lo que redunda en un menor consumo de papel, menor uso de productos químicos, menores emisiones de gases de efecto invernadero y menor cantidad de residuos. La División de Publicaciones y Conocimiento sigue las normas reco- mendadas sobre el uso de papel establecidas por la Green Press Initiative (Iniciativa de Prensa Ecológica). La mayor parte de nuestros libros se imprime con papel certificado por el Consejo de Administración de Bosques (FSC), y el contenido en papel reciclado de casi todos ellos oscila entre el 50 y el 100 por ciento. La fibra reciclada del papel de nues- tros libros es o bien sin blanquear o blanqueada mediante procesos total- mente libres de cloro (TCF), procesos de fabricación sin cloro (PCF) o procesos de blanqueo libre de cloro elemental mejorado (EECF). Puede encontrarse más información sobre la filosofía ambiental del Banco en http://www.worldbank.org/en/about/what-we-do/crinfo.