La evaluación es el proceso de determinar el mérito, el valor o la importancia de algo, y una evaluación es un producto concreto de ese proceso. De acuerdo con Michael Scriven en La lógica de la evaluación , “la evaluación profesional se realiza de forma sistemática y objetiva con un grado de experiencia que requiere una capacitación o aprendizaje específico y extenso”. La lógica de la evaluación es un ejemplo de la información paso a paso. Proceso que puede adaptarse para ayudarnos a emitir juicios sobre la calidad de los productos, programas, políticas o personal.
Definiendo el proceso
La lógica de la evaluación es un proceso de cuatro pasos que incluye: 1) definir los criterios que se utilizarán para evaluar algo; 2) establecer estándares de desempeño en esos criterios; 3) medir el rendimiento real; y 4) sintetizar los resultados para llegar a un juicio evaluativo. Lo que es especialmente interesante de este proceso es que las personas a menudo lo hacen de manera intuitiva, pero pueden omitir los pasos que podrían llevar a conclusiones erróneas. Este artículo espera aclarar cómo se ve este proceso y cómo se puede aplicar a una situación del mundo real.
El primer paso para definir los criterios se centra en generar una lista de dimensiones o elementos que nos ayude a capturar el rendimiento de un producto / programa / política. Por ejemplo, si quisiéramos evaluar un automóvil, algunos de los criterios que generaríamos podrían incluir la cantidad de personas que ocupa, las millas por galón (MPG), su clasificación de seguridad ante choques, su apariencia (su estética) y su precio. Esta no es una lista completa de criterios, pero ofrece un punto de partida para hacernos pensar en las dimensiones que influyen en la forma en que evaluamos un automóvil. También es importante tener en cuenta que no todos los criterios son igual de importantes, por lo que en el caso de la evaluación del automóvil es posible que deseamos darle mucha importancia a los criterios de seguridad, por lo que incluso si un automóvil tiene un precio razonable, se ve muy bien, tiene un gran MPG y tiene capacidad para seis personas, pero resulta que falla las pruebas de choque de seguridad más simples y luego falla automáticamente como un automóvil, ya que la seguridad es probablemente una de las características más importantes.
Una vez que determinamos los criterios, entonces tenemos que determinar qué tan bien debe cumplir algo en esos criterios (es decir, los estándares). Por ejemplo, si usamos MPG como criterio, también tendríamos que determinar un estándar de desempeño para ese criterio. Esto significa que tenemos que determinar un nivel aceptable de desempeño en ese criterio, ¿entonces sería aceptable 10 MPG? 35 MPG? 50 MPG o incluso 100 MPG? Existen diferentes formas de abordar este proceso; la forma más sencilla es establecer un nivel de corte de rendimiento donde usted decide que, debido al precio de la gasolina, un automóvil necesita obtener al menos 35 MPG para que se considere un nivel “bueno”. de rendimiento en MPG. Otra forma es desarrollar un sistema de puntos en el que cuanto mejor sea el MPG, más puntos obtendrá un automóvil (por ejemplo, 10 MPG obtiene 10 puntos, 100 MPG obtiene 100 puntos). Puede pasar por este proceso con los otros criterios, así puede establecer un punto de precio por cuánto desea gastar en un automóvil, identificar la cantidad de pasajeros que desea que puedan sentarse y tal vez desarrollar un sistema de clasificación. por lo bien que se ve el coche
Cuando termina la identificación de criterios y la configuración estándar, comienza la parte divertida de medir y recopilar información. En el ejemplo de automóvil, esto significaría que comenzaríamos a recopilar datos de criterios sobre los diferentes automóviles que estamos considerando. Puede recopilar los datos directamente, de modo que puede poner un galón de gasolina en un automóvil y conducirlo por una pista para ver hasta dónde llega (esto puede ayudarlo a determinar MPG) o encontrar fuentes de datos existentes sobre el rendimiento del automóvil. Algunos de los datos de rendimiento son fáciles de obtener, por ejemplo, la cantidad de personas que pueden caber en un automóvil se puede determinar mirando el interior del automóvil. Otra información puede ser difícil de recopilar directamente, y tendrá que confiar en otras fuentes externas. Por ejemplo, los datos de seguridad en caso de choque deberían obtenerse del Instituto de Seguros para la Seguridad en las Carreteras (IIHS). Una vez que se completa toda la medición y se recopilan los datos, comienza el paso más interesante en el proceso de evaluación.
El proceso de síntesis es donde se toman los criterios que se identificaron, los estándares de rendimiento que se determinaron y las mediciones que se recopilaron para llegar a una conclusión o juicio final de evaluación. En el ejemplo de automóvil, esto significaría que usted compararía los datos que recopiló sobre cada automóvil con los estándares de desempeño que identificó y asignaría puntos a la forma en que se desempeñaron en ese criterio. Por ejemplo, puede tener un auto que obtiene 40 MPG (40pts de 100 puntos), que parece aceptable (por ejemplo, obtiene 50pts de 100 puntos), que se desempeñó excelente en las pruebas de choque de seguridad (80 puntos de 100 puntos). pero es muy caro (10 puntos de 100 puntos). El puntaje total para ese auto sería 180 de un máximo de 400 puntos. Otro automóvil podría obtener 300 puntos de 400, o 50 de 400, dependiendo de qué tan bien se desempeñó durante el proceso de medición. Una vez que vea la asignación de puntos, sería fácil determinar cuál es el mejor auto.
También es importante recordar que, como parte de este proceso, debe determinar si estos autos pasaron los criterios más importantes o críticos (por ejemplo, seguridad de prueba de choque). Por lo tanto, incluso si un automóvil funciona realmente bien en todos los demás criterios (100 puntos en precio, 100 puntos en estética, 100 puntos en MPG) pero falla las pruebas de seguridad, entonces el coche debe ser retirado de la consideración y juzgado como “fallido” coche.
Espero que esta ilustración ofrezca algunas ideas sobre cómo la lógica del enfoque de evaluación puede hacer que los conceptos abstractos sean más explícitos y sistemáticos. La lógica del enfoque de evaluación se puede utilizar en muchas situaciones diferentes, como la evaluación de programas como los esfuerzos de retención de estudiantes, las iniciativas de prevención de embarazos y las intervenciones de rehabilitación de drogas. También se puede utilizar en la evaluación de diversas políticas que afectan nuestras vidas y, como se ilustra en el ejemplo del automóvil, en nuestro proceso regular de toma de decisiones. Sin embargo, hay una complejidad adicional a este proceso que se abordará en futuros artículos, por ejemplo, al evaluar un programa escolar, los criterios de desempeño del director pueden ser muy diferentes de lo que piensan los padres y el proceso de negociación entre estas diferencias podría afectar la credibilidad. y utilidad del juicio final de evaluación. Exploraremos estas complejidades y el papel de la evaluación en la toma de decisiones en la próxima entrega.
Referencias
Scriven, Michael, “La lógica de la evaluación” (2007). OSSA Conference Archive . 138. https://scholar.uwindsor.ca/ossaarchive/OSSA7/papersandcommentaries/138
