4 cambios que haré al usar Amazon MTurk para la investigación

Fuente: Signo visto en Santa Cruz por Robert Couse-Baker con licencia de CC BY 2.0

Hace unos días, describí mi experiencia bastante intensa y no del todo placentera trabajando a tiempo parcial como Amazon Mechanical Turk (MTurk)   obrero. Esta experiencia no solo me dejó "conmocionado y agitado" por así decirlo, sino que también me hizo pensar en los cambios que debo hacer cuando vuelvo a utilizar MTurk como investigador para recopilar datos experimentales o de encuestas.

Aquí está mi lista de los cuatro cambios que planeo hacer al usar MTurk para publicar mi trabajo (otros investigadores pueden unirse a J).

1. ¡Pague a los trabajadores el doble!

El tema del pago fue quizás la revelación más sorprendente de mi experiencia y una que sería imposible sin haber caminado con los zapatos de un trabajador de MTurk durante una semana. Hasta ahora, cuando publiqué mis encuestas en MTurk, pensé en los trabajadores de maneras muy abstractas y confusas, si es que pensaba en ellos.

Después de haber trabajado en investigación de mercadotecnia comercial, había un sentido molesto en mi mente de que estaba obteniendo mis datos a un precio de ganga (una vez trabajé en un proyecto de investigación que involucraba prisioneros, e incluso un público tan cautivo costaba $ 3 / encuesta); pero lo quité. ¿A que costo? Después de mi experiencia como trabajador, tengo claro que no estaba pagando lo suficiente por el valor que obtengo de los trabajadores de MTurk.

• Liderando desde el corazón
• ¿Deberías comenzar tu propio negocio?
• Mad Men: Don Draper en el sofá
• ¿Cuál es la mejor emoción?
• Negocio: Ajuste de objetivos de visión

Para una encuesta de 6-7 minutos, ofrecí entre $ .40 y $ .60 dependiendo del número de preguntas abiertas, teniendo que leer y comprender pasajes, etc. A partir de ahora, voy a ofrecer al menos $ 1.00. Con mi presupuesto de investigación limitado, este aumento salarial unilateral significa que tendré que trabajar más duro en la parte delantera para diseñar y planificar estudios más cuidadosamente y hacer menos de ellos.

(Y me doy cuenta de que Amazon recientemente aumentó la comisión que cobran sustancialmente a los investigadores. Pero, en mi opinión, ese es un asunto completamente diferente que queda mejor para los luchadores más feroces, no tiene nada que ver con la remuneración del trabajador justo).

¡Aquí tienes, un profesor de marketing que ofrece pagar el doble! Extraño, lo sé.

• Por qué Lita Ford Still Rocks
• Los solicitantes de empleo excesivamente calificados se unen
• 8 formas de ser más empoderados en el trabajo
• PREOCUPANDO POR LO ERRÓNEO
• ¿Comiste en exceso en o después del Día de Acción de Gracias? Perdónate y luego sé agradecido

2. Controlar y mantener diligentemente la calidad de la encuesta

Desde el punto de vista de los trabajadores de MTurk, cualquier cosa que los desacelere duele, tanto cognitivamente (en cómo piensan y responden a las preguntas) como en el libro de bolsillo. Tales puntos de dolor pueden incluir muchas cosas. Preguntas que son trabalenguas, redactadas de manera deficiente o ambigua, errores de ortografía, errores de gramática, flujos de encuestas complicados, tareas que hacen que los encuestados permanezcan sentados durante más de dos minutos mientras un reloj digital se agota, preguntas abiertas que obligan a las personas a escribir cierto número de palabras (o caracteres) inmensos, creo que algo más de 100 caracteres es demasiado), las encuestas que son demasiado largas (cualquier cosa más 70 preguntas totales es demasiado larga en mi opinión) contribuyen en gran medida al dolor del encuestador.

En los estudios que yo (o mis coautores) hemos publicado en MTurk, en general hemos sido buenos acerca de estas cosas. Pero vacilamos de vez en cuando. A veces, codificamos erróneamente un tipo de respuesta en una pregunta, de modo que un espacio en blanco que realmente debería rellenarse con texto obliga a una respuesta para una dirección de correo electrónico. Otras veces, dejamos un error tipográfico evidente en la encuesta cuando lo publicamos que distrae a los encuestados. Son cosas tan pequeñas como esta que nos vamos a enfocar en arreglar.

Mi propia supervisión más atroz del control de calidad es que a menudo me saltearé la edición de copias, las pruebas preliminares y la ejecución de cuestionarios que estoy a punto de publicar en MTurk (por pura pereza o exceso de confianza injustificada, no sé cuál).

Mi mantra a partir de ahora: Copyedit y luego haga una prueba preliminar del cuestionario sobre mí (y los coautores o secuaces) al menos tres veces antes de que se publique para los trabajadores de MTurk. Si no puedo solucionarlo sin problemas, es probable que los encuestados tampoco lo hagan.

Hice una lista de verificación que revisa todos estos problemas potenciales y puede ser útil para los investigadores que realizan encuestas en línea. Se puede descargar aquí.

3. No solo obtener el consentimiento informado, sino también brindar la oportunidad de recibir "comentarios informados"

Al igual que la mayoría de los investigadores, inserto un formulario de consentimiento informado explicando el procedimiento de mi estudio, sus riesgos potenciales, mi información de contacto, etc. al comienzo de mi cuestionario. Pero ahora me doy cuenta de que esto no es tan útil como podría ser por un par de razones.

• La forma es bastante densa No es razonable esperar que los trabajadores de MTurk en el reloj lean cuidadosamente más de 300 palabras, incluso antes de que comience el estudio. Incluso si les pido a los trabajadores que lo impriman para futuras referencias, es poco probable que la mayoría lo haga.
• El formulario de consentimiento informado suele ser el único lugar donde se proporciona el nombre y la información de contacto del investigador. Sin embargo, el trabajador realmente necesita esta información al final después de presionar el botón final y enviar la encuesta.

Por lo tanto, además de obtener el consentimiento informado, voy a obtener "comentarios informados" al final una vez que se haya enviado la encuesta y se haya entregado el código de finalización. Aquí es donde parece apropiado proporcionar mi información de contacto y solicitar comentarios y dar la oportunidad de expresar cualquier queja.

Los especialistas en marketing suelen preguntar a los clientes sobre su experiencia después de una comida en un restaurante o un viaje en avión, así que ¿por qué los investigadores no deberían hacer lo mismo después de una encuesta de MTurk?

4. Complementar los estudios de MTurk con muestras y métodos drásticamente diferentes

Independientemente de la suficiencia estadística de los datos de MTurk, hay algo inherentemente apestoso en la investigación de las ciencias sociales realizada únicamente con un método que tiene encuestadores que completan encuestas como los trabajadores de la línea de montaje que juntan relojes Apple.

Déjame decirte por qué. En la toma de decisiones morales, una clase de problemas importantes (y horribles) implica elegir entre dos situaciones REALMENTE malas (que sinceramente espero que ninguno de nosotros tenga que enfrentar en nuestras vidas reales). Tales dilemas incluyen: "¿Asfixiarías a un niño con tus propias manos para salvar a una docena de extraños de ser asesinados?" O "¿Podrías cocinar y servir a tu perro / gato en una fiesta del pueblo si eso significara que toda tu aldea sería ¿salvado de ser asesinado de inmediato? " ¡Ay!

Este tipo de preguntas son espantosas. Para cualquier ser humano normal, crean confusión emocional y moral cuando los encuentras (¡al menos lo hicieron por mí!). Eso es lo que deben hacer. Pero supongamos que encuentra las mismas preguntas una y otra vez … y otra vez; digamos que encuentras una docena de estas preguntas en 20 encuestas cada semana (la toma de decisiones morales es un tema de investigación popular, después de todo).

¿Vas a sentir el mismo intenso dilema moral la 17ª vez que respondes esas preguntas? ¡De ninguna manera! Irás como: "¡Bostezo! ¡Oh, bueno, para apaciguar a los merodeadores, cocinaré Rover en filetes para la fiesta del pueblo! ¡Siguiente! " Mi punto es cuando respondo, todavía puede responder las preguntas de la forma en que el investigador quiere, espera o predice, pero seguramente sin ninguna agitación emocional que se encuentra en el corazón de tales decisiones morales!

Hay al menos otras dos razones por las que soy cauteloso al realizar únicamente la investigación basada en muestras de MTurk. En primer lugar, debido a la facilidad, el costo y la velocidad de ejecutar los estudios de MTurk, existe una tendencia creciente a realizar numerosos estudios para el mismo proyecto con la idea de replicar el hallazgo y utilizar métodos estadísticos sofisticados, como metanálisis a pequeña escala para calcular a cabo el tamaño del efecto de manera más confiable .

Sin embargo, este aluvión de datos adquiridos a bajo precio pasa por alto el hecho de que todos los estudios se han realizado con encuestadores que están hastiados homogéneamente; por lo que los resultados pueden no generalizarse más allá de los encuestadores de la línea de montaje. Y la verdad del asunto es que sabemos muy poco sobre encuestadores profesionales más allá del hecho de que son relativamente pocos.

En segundo lugar, para los investigadores aplicados en particular, la complacencia derivada de haber realizado numerosos estudios en línea cambia el enfoque de reconocer las severas limitaciones asociadas con las tareas basadas en texto que involucran historias imaginarias y escenarios que las encuestas en línea pueden afrontar. Tales mediciones pueden o no transferirse a decisiones o comportamientos reales en el mundo real que realmente estamos interesados ​​en estudiar.

Por estas razones, planeo usar MTurk toma muestras principalmente para la realización de pruebas previas y para la investigación exploratoria que constituye una pequeña fracción de los estudios en cualquier proyecto de investigación en particular. Tal como están las cosas, prefiero realizar estudios de campo (con clientes reales, por ejemplo) y medir comportamientos reales en lugar de opiniones sobre cómo se comportarían los encuestados.

Quiero decir una última cosa (si tú, el lector, llegaste tan lejos sin irrumpir maldiciéndome profundamente). Al publicar trabajos en MTurk, ¿no sería agradable que los investigadores usaran su nombre real y declararan claramente su afiliación? Usar seudónimos como "SocPerfLab37" crea la impresión de spammers en línea que lanzan Viagra todos los días.

Recursos adicionales

Un colectivo de trabajadores e investigadores de MTurk llamado Dynamo ha elaborado un excelente conjunto de directrices para los investigadores que describe muchas de las cosas que he abordado aquí con mucha más profundidad y mucho más. El grupo también ha realizado una investigación interesante sobre la acción colectiva entre los trabajadores de MTurk.

Más sobre mí

Enseño mercadotecnia básica y precios a estudiantes de MBA en Rice University y mi experiencia académica está aquí.

Puede encontrar y descargar una gran parte de mi escritura académica y parte de mi práctica profesional en SSRN. Si no puede encontrar algo antiguo que haya escrito, envíeme un correo electrónico y se lo enviaré.

Algunos de mis escritos para gerentes y gente de negocios se pueden encontrar en HBR.org y también escribo un blog relativamente nuevo llamado "La ciencia detrás del comportamiento" en Psychology Today.

Puede conectarse conmigo en LinkedIn o Facebook , o puede enviarme un correo electrónico. Todas las preguntas, comentarios, pensamientos e ideas para futuras piezas de blog o proyectos de investigación académica son bienvenidos. Simplemente no me envíe ningún correo de odio, por favor.

[Esta publicación se publica de forma cruzada desde LinkedIn Pulse ]