¿Cuantos encuestadores de Amazon MTurk hay?

Actualmente, la mayoría de los investigadores de consumo experimentales (sin mencionar a los psicólogos sociales, los politólogos, los economistas del comportamiento, etc.) han reemplazado o complementado los grupos de estudiantes con los trabajadores de Amazon Mechanical Turk (MTurk) para realizar su investigación. El uso de encuestadores MTurk para la investigación es conveniente, económico y rápido. (También es a menudo una explotación, pero esa es una publicación de blog diferente).

Fuente: Zol Korabi por Rolo Natkys Flickr Licenciado por CC BY 2.0

No es de extrañar que decenas de miles de estudios de psicología cada año se realicen en la actualidad utilizando trabajadores de MTurk como encuestadores. (Cuando busqué en MTurk mientras escribía esta publicación en el blog, me ofrecieron 319 encuestas para completarlas como trabajador de MTurk, y ¡ni siquiera tengo la calificación MTurk Master!)

Dado que una cantidad significativa de investigación en ciencias sociales hoy depende de los trabajadores de MTurk, sin duda vale la pena saber más acerca de estas personas. Esta información tiene que ver con la validez de la investigación que se realiza. Hay muchas preguntas importantes que hacer, tales como:

• ¿Quienes son esas personas?
• ¿Están respondiendo encuestas de manera seria?
• ¿Podemos estar seguros de que cualquier cosa que encontremos con este grupo realmente se aplica a la población en general? En otras palabras, ¿son representativos?
• ¿Qué tan válidas son las inferencias a partir de sus respuestas? ¿De qué cosas deberíamos preocuparnos?

Cada una de estas preguntas vale la pena investigar. Sin embargo, en este post, quiero considerar una pregunta diferente sobre la que tenía mucha curiosidad: "¿Cuántas encuestas hay en Amazon Mechanical Turk?"

• Asalto a la edad adulta
• Comportamiento arriesgado y victimarios: dos problemas, ninguno
• La psicología de Star Wars: los problemas con el diagnóstico de Kylo Ren
• ¿Eres adicto?
• 21 maneras de convertir la voluntad enferma en buena voluntad

¿Por qué es importante esta pregunta?

Inspirándose en un estudio que analizaré más adelante en este artículo, es útil pensar en el sitio de Amazon MTurk como un estanque, cada investigador como pescador o pescador, y cada trabajador de MTurk como un pez. Cada vez que un investigador publica un estudio, están arrojando una red para atrapar varios cientos de peces. Capturan y liberan al pez, pero en el proceso, extraen algo de "esencia" del pez en forma de respuestas a las preguntas de la encuesta, cambiando el pez de su condición original.

Por el momento, las redes están siendo arrojadas en el estanque de MTurk miles de veces cada semana por (principalmente) académicos, y cada vez más por encuestadores profesionales. Entonces, las preguntas de "¿hay suficientes peces?" O si todos atrapamos principalmente a los mismos peces son significativos.

Un gran grupo de encuestados tiene tres ventajas: (1) mayor posibilidad de encontrar diversas características y un número suficiente de encuestados con una cierta característica, por ejemplo, observadores de televisión pesados ​​o entusiastas del senderismo; (2) más encuestados "nuevos" no contaminados que tomarán seriamente la tarea de responder a la encuesta y lo harán con pensamiento y honestidad (es decir, alguien que no ha respondido la escala general de autocontrol o la escala de conservadurismo social y económico una docena) veces), y (3) mayor probabilidad de que una muestra sea representativa de la población en general (aunque esto no está garantizado).

• 7 signos de salud mental
• Luchando por nuestra democracia
• La razón subyacente que no puedes enfocar
• Un conjunto esencial de herramientas para la productividad en el trabajo
• ¿Cómo mantener las resoluciones?

Directamente de la boca del caballo: ¿el sitio de MTurk?

El primer lugar lógico para buscar la respuesta es el sitio MTurk en sí. Es de esperar que Amazon proporcione esta información, actualizada diariamente, por dos razones. En primer lugar, esta es información crucial para los clientes de Amazon (los investigadores académicos y comerciales) que les pagan caro para usar el sitio. Sin duda, aumentaría la calidad de la investigación realizada utilizando el sitio. Y en segundo lugar, ya saben cuántos trabajadores de MTurk usan el sitio, por lo que es muy fácil (y económico) para ellos extraerlo y publicarlo. Pero desafortunadamente ese no es el caso.

Su reclamo "Acceda a más de 500,000 trabajadores de 190 países" no tiene mucho sentido porque es impreciso y no ha cambiado en años. Además, no está claro cuántos de estos presuntos medio millón de personas realmente toman encuestas o han venido y se han ido del sitio.

Por otro lado, es alucinante, y una verdadera lástima, cuántos medios de comunicación de renombre como el Guardian, el Wall Street Journal e incluso organizaciones de investigación como el Pew Research Center informan perezosamente este número poco fiable. Si bien esto no es una "noticia falsa", me parece una "noticia perezosa" porque puede distorsionar el resto de la historia que se informa.

¡No genial, Amazon y los grandes medios! Ok, entonces ahora necesitamos otras fuentes para encontrar el número.

Stewart et al. estudio, Juicio y Toma de Decisiones, 2015.

El profesor de Psicología Neil Stewart y un equipo de investigadores de siete laboratorios diferentes distribuidos en diferentes países han llevado a cabo el estudio más completo e impresionante (en términos de tamaño y duración) hasta la fecha para responder a esta pregunta que pude encontrar. Cubriendo la recolección de datos de MTurk de todos sus laboratorios desde enero de 2012 hasta marzo de 2015, y empleando un método estadístico genial que los ecologistas normalmente usan para descubrir la población de un animal o ave en particular, concluyeron que el investigador promedio que usa MTurk tiene acceso a un grupo de alrededor de 7.300 encuestados en un momento dado. También descubrieron que el 26% de los encuestadores de MTurk "se jubilan" cada trimestre y los reponen nuevos trabajadores. También cabe destacar que sus laboratorios utilizaron en su mayoría encuestados con base en los Estados Unidos. Me sorprendió su comparación:

"Así, la población que el laboratorio promedio puede alcanzar es solo unas pocas veces mayor que el grupo de participantes activos en una universidad típica (las agrupaciones crediticias de curso tienden a tener una aceptación bastante alta), con una tasa de rotación que no es diferente al ir y venir de estudiantes universitarios ". (página 485)

¡Así que los encuestadores de MTurk son como un grupo de estudiantes universitarios con esteroides!

Algunas de sus otras conclusiones son igualmente estimulantes, por decir lo menos. Alrededor del 65% de los encuestados participaron en múltiples estudios realizados por el mismo laboratorio (obtuve este valor al observar la Figura 5 en su artículo). Ahora es muy probable que estos diferentes estudios trataran sobre diferentes temas, pero esto aún no es ideal. Y poco más del 50% de los participantes participaron en estudios de múltiples laboratorios. Este es el pez que es atrapado, liberado, y atrapado de nuevo, y liberado de nuevo, y atrapado de nuevo, y así sucesivamente.

Pude encontrar otras dos estimaciones de procedencia anterior y / o usar lo que pensé que eran métodos menos confiables:

• Un estudio de 2011 en lingüística computacional realizado por Karen Fort, Gilles Adda y K. Bretonnel Cohen calculó que la cantidad de encuestados oscila entre 15,059 y 42,912. Esto se basó en las estimaciones de la encuesta de un conjunto de trabajadores de MTurk y se ajustó utilizando la opinión de expertos. Además, incluyeron encuestados que no pertenecen a los EE. UU. (Una cantidad considerable de trabajadores proviene de la India).
• Un comentarista anónimo en Reddit indicó que pudieron obtener 6.000 respondedores únicos en una semana al no tener condiciones o restricciones sobre quién podría participar en su estudio.

Entonces, ¿qué hacer con estos números?

Para dar una perspectiva, la empresa de paneles en línea YouGov afirma que tiene un panel en línea de 4 millones de panelistas que cubren 37 países, y un panel estadounidense de 1.8 millones de panelistas. Del mismo modo, SurveyMonkey afirma tener un panel en línea de más de 30 millones de personas, y Slice Intelligence tiene 4,2 millones de personas en su panel en línea. Obviamente, solo se trata de reclamos, como el reclamo de Amazon "Más de 500,000 …", y es imposible verificar ninguno de ellos.

Volviendo a Amazon MTurk, me parece que no hay tantos peces y que hay demasiadas redes en el estanque de MTurk. Ciertamente, esto no es una buena noticia si usted es un investigador psicológico porque la gran mayoría de los trabajadores de MTurk han tomado docenas, si no cientos, de otras encuestas en un corto período de tiempo. Es bastante probable que muchos de ellos se encuentren en medio de una sesión de maratón de encuestas. Esto puede crear todo tipo de problemas si el investigador intenta producir una manipulación psicológica como una inducción del estado de ánimo, una mentalidad específica, etc. (Más sobre esto en una publicación futura).

Demasiada gente de pescadores, no suficientes peces.

Entonces esta es la imagen que nos queda. Imagine un estanque con alrededor de 10.000 peces nadando en cualquier momento. Y luego imagina a decenas de miles de pescadores y pescadores alineados alrededor del estanque y arrojando sus redes miles de veces a la semana, atrapando los peces, sondeándolos, soltándolos, atrapando, sondeando, luego soltando, atrapando, probando y luego soltando incesantemente. No es de extrañar que una cuarta parte de los peces se retiren cada tres meses. Es probable que se hayan extinguido por la multitudinaria investigación de los pescadores. Esto es lo que usar los trabajadores de MTurk para hacer investigación en ciencias sociales es como a principios de 2017. No es un espectáculo bonito.

PD:

Después de escribir esta publicación, Kristy Milland (usuario de Twitter: @TurkerNational) me envió un enlace a un estudio que realizó (ver sus comentarios a continuación). Durante un período de seis semanas en 2015, obtuvo 25,293 participantes únicos en los EE. UU. Y un total de 30,002 participantes (la mayoría de los restantes fueron de India) para completar su éxito. Tenga en cuenta que esto incluye a todos los trabajadores de MTurk, no solo a los encuestadores. El enlace a los resultados del estudio de Kristy se puede encontrar aquí.

Sobre mi

Enseño marketing y precios a estudiantes de MBA en Rice University. Puede encontrar más información sobre mí en mi sitio web o seguirme en LinkedIn, Facebook o Twitter @ud.