En este blog he hablado muchas veces de experimentos psicológicos. Sabemos que la psicología no es una ciencia tan exacta como las matemáticas, pero inevitablemente creemos que los resultados de los experimentos coinciden con la realidad.

Por desgracia no siempre es así. En muchas ocasiones cuando otro equipo de investigadores repite  el experimento el resultado es diferente.

Experimentos psicológicos. ¿Nos podemos fiar de ellos? Los agujeros del método científico.

Brian Nosek es profesor de psicología en la Universidad de Virginia. Para comprobar cuánto podíamos confiar en el método científico alistó a 270 investigadores. Su intención era replicar los resultados de 100 experimentos publicados en tres revistas punteras de psicología desde el 2008. (Aquí está el estudio de Nosek).

¿Cuántos experimentos fueron capaces esos investigadores de repetir satisfactoriamente?

Tan solo un decepcionante 39%.  ( En esta página  están los experimentos cuyos resultados no se pudieron replicar)

Ehh ¿Cuál es vuestro problema?

Hoy en día hay muchas más revistas especializadas que antes y se publican muchos más estudios. Cada nueve años se duplica la producción científica global.

En ese entorno, las publicaciones tienen presión por conseguir descubrimientos impresionantes. Y las comprobaciones de experimentos anteriores son menos llamativas que los experimentos nuevos.

Pero no solo es la psicología la que tiene estos problemas. En la biomedicina estudios semejantes han estimado que entre el 51 y el 89% de las investigaciones no podrían ser reproducidas.

El valor “p”.

 En el momento de hacer un experimento, los investigadores indican la probabilidad de que los resultados obtenidos hayan sido por azar. Es lo que se llama “el valor p” Si el “valor p” es 0,05 la posibilidad de que el resultado se haya debido al azar es de un 5%.  Normalmente ese es el máximo que se permite para publicar un estudio.

En el examen del doctor Nosek, el 97% de los estudios decían tener un “valor p” de 0,05 o menos. Sin embargo en la comprobación solo el 36% consiguió quedar dentro de ese límite. Los estudios que afirmaban tener un valor de 0,01 o menos fueron los que se pudieron replicar mejor. Esto muestra que los investigadores son conscientes de lo exacto de sus estudios.

Soluciones.

¿Cómo evitar que se publiquen tantos estudios poco científicos y que se produzca la confusión?

Algunos autores afirman que si se rebajara “el valor p” admisible, la calidad de los estudios publicados sería mucho mayor.

Sería conveniente que las publicaciones se comprometieran a dar publicidad a cualquier estudio que replique las investigaciones publicadas. Poco a poco algunas revistas lo van haciendo.

Además empiezan a surgir medios independientes en los que se publican los intentos de repetir investigaciones anteriores (como PsychFileDrawer).​

Hay que tomárselo todo con un poco de escepticismo.

Las réplicas de las investigaciones en el estudio de Nosek fueron realizadas con ayuda de los investigadores originales, lo cual hace más grave que no se pudieran reproducir. Sin embargo, que algunos experimentos no se hayan podido reproducir no significa necesariamente que sean erróneos.

Lo que sí significa es que no constituye prueba suficiente. Al igual que una golondrina no hace verano, un estudio aislado no puede servir para dar por zanjado un tema.

“La realidad es que cada uno de esos estudios por sí mismo no es definitivo. Es una prueba que acumulándose a otras nos da una respuesta” según afirma el doctor Nosek. “Nos encantaría tener una respuesta definitiva y clara para cada estudio, pero eso no ocurre casi nunca”.

La principal enseñanza que deberíamos sacar de este estudio es que las investigaciones sirven de orientación, pero no son una verdad absoluta. Al menos mientras no haya un número de ellas que permita dispersar las dudas. Debemos estar preparados para cambiar cualquier idea previa, siempre que aparezca alguna razón para ello.