Busca lo positivo

En esta charla, Ben Goldacre explica en qué consiste el sesgo de publicación. Las pruebas clínicas con resultados positivos tienen muchas más probabilidades de ser publicadas que las negativas. Esto es algo preocupante y que resta credibilidad a los resultados científicos en general pero, como suele suceder, cuanto más se estudia un problema complejo, más complejo resulta ser en realidad.

Es lógico que las revistas científicas quieran publicar resultados positivos. No nos interesa saber que la dimetil tionina no es eficaz contra el Parkinson, lo que queremos saber es qué es eficaz, pero en algunos casos, existe mala fe por parte de la revista. Ben menciona el ejemplo del estudio sobre los poderes psíquicos de precognición que supuestamente demostró que los voluntarios tenían capacidad de predecir cuándo y dónde iba a aparecer una imagen erótica en una pantalla. Los voluntarios acertaban significativamente por encima de la media. ¿Dónde está el truco? Pues en hacer muchos grupos de voluntarios (los separaron por edades, sexo, extrovertidos e introvertidos…) y someterlos a varias pruebas diferentes (con diferentes tipos de imágenes). Por pura estadística, algunos grupos funcionarán mejor que los demás. Se toman ésos grupos como protagonistas y se escribe el artículo. También habrá grupos que funcionarán peor, pero de ésos no se habla y ya está. Todo es un fraude basado en una mala metodología. Los que intentaron repetir estos experimentos obtuvieron resultados negativos. Intentaron publicar sus estudios en la misma revista (Journal of Personality and Social Psychology), pero esta contestó que solo le interesaba publicar resultados positivos.

Lo más increíble es que el psicólogo que consiguió publicar este disparate considera que en eso consiste hacer ciencia y hasta lo pone por escrito en un libro dirigido a estudiantes  Writing the empirical journal article, (Bem 2003): “Hay dos posibles artículos que usted puede escribir: (1) el artículo que pensaba escribir cuando se diseñó el estudio o (2) el artículo que tiene más sentido ahora que ha visto los resultados. Rara vez son el mismo, y la respuesta correcta es (2).“

A veces la revista publica un trabajo polémico que no cumple unos mínimos de calidad, pero que garantiza un buen puñado de citas de trabajos posteriores, que comentan lo malo que es o desmienten sus resultados. La revista consigue mejorar su índice de impacto a costa de publicar mala ciencia.

Además de los intereses de la revista y la mala fe del experimentador,  existe un sesgo de intención comercial. Este trabajo de Lexchin et al 2003 y este de Chan et al 2004  dicen que la investigación patrocinada por la industria farmacéutica tiene una mayor tendencia a producir resultados favorables sobre los productos de la compañía que la investigación financiada por otras fuentes. Hasta cuatro veces más (odds ratio 4.05, +/-95% CI 2.98 -5.51).  Esto parece un efecto de la censura que ejerce la compañía, que impide que se publiquen resultados desfavorables, pero también hay que tener en cuenta que a menudo son los investigadores los que eligen buscar financiación de una compañía u otra. Ellos tienen criterio para saber qué farmacéutica está produciendo el medicamento que va a dar resultados positivos. Les conviene hacerlo así porque ni la farmacéutica quiere pagar investigaciones de resultado negativo ni las revistas quieren publicarlos.

Los trabajos patrocinados por las farmacéuticas menos serios los cuelan a menudo en congresos. Recordemos que las comunicaciones en congresos no suele pasar revisión científica o esta es mucho menos severa. Algunas empresas como Merck van más allá, y han llegado a utilizar estrategias francamente indecentes, como crear falsas revistas científicas.  La conclusión inevitable es que si queremos garantizar objetividad, un elemento imprescindible es la financiación pública.

La ciencia intenta defenderse de la injerencia comercial a través de la declaración de intereses a la que están obligados los autores. Aún así, sigue habiendo una gran cantidad de trabajos que no detallan sus fuentes de financiación (entre un 29% y un 33 %, según el estudio). Además se exige cada vez más haber registrado el estudio antes de empezarlo, de manera que quede constancia de aquéllos que no llegan a publicarse.

Son tantos los estudios que se publican que está aumentando el peso específico de los meta-análisis, los estudios de estudios, que reúnen la información publicada sobre un asunto determinado y la evalúan con ánimo de llegar a una conclusión. Estos meta-análisis también pueden estar sesgados o mal hechos. Existe un criterio para evaluar su calidad que se llama PRISMA. Los meta-análisis tienen que dejar claro qué criterio usan para seleccionar los trabajos, dónde los han buscado y deben indagar sobre el sesgo de publicación.

Creo que, a pesar de todo, se puede ser moderadamente optimista, porque la ciencia se esfuerza en ganar objetividad y creo que lo consigue. Todo un desprecio para ciertos sociólogos de la ciencia, como Latour, que han gastado tanta saliva en intentar convencernos de que la objetividad científica no existe.

Una respuesta a Busca lo positivo

  1. […] que hay resultados positivos en un 75% de los estudios (eso podría explicarse por el sesgo de publicación), pero reconocen que “ningún resultado positivo fue lo suficientemente estable como para ser […]

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s

A %d blogueros les gusta esto: