Según el metodólogo de la investigación R. Barker Bausell, “Los terapeutas de medicinas complementarias y alternativas (CAM, acrónimo en inglés) simplemente no evalúan -y la mayoría, de acuerdo a mi experiencia, no comprenden- el procedimiento científico”. Han visto la mejoría de sus pacientes, y eso es toda la “evidencia” que creen que necesitan. No precisan comprender que posiblemente han sido engañados por la falacia post hoc ergo propter hoc (después de esto, entonces, a consecuencia de esto). El paciente puede haber mejorado a pesar de su tratamiento y no a causa de éste. No entienden que el único modo confiable de saber si una terapia es efectiva es hacer un ensayo científico bien diseñado con un grupo de control. No valoran la ciencia, pero saben que el resto de nosotros sí lo hacemos, así que quieren hacer ciencia para convencernos de que están en lo cierto. Pero no comprenden cómo funciona la ciencia. Muy frecuentemente, sus intentos terminan en fiascos ridículos.

Un excelente ejemplo fue publicado hace poco en la revista Complementary Therapies in Medicine (Terapias Complementarias en Medicina). El título era “Medidas perioperativas pediátricas del sueño, dolor, ansiedad y la aparición de la anestesia: una prueba del toque sanador del concepto de un ensayo clínico randomizado”. El texto completo está disponible online. Puede servir como una lección sobre cómo no hacer ciencia.

El estudio

“El propósito de este estudio era determinar el impacto del toque sanador (HT, acrónimo en inglés) sobre el sueño, la ansiedad, la aparición de la anestesia y el dolor”. Los sujetos tenían entre 5 y 21 años de edad, programados para una operación optativa en un hospital pediátrico de quemados. Se distribuyeron al azar un total de cuarenta y un sujetos en cuatro grupos:

• HT, (diez sujetos). Un ritual elaborado de sesenta minutos efectuado por experimentados practicantes, una mezcla de ejercicios de imposición de manos y manos “flotantes”.
• Un simulacro de HT (doce sujetos). Asistentes sin experiencia o conocimiento en HT que habían observado a los practicantes del toque sanador e imitado los movimientos de sus brazos pero sin intención de curar.
• Control/con presencia (ocho sujetos). Los asistentes, que no estaban familiarizados con el HT solo se sentaron con el paciente durante una hora sin interacción.
• Control/sin presencia (once sujetos). Sin intervención. Se dejó a los pacientes solos en la habitación.

Los datos fueron recolectados mediante la polisomnografía (PSG), la ansiedad subjetiva y escalas de dolor, tests de laboratorio que los investigadores pensaran que medirían el estrés y la ansiedad, y una investigación de satisfacción.

Conclusión: “Aunque ninguno de los parámetros investigados mostró hallazgos estadísticamente significativos, los beneficios anecdóticos del HT incluyeron la relajación y el sueño saludable”.

Una lección sobre cómo no hacer ciencia

• Trate de probar algo imaginario. Yo lo llamo Ciencia del Ratón Pérez. Puede hacer un estudio científico sobre el Ratón Pérez —por ejemplo, midiendo cuánto dinero él le deja a los niños de familias ricas y a los de familias pobres, cuánto les paga a los primeros dientes comparados con los últimos dientes, o si les deja más dinero en una bolsita que en un diente envuelto en Kleenex. Usted puede llevar a cabo análisis estadísticos e imitar todos los signos de la ciencia. Puede obtener resultados que son reproducidos y estadísticamente significativos, y se puede convencer de que ha aprendido verdades valiosas sobre el comportamiento del Ratón Pérez. Pero usted no los tiene porque el Ratón Pérez no existe. Realmente usted ha estado estudiando el comportamiento de los padres y las costumbres populares.

Traducción: este estudio demostró que el HT no funcionó, pero vamos a olvidarnos de los hallazgos de nuestro estudio y continuar creyendo que funciona basado en evidencias anecdóticas más que en la ciencia.

Este estudio fue sobre el toque sanador, un tipo de medicina energética. Los autores explican que la medicina energética se “basa en el concepto de que hay una energía universal humana sujeta a desequilibrios y que un terapeuta puede remodelar el campo perturbado impartiendo con compasión energía sanadora a una persona para mejorar la salud”.

Deliberadamente no reconocen que no hay evidencia de que tal campo de energía humana exista y que el consenso de los científicos reputados es que la medicina energética es pseudocientífica.

• Use lenguaje no científico, incomprensible, sin comentarios. Los practicantes experimentados del HT usaban “ejercicios centrados en sí mismos”, “limpieza magnética para el campo energético del paciente”, “limpieza mental” e imposiciones de manos sobre varias partes del cuerpo incluyendo el “chakra raíz”. Se creó una atmósfera para que “el cuerpo entero pudiera estar conectado (chakra)”
• No se moleste en corregir su manuscrito respecto de su consistencia o corrección matemática. Un cuadro muestra que se  evaluó a 95 pacientes fueron para ser elegidos, con 44 excluidos y 41 randomizados (44 + 41 = 85, no 95). Dos sujetos fueron descartados por su excitabilidad o inhabilidad para completar la PSG, así que solo quedaron 39 pacientes. El informe establece de manera inconsistente que 39 o 41 sujetos fueron randomizados. Los tratamientos duraron supuestamente 60 minutos pero las maniobras que se usaron fueron descriptas con una duración de 10, 10, y 20 minutos, lo cual suma solo 40 minutos.
• Utilice sustitutos para finalizar. En un estudio sobre las intervenciones para prevenir ataques cardíacos, en lugar de seguir el devenir de los pacientes para ver cuántos tuvieron ataques cardíacos, solo chequee los niveles de colesterol u otras medidas conocidas correlacionadas con los ataques cardíacos. En este estudio, midieron el estrés y la ansiedad usando CRP sustitutos, vitamina D y niveles de glucosa; la evidencia que citan era un estudio individual que solo informaba sobre una correlación.
• Confunda correlación con causa. Si dos factores, A y B, están correlacionados, ello puede deberse a que A causa B, o porque B causa A, o porque ambos, A y B, son causados por un tercer factor C, o simplemente porque se debe a una coincidencia carente de significado como la correlación entre el número de piratas y el diagnóstico de autismo.

---

This article was originally available in English.
Click here to read it.

---

• Dele un giro positivo a los resultados negativos. La conclusión del estudio dice “Aunque los parámetros medidos no mostraron hallazgos estadísticamente significativos, los beneficios informales del  HT aumentaron la relajación y el buen sueño”. La discusión sobre los resultados de laboratorio dice, “si bien ninguna de estas diferencias fueron estadísticamente significativas, son clínicamente significativas”. No pueden ser clínicamente significativas si los resultados son negativos. Y ningún científico reputado sugeriría ignorar los resultados a favor de informes anecdóticos o informales. Incluso revisé un estudio cuya conclusión era, “Este tratamiento funciona pero este estudio fue incapaz de demostrarlo”.
• Use una muestra de tamaño inadecuado. De acuerdo con la lista de control de Bausell, un estudio creíble debería tener por lo menos cincuenta sujetos en cada grupo. Estos investigadores sabían que necesitarían 200 pacientes para detectar diferencias de manera confiable, pero tenían solo cuarenta y un pacientes. Así que sabían que no podrían obtener resultados confiables, pero perseveraron.
• Ignore las sospechas. Estos investigadores sorprendieron por su incapacidad para conseguir la cantidad de pacientes adecuada. ¿No les importó por qué la mayoría de los sujetos potenciales se negaron a participar? No vieron esto como un signo de sesgo que podía comprometer los resultados. Aquellos que estuvieron de acuerdo en participar pudieron haber considerado al HT más favorablemente, y sus informes subjetivos podrían estar sesgados.
• Refiérase a la evidencia proveniente de estudios de mala reputación. La referencia a la eficacia del HT para sanar está basada en un estudio de Daniel Wirth en el journal Subtle Energies (Energías Sutiles). Wirth fue encarcelado por fraude y muchos de sus estudios han sido rechazados. Otros estudios fallaron al tratar de confirmar los hallazgos de Wirth.
• No se preocupe por tratar de publicar su estudio en un journal prestigioso basado en la ciencia y la revisión por pares. Éstos no aceptan estudios de baja calidad. Pero hay montones de revistas de medicina alternativa y complementaria cuyos editores y revisores son menos rigurosos, y si todo falla, hay revistas que publican estudios si uno paga.
• Acepte controles imperfectos. Usted no puede dejar sin salida a los proveedores del HT, y no puede controlar sus intenciones. No hay forma de saber qué se propone un estafador y no hay evidencia de que la intención pueda hacer la diferencia.
• Pida siempre más investigación. Si los resultados son consistentemente negativos, usted puede alegar que el próximo estudio podría ser positivo si solo pudiera hacer otro estudio más amplio o hacer leves alteraciones en el protocolo. La investigación podría continuar interminablemente llevando a cabo una variación tras otra.

Otras formas de no hacer buena ciencia

Este estudio provee una pila de lecciones sobre cómo no hacer ciencia, pero la lista es más que exhaustiva. He aquí otras lecciones sobre cómo no hacer ciencia que he visto en otros estudios:

• De ninguna manera use un grupo de control. Si usted pone a prueba algo, es más probable que obtenga resultados positivos debido al efecto placebo.
• Utilice el formato A vs. A+B. Agregar cualquier cosa al tratamiento usual A o a un tratamiento general A le garantiza que B se vea mejor de lo que realmente es.
• No haga una encuesta para determinar si los pacientes hubieran podido adivinar en qué grupo estaban. Si pudieran adivinarlo, los procedimientos a doble ciego o los controles placebos serían defectuosos. Si los resultados son positivos no pregunte; usted no quiere saber si su estudio tiene fallas.
• Envíe solo resultados positivos para publicar. Deje los estudios con resultados negativos en el cajón.
• No informe sus propios sesgos. ¿El tratamiento que está estudiando se refiere a su propia práctica? ¿Podría reducir sus ingresos?
• Sustraiga alguna información para ver si puede suministrar un resultado positivo.
• Si usted tiene suficientes variables, algunas pueden ser positivas (falsas positivas) solo por casualidad, y de esa manera puede asegurar que ha tenido éxito.
• Haga estudios con animales. Éstos pueden ser más fáciles y más probables para producir resultados positivos, aunque esos resultados no sean relevantes para los seres humanos.
• Informe la significación estadística e insinúe que esto prueba que hay significación clínica cuando no la hay.
• Utilice pruebas estadísticas erróneas si es la única manera de hacer ver que sus resultados son positivos.
• Haga estudios pragmáticos sobre el rendimiento diario. Se supone que tales estudios nunca aseguran que un tratamiento funciona mejor que el placebo, y pueden hacer que un tratamiento no probado con placebos parezca mejor que un tratamiento basado en la evidencia.

Esto es solo el comienzo. A pesar de sus mayores esfuerzos, incluso los mejores científicos pueden confundirse con cosas que son contaminantes irreconocibles o por la manipulación consciente o inconsciente de los datos por parte de los técnicos. Y alguien que comienza haciendo buena ciencia luego puede caer en el fraude deliberado. Nosotros confiamos en la repetición y confirmación y no en los estudios individuales, porque hay muchas cosas que pueden salir mal en los estudios científicos incluso cuando sepamos cómo hacer ciencia. Y hay muchas, pero muchas cosas que pueden salir mal si usted no sabe cómo hacer ciencia. Puede que encuentre ejemplos sobre cómo hacer buena ciencia en publicaciones prestigiosas, como The New England Journal of Medicine. También puede encontrar cómo no hacer ciencia en cualquier revista de medicina alternativa y complementaria. No son buenas para comprender la realidad, pero son buenas para provocar una buena carcajada.