No se moleste en publicar hasta que haya hecho una “replicación interna”.

Un valor p bajo no prueba la hipótesis y puede ocurrir incluso si la hipótesis que se está probando es falsa. Usar un punto de corte para la significación también es una dicotomía falsa; en realidad, los valores p son un continuo. Hay muchos otros aspectos de los datos que son tan o más importantes que los valores p, como los tamaños del efecto, la reproducibilidad, los intervalos de confianza y un análisis bayesiano de probabilidad.

Confiar en un límite arbitrario para la importancia también fomenta el p-hacking, explotando los grados de libertad del investigador para llevar los resultados a la línea de meta. Los valores P en sí mismos no son muy reproducibles. Si realiza el mismo estudio varias veces, obtendrá un rango de valores p, entonces, ¿cuál es el correcto? Al final, los valores de p por sí solos no nos dicen mucho sobre la realidad de la hipótesis.

En respuesta a la creciente conciencia de los muchos problemas con los valores p y la excesiva confianza en la “significación” arbitraria, se han propuesto varias soluciones. Algunas revistas simplemente han prohibido los valores de p. No publicarán estudios que se basen en ellos y alentarán el uso de análisis estadísticos más completos. Otros han propuesto reducir el límite de significación, de 0,05 a 0,005 por ejemplo, para al menos reducir los falsos positivos (aunque esto aumentaría los falsos negativos).

Este nuevo comentario propone otra solución más: mantenga el valor p, pero elimine un límite arbitrario para la significación estadística. En su lugar, agregue un análisis estadístico más completo.

¿Qué significan todos estos argumentos estadísticos torcidos para el laico promedio que solo quiere saber si comer chocolate los ayudará a perder peso (no lo hará)? La gran conclusión es: no equiparar la significación estadística con que la hipótesis sea cierta. Date cuenta de que la mayoría de estos estudios son, en última instancia, erróneos. Espere a que un experto ponga los resultados en contexto. Piense en cosas como la plausibilidad: ¿tienen sentido los resultados?

Con todo esto en mente, volvamos al estudio de los pesticidas y el autismo. Lo que hicieron fue recopilar datos de los registradores sobre el uso de pesticidas y también diagnósticos de autismo e hicieron algunos análisis estadísticos sofisticados (si quieres saberlo, hicieron un análisis de regresión logística multivariable). Ellos encontraron:

El riesgo de trastorno del espectro autista se asoció con la exposición prenatal a glifosato (odds ratio 1,16, intervalo de confianza del 95 % 1,06 a 1,27), clorpirifos (1,13, 1,05 a 1,23), diazinón (1,11, 1,01 a 1,21), malatión (1,11, 1,01 a 1.22), avermectina (1.12, 1.04 a 1.22) y permetrina (1.10, 1.01 a 1.20). Para el trastorno del espectro autista con discapacidad intelectual, los cocientes de probabilidades estimados fueron más altos (alrededor del 30 %) para la exposición prenatal al glifosato (1,33, 1,05 a 1,69), clorpirifos (1,27, 1,04 a 1,56), diazinón (1,41, 1,15 a 1,73), permetrina (1,46, 1,20 a 1,78), bromuro de metilo (1,33, 1,07 a 1,64) y miclobutanil (1,32, 1,09 a 1,60); la exposición en el primer año de vida aumentó las probabilidades de trastorno con discapacidad intelectual comórbida hasta en un 50% para algunas sustancias pesticidas.

Los informes de los principales medios de comunicación redujeron todo esto a: el glifosato causa autismo. Pero hay numerosas advertencias con este estudio, y se suman al hecho de que no podemos concluir mucho a partir de estos datos. Lo primero que noté fue que las razones de probabilidades eran bastante pequeñas, por lo que el tamaño del efecto aquí es relativamente pequeño. Dado que este es un estudio observacional basado en la población, eso significa que hay muchos factores potenciales de confusión. Los autores tratan de controlar los obvios que se les ocurren, pero es imposible pensar en todos. Además, cuanto menor sea el tamaño del efecto, más sutil será el factor de confusión y más difícil será controlarlo.

Sin embargo, hay un problema mayor que pone en duda los propios resultados estadísticos. Al mirar los datos, otra pregunta que me vino a la mente rápidamente fue: ¿cuántas comparaciones diferentes hicieron en realidad? Bueno, la primera respuesta al estudio publicado por The BMJ tenía la respuesta. John Tucker, PhD señaló:

En un ejemplo de libro de texto de prueba de hipótesis múltiples, los autores examinaron los efectos de la exposición estimada a 11 pesticidas diferentes durante 3 períodos de desarrollo diferentes contra dos resultados de desarrollo adversos diferentes. De entre los 66 criterios de valoración evaluados, concluyen que la exposición prenatal a 6 de estos pesticidas está asociada con un aumento del 10-20 % en el riesgo de trastorno de autismo, y que la exposición prenatal a una lista parcialmente superpuesta (3 de 6) está asociada con el trastorno de autismo con discapacidad intelectual.

Este es uno de los “grados de libertad del investigador” que Simmons et. Alabama. advirtió en su artículo seminal. Esto también es extremadamente común en los artículos científicos: los investigadores analizan muchos datos desde muchos ángulos diferentes hasta que encuentran algo interesante y luego lo publican. Esto está bien si solo está generando hipótesis en un estudio preliminar, pero los datos en realidad no significan nada hasta que confirme los resultados con datos nuevos. De hecho, hay cada vez más un llamado a los investigadores para que hagan precisamente eso de manera más rutinaria. No se moleste en publicar hasta que haya hecho una “replicación interna”. De lo contrario, simplemente inundamos la literatura científica con falsos positivos de datos de minería para cualquier correlación coincidente.

Entonces, al final, tenemos un artículo que usó comparaciones múltiples para encontrar tamaños de efecto muy pequeños, lo que es muy probable que sea un hallazgo falso que no se replicará. Pero no importa, porque los ideólogos ya se han apoderado de este papel como reivindicación de los males del glifosato e incluso de los transgénicos (aunque esto no tenga nada que ver con los transgénicos). Explicar por qué es probable que los resultados no sean confiables en su mayoría hace que los ojos de las personas se pongan vidriosos. (La gente me ha dicho que tan pronto como menciono los valores p se desconectan).

Claramente, estos problemas estadísticos deben ser resueltos por científicos y estadísticos, y no por el público en general o incluso por los medios de comunicación. Al menos el problema se reconoce y se discute, y se ofrecen posibles soluciones. Claramente, las instituciones científicas deben analizar detenidamente todo el tema de los valores p y la significación estadística y cómo se usan y se informan en la investigación.

Autor

steven novela

Fundador y actualmente editor ejecutivo de Science-Based Medicine Steven Novella, MD es un neurólogo clínico académico de la Facultad de Medicina de la Universidad de Yale. También es el presentador y productor del popular podcast científico semanal The Skeptics’ Guide to the Universe, y el autor de NeuroLogicaBlog, un blog diario que cubre noticias y temas de neurociencia, pero también ciencia general, escepticismo científico, filosofía de la la ciencia, el pensamiento crítico y la intersección de la ciencia con los medios y la sociedad. El Dr. Novella también produjo dos cursos con The Great Courses y publicó un libro sobre pensamiento crítico, también llamado The Skeptics Guide to the Universe.

Ya en 2006, solía escribir mensualmente sobre las advertencias de la FDA de EE. UU. sobre los suplementos para la disfunción eréctil que se encontraban adulterados con medicamentos recetados como el sildenafil, el inhibidor de la fosfodiesterasa-5 que se encuentra en Viagra. Estos episodios de adulteración plantearon la pregunta de cuántos informes anecdóticos de productos a base de hierbas que “funcionaban” tenían que ver con que contenían medicamentos aprobados.

Esta práctica era tan común que la FDA creó un sitio en 2008 dedicado a este problema: Riesgos ocultos de los “tratamientos” para la disfunción eréctil que se venden en línea. De hecho, estos productos se encontraban más comúnmente en los minoristas en línea y no en las tiendas naturistas. Otras prácticas similares incluyen la adición de esteroides anabólicos a los suplementos para el culturismo y la adulteración de los suplementos para la pérdida de peso con sibutramina (anteriormente Meridia), un anorectante retirado del mercado el año pasado después de mostrar una mayor incidencia de ataques cardíacos y accidentes cerebrovasculares en pacientes con enfermedades cardiovasculares preexistentes.

AHPA ha expresado públicamente su apoyo a las acciones de la FDA contra los comercializadores de productos que se hacen pasar por suplementos dietéticos pero que contienen ingredientes ilegales. AHPA alienta a la FDA a usar su autoridad reguladora para responsabilizar a quienes violan la ley y ponen en peligro la confianza del público, incluidos todos los medios legales para hacer cumplir la ley.

La iniciativa parece haber sido efectiva. Esta semana, la organización de pruebas independiente ConsumerLab.com informó que las pruebas de 11 productos de “mejora sexual” no revelaron adulteración con medicamentos recetados. Por otro lado, la organización mostró que, “[c]uestros productos contenían menos de un ingrediente clave que lo declarado en la etiqueta, un producto estaba contaminado con un nivel inaceptable de plomo y dos productos carecían de la información requerida por la FDA en su etiquetado .”

Adulteración por motivos económicos

Esta semana también se prestó más atención a otro problema: los suplementos herbales que contienen materiales vegetales menos costosos, algunos de los cuales pueden causar daño hepático. Un grupo del Departamento de Agricultura de EE. UU. ha publicado un método analítico para detectar la adulteración de Scutellaria lateriflora L. (escutelaria americana) con dos especies de germander, una planta bien conocida por contener compuestos bioactivados por el citocromo P450 para reaccionar con sustancias químicas que dañan el hígado. El grupo del bioquímico de la Universidad de Vanderbilt, Larry Marnett, mostró en un elegante artículo de investigación química en toxicología de 2007 cómo se activa el compuesto teucrina A del germander e identificó proteínas clave en el hígado que son químicamente atacadas por el metabolito reactivo.

Los suplementos de escutelaria normalmente se toman para aliviar la ansiedad y, de hecho, contienen compuestos de flavona que se unen al sitio de la benzodiazepina en los receptores GABAA como algunos medicamentos recetados. Sin embargo, a la hierba no le ha ido bien en los ensayos clínicos para la actividad contra la ansiedad.

Bueno, ¿cómo es esto para aumentar la ansiedad? En el estudio actual del USDA, se probaron 13 productos de Scutellaria lateriflora utilizando el nuevo método y se encontró que cuatro contenían teucrina A, lo que indica que los productos contenían germander.

Pero esto es aparentemente una noticia vieja. En un artículo de NutraIngredients USA que discutió los hallazgos del documento, el fundador y director ejecutivo del American Botanical Council, Mark Blumenthal, calificó el hallazgo como “decepcionante, pero de ninguna manera sorprendente”, y señaló que,

Muchos expertos en la comunidad de las hierbas conocen esta identificación errónea desde hace muchos años, dijo. “¡ABC publicó un artículo del botánico Steven Foster sobre este problema en HerbalGram en el otoño de 1985! Foster citó este problema como algo que ha existido durante décadas.

De hecho, uno puede encontrar en el sitio web de ABC una bonita monografía de Gayle Engles sobre la historia del uso de la escutelaria y los casos de hepatotoxicidad humana de la década de 1980.

El uso de materiales más baratos en productos farmacéuticos y suplementos salió a la luz con la melamina utilizada para aumentar artificialmente el contenido aparente de proteínas en alimentos para mascotas y productos de fórmula infantil en China. En 2009, el Consejo para la Nutrición Responsable emitió una declaración sobre el problema de la adulteración por motivos económicos en la industria de los suplementos. Si bien las nuevas pautas de Buenas Prácticas de Manufactura para la industria estaban destinadas a abordar este problema, el documento analítico actual del USDA nos dice que es necesaria una aplicación más estricta de las reglas.

Hasta entonces, tenga cuidado al tomar hierbas para la ansiedad. Porque eso es exactamente lo que podrías obtener.

Autor

David J Kroll

¿Están las agujas en puntos de acupuntura?

Esta semana hubo una discusión del Dr. Ernst sobre “El mito más importante sobre la acupuntura”. Fue en respuesta a una entrada de blog en Acupuncture Now Foundation que sugirió

El mito más importante que debe ser eliminado es la idea promovida por un pequeño grupo de críticos vocales de que la acupuntura no es más que un placebo.

Bueno, no, eso no es un mito. La acupuntura es un placebo.

El Dr. Ernst no cree que el efecto placebo sea el mayor mito de la acupuntura:

Entonces, ¿cuál ES el mito más importante sobre la acupuntura? No estoy seguro y, a diferencia de ANF, no siento que pueda hablar por el resto del mundo, pero uno de los mitos más grandes PARA MÍ es cómo los fanáticos de la acupuntura constantemente logran engañar al público.

Me gusta su respuesta, pero con el debido respeto al Dr. Ernst, no estoy de acuerdo. Teniendo un ego Beeblebroxiano, sé y puedo, y lo haré, hablar por el resto del mundo.

Meta muchos análisis que opinionesdeproductos.top no me gustaron

Leí muchos metanálisis, tanto para el trabajo como para mi pasatiempo aquí en SBM. Siempre es bueno pensar en lo que se incluye en el metanálisis. Son diferentes a las salchichas y las leyes, ya que realmente necesita saber cómo se elaboran.

Por ejemplo, considere los efectos de las estatinas. Las estatinas son prácticamente intercambiables desde un punto de vista mecánico y son comparables.

¿Bloqueadores beta? No tanto. Los bloqueadores beta son un poco más variables en sus efectos, por lo que sería cauteloso con un metanálisis que comparara ß1, ß2 y aquellos con propiedades beta agonistas y dependería de la fisiopatología tratada, hipertensión o infarto o migraña.

¿Infecciones? El uso de nafcilina, ciprofloxicina o metronidazol es muy diferente. No puedo pensar en ningún proceso en el que tenga sentido comparar estos tres antibióticos en un metanálisis para cualquier proceso: “Un metanálisis revisión sistemática de antibióticos para la meningitis” sería ridículo.

A los defensores de la acupuntura les gusta usar metanálisis favorables como evidencia de eficacia. Por ejemplo, tome “La acupuntura como intervención para reducir la dependencia del alcohol: una revisión sistemática y un metanálisis”. Por favor.

Ellos:

tuvo como objetivo determinar la efectividad de la acupuntura para reducir la dependencia del alcohol según lo evaluado por los cambios en el anhelo o los síntomas de abstinencia.

Y después de revisar 15 ECA, llegó a la conclusión de que:

la acupuntura fue potencialmente eficaz para reducir las ansias de alcohol y los síntomas de abstinencia y podría considerarse como una opción de tratamiento adicional o una opción de derivación dentro de los sistemas nacionales de asistencia sanitaria.

Por supuesto, los estudios fueron de mala calidad metodológica. Ese es casi siempre el caso de los estudios pseudomédicos.

Pero he aquí una observación.

Sobre las muchas variedades de acupuntura

A lo largo de la mayor parte del artículo, discuten la acupuntura como si fuera una intervención única, similar a cómo la penicilina VK es una intervención única para la faringitis estreptocócica.

Pero no hay acupuntura. He contado docenas y docenas de diferentes estilos de acupuntura. Sospecho que en realidad hay tantos estilos de acupuntura como acupunturistas y que si no se les impusiera una intervención mediante un protocolo de estudio, dos acupunturistas nunca pincharían de la misma manera.

¿Y por qué lo harían? Después de todo, las modalidades de diagnóstico de la Pseudo Medicina Tradicional China (TCPM) (evaluación del pulso y la lengua) no se basan en la realidad sino en las ilusiones del médico.

Y también es cierto en este metanálisis.

Comparan 4 tipos diferentes de acupuntura (acupuntura, acupuntura auricular, electroacupuntura auricular y electroacupuntura) como si fueran todos iguales.