Introducción

Como ya se ha comentado en el apartado 5 del manual, existen distintos diseños de estudios en función del tipo de pregunta. Sin embargo, es frecuente utilizar estudios con diferentes diseños para responder a una misma pregunta. Por ejemplo, para valorar si es adecuado utilizar corticoides inhalados en el asma leve persistente, se tendrá que valorar la eficacia a través de ensayos clínicos que incluyan la frecuencia de exacerbaciones como variable de resultado. No obstante, para valorar otros resultados que ocurren con menos frecuencia, pero igualmente importantes, como fracturas o cataratas, será necesario localizar estudios de cohortes o de casos y controles, ya que son diseños más apropiados para detectar efectos adversos poco frecuentes. En este manual, para la evaluación de la evidencia científica se ha optado por el uso de plantillas de lectura crítica ("checklist") que valoran la información localizada en términos de calidad metodológica para los distintos diseños (validez interna), la magnitud y la importancia clínica de los resultados y su aplicabilidad a unas circunstancias clínicas concretas. El resultado de esta evaluación determinará la calidad de la evidencia científica que, a su vez, será un componente fundamental en el grado o fuerza de la recomendación.

En las plantillas de lectura crítica, algunos aspectos de la evaluación de la evidencia científica son comunes para todos los tipos de diseño de estudios. Así, en todas ellas se valora si el estudio plantea una pregunta precisa y claramente formulada, la importancia clínica de las variables de resultado, la descripción de los resultados o su aplicabilidad a un contexto determinado.

A continuación se describen brevemente los tres componentes de la evaluación de la evidencia científica:

1. Validez interna: este término se refiere al rigor de un estudio, es decir, hasta qué punto el modo en que ha sido diseñado y realizado nos permite estar razonablemente convencidos de que sus resultados reflejan el verdadero efecto de la intervención. Otra forma de expresarlo es hasta qué punto los resultados están libres de sesgos. De hecho, existen datos empíricos que muestran cómo los errores en el diseño y en la ejecución de los estudios producen un sesgo en sus resultados1¹,².
2. Resultados: La interpretación de los resultados de un estudio no debe basarse únicamente en la existencia o no de significación estadística. La precisión de los resultados indicada a través de los intervalos de confianza, o la valoración de la importancia y de la magnitud de los resultados para los pacientes, son componentes esenciales de la lectura crítica. También deben valorarse los estimadores de efecto. Por ejemplo, en los ensayos clínicos los resultados deben interpretarse tanto en términos de medidas absolutas de riesgo (reducción absoluta del riesgo, RAR; número necesario de pacientes a tratar o dañar, NNT y NNH) como relativas (riesgo relativo, RR, o la reducción relativa de riesgo, RRR). Si se trata de un estudio de pruebas diagnósticas, además de valorar la sensibilidad y especificidad, es conveniente expresar sus resultados en forma de valores predictivos y coeficientes de probabilidad. Existen calculadoras que pueden ser de gran ayuda para estimar estos parámetros cuando el artículo no los proporciona³.
3. Aplicabilidad: se refiere a la medida en que los resultados del estudio se pueden extrapolar a los pacientes diana de la guía. Esto implica preguntarse hasta qué punto los pacientes estudiados y las intervenciones que se van a comparar se parecen a nuestros pacientes y a las terapias de las que se dispone. Si las diferencias entre los pacientes del estudio y los nuestros son importantes (por ejemplo, porque son pacientes de mayor riesgo, o en estadios más avanzados, o el medio es hospitalario, etc.) los resultados pueden no ser directamente aplicables. Lo mismo puede ocurrir con las intervenciones. Por ejemplo, cuando se evalúan programas educativos impartidos por profesionales especializados y en nuestro medio no disponemos de esta especialización, o si son intervenciones no accesibles en nuestro medio (terapias conductuales para el insomnio, podólogos para el cuidado del pie diabético, etc.).

Además de los ya "clásicos" sesgos relacionados con la propia metodología de los estudios (como la distribución aleatoria de los grupos, el enmascaramiento o el cálculo del tamaño de muestra en los ensayos clínicos) que se describen en los textos de referencia sobre metodología de la investigación o lectura crítica, se añaden otras dificultades cada vez más frecuentes que afectan a aspectos como la elección de las variables de resultado, la utilización de comparadores inadecuados o la forma en que se presentan los resultados. En el apartado de "bibliografía recomendada", se proponen algunos artículos recientes que abordan estos aspectos para el ensayo clínico, la revisión sistemática y los estudios de pruebas diagnósticas. En la evaluación de la evidencia científica es necesario tener muy presente las nuevas formas de sesgo y las propuestas para evaluarlas, por ejemplo los estudios con variables compuestas⁴, los ensayos clínicos que se detienen prematuramente por razones de eficacia⁵ o el análisis de subgrupos⁶.

En el Anexo 11 (versión pdf, 117 kb) se resumen los distintos tipos de estudio y los principales aspectos metodológicos.

ir arriba

6.1. Evaluación crítica de los estudios

Existen distintas plantillas de lectura crítica desarrolladas por diversas organizaciones, algunas de ellas en castellano. En nuestro medio, las más utilizadas son las de CASPe³ (Critical Appraisal Skills Programme España, Programa de habilidades en lectura crítica de España), SIGN⁷ o las de Osteba⁸ (Agencia de Evaluación de Tecnologías Sanitarias del País Vasco). Todas ellas son similares en su contenido, ya que se basan fundamentalmente en la serie de la revista JAMA "Guías para usuarios de la literatura médica" (las versiones anteriores a esta publicación están disponibles en http://www.cche.net/usersguides/main.asp), publicada posteriormente como libro⁹. Como se ha comentado previamente, además de utilizar estas guías clásicas es conveniente incorporar nuevos elementos en la evaluación de la evidencia científica, a medida que se va detectando y valorando el impacto de nuevas formas de sesgos^4-6,¹⁰10. Las guías de Montori y cols.¹⁰,¹¹ constituyen una referencia importante este sentido.

El grupo elaborador de la guía puede elegir qué plantilla de lectura crítica utilizar, en función de su familiarización con ella. Las plantillas de CASPe están disponible en castellano y son de libre acceso en la web, las de SIGN están disponibles en castellano (ver Anexo 12-a (versión pdf, 341 kb)) y las de Osteba se encuentran implementadas en un software de libre acceso que permite dos salidas: una como ficha de lectura crítica del artículo y otra como una tabla de evidencia que resume los distintos estudios sobre el mismo tema. En este manual se ha optado por incluir las fichas del SIGN, utilizadas en diversas GPC realizadas en España y también se incluye, en el anexo 12-b (versión pdf, 341 kb), la ficha para series de casos de Osteba ⁸ ya que el SIGN no cuenta con plantilla para este tipo de estudio.

La evaluación de la calidad de GPC se puede llevar a cabo mediante el Instrumento AGREE (ver Anexo 1 (versión pdf, 81 kb)). Si el grupo elaborador de la guía ha decidido seguir un proceso metodológico mixto de adaptación y elaboración de novo, utilizando otras guías de calidad como fuentes secundarias de evidencia científica, es necesario también contrastar el contenido clínico de sus recomendaciones y decidir la estrategia que se seguirá con cada pregunta (ver Anexo 9 (versión pdf, 160 kb)).

Dado que el proceso de evaluación implica inevitablemente un cierto grado de juicio subjetivo, es recomendable que cada estudio sea evaluado de forma independiente al menos por dos miembros del grupo. En caso de producirse diferencias relevantes deberían ser discutidas con otros miembros del equipo. Algunas organizaciones como SIGN recomiendan, como comprobación adicional, que una muestra aleatoria de los artículos sea revisada por alguien ajeno al grupo.

El método SIGN proporciona un sistema sencillo para valorar la calidad general de los estudios según la capacidad de minimizar su riesgo de sesgo. Esta clasificación puede servir también si se usan plantillas diferentes a las de SIGN, como se observa en la tabla 6.1.

Tabla 6.1.Valoración general del estudio:

ir arriba

6.2. Síntesis de la evidencia científica

Una vez completada la evaluación de la calidad de la evidencia científica, el siguiente paso consiste en extraer los datos relevantes de los estudios cuyo riesgo de sesgo se ha considerado bajo o moderado (++ y +), y llevar a cabo un resumen de los estudios incluidos.

En contadas ocasiones, una sola revisión sistemática concluyente bien realizada o un ECA sin sesgos de un tamaño adecuado que haya abordado todos los aspectos importante de la pregunta que se trata de responder podrían ser suficientes para formular con confianza una recomendación. Sin embargo, habitualmente es necesario integrar la evidencia científica de estudios y diseños diferentes para responder a la pregunta clínica.

En cualquier caso, la realidad más frecuente es encontrar estudios con algún grado de incertidumbre (por ejemplo, con revisiones sistemáticas basadas en ensayos de baja calidad, o varios ensayos clínicos pequeños con algún problema metodológico o con resultados discordantes) o que no se encuentren estudios con los diseños más adecuados y se tengan que utilizar diseños menos sólidos (por ejemplo, un estudio observacional en lugar de un ECA para evaluar la eficacia de un programa de cribado) o basados en evidencias científicas de peor calidad o indirectas (por ejemplo, en un análisis de subgrupo o en un estudio realizado en un ámbito diferente al de la aplicación de la GPC).

Para sintetizar los estudios seleccionados se suelen emplear las denominadas Tablas de evidencia. Además de resumir las principales características y resultados de cada estudio, permite compararlos entre sí.

La tabla de evidencia debería incluir⁷:

• Breve descripción del estudio: datos bibliográficos del estudio, tipo de estudio y número de pacientes.
• Características de los pacientes/población y contexto de realización.
• Intervenciones y comparadores.
• Medidas de resultados utilizadas.
• Resumen de los resultados principales.
• Comentario sobre los problemas específicos del estudio.
• Valoración general del estudio (++,+, -).

En el Anexo 13 (versión pdf, 145 kb) se presenta una tabla de evidencia sobre el uso de los glucocorticoides inhalados en el tratamiento del asma leve persistente procedente de la GPC sobre asma, que describe los estudios sobre eficacia y sobre los efectos adversos sistémicos.

ir arriba

Lecturas recomendadas

• CASPe: Programa de habilidades en lectura crítica. Contiene herramientas para facilitar la lectura crítica de la literatura. 2002 [actualizada 4 de junio de 2007; consultada 5 de julio de 2007] Disponible en: http://www.redcaspe.org/homecasp.asp.
• Guyatt G,Rennie D. The Evidence-Based Medicine Working Group. Guías para usuarios de literatura médica. Manual para la práctica clínica basada en la evidencia. Barcelona: Ars Médica; 2004.
• Argimon Pallás JM, Jiménez Villa J. Métodos de investigación clínica y epidemiológica. 3ª edición. Madrid: Editorial Elsevier; 2004.
• Scott IA, Greenberg PB. Cautionary tales in the clinical interpretation of therapeutic trial reports. Intern Med J. 2005;35(10):611-21.
• Scott I, Greenberg P, Poole P, Campbell D. Cautionary tales in the interpretation of systematic reviews of therapy trials. Intern Med J. 2006;36(9):587-99.
• Scott IA, Greenberg PB, Poole PJ. Cautionary tales in the clinical interpretation of studies of diagnostic tests. Intern Med J. 2007 Jul 23; [Epub ahead of print].

Bibliografía

1. Schulz KF, Chalmers I, Hayes RJ, Altman DG. Empirical evidence of bias. Dimensions of methodological quality associated with estimates of treatment effects in controlled trials. JAMA. 1995; 273(5): 408-12.
2. Lijmer JG, Mol BW, Heisterkamp S, Bonsel GJ, Prins MH, van der Meulen JH, et al. Empirical evidence of design-related bias in studies of diagnostic tests. JAMA. 1999; 282(11): 1061-6.
3. Caspe. Programa de habilidades en lectura crítica España. 2002 [actualizada 4 de junio de 2007; consultada 5 de julio 2007] Disponible en: http://www.redcaspe.org/herramientas/index.htm.
4. Montori VM, Permanyer-Miralda G, Ferreira-Gonzalez I, Busse JW, Pacheco-Huergo V, Bryant D, et al.Validity of composite end points in clinical trials. BMJ. 2005; 330(7491): 594-6.
5. Montori VM, Devereaux PJ, Adhikari NK, Burns KE, Eggert CH, Briel M, et al. Randomized trials stopped early for benefit: a systematic review. JAMA. 2005; 294(17): 2203-9.
6. Schulz KF, Grimes DA. Multiplicity in randomised trials II: subgroup and interim analyses. Lancet. 2005; 365(9471): 1657-61.
7. Scottish Intercollegiate Guidelines Network .A guideline developers' handbook (n° 50). Edinburgh: SIGN; 2001.
8. López de Argumedo M, Rico R, Andrio E, Reviriego E, Hurtado de Saracho I, Asua J. OstFLCritica. Fichas de Lectura Crítica de la literatura científica. Vitoria-Gasteiz: Osteba-Servicio de Evaluación de tecnologías sanitarias. Departamento de Sanidad. Gobierno Vasco; 2006.
9. Gordon H. Guyatt, Drummond Rennie (eds). Users' Guides to the Medical Literature: A Manual for Evidence-Based Clinical Practice. American Medical Association Press, 2001.
10. Montori VM, Jaeschke R, Schunemann HJ, Bhandari M, Brozek JL, Devereaux PJ, et al. Users' guide to detecting misleading claims in clinical research reports. BMJ. 2004; 329(7474): 1093-6.
11. Montori VM, Busse JW, Permanyer-Miralda G, Ferreira I, Guyatt GH. How should clinicians interpret results reflecting the effect of an intervention on composite endpoints: should I dump this lump? ACP J Club. 2005;143(3):A8.

Figuras y tablas

Tabla 6.1. Valoración general del estudio (22 kb)

Anexos

Anexo 11. Valoración de la calidad de los distintos tipos de estudios (pdf, 117 kb)

Anexo 12. Plantillas de lectura crítica (pdf, 341)

Anexo 13. Tabla de evidencia. Uso de los glucocorticoides inhalados en el tratamiento del asma leve persistente. GPC de Asma. (pdf, 145 kb)