Cómo montar un estudio de validación externa para un CDSS sin quebrar

Llevo un tiempo viendo cómo muchos equipos que desarrollan sistemas de ayuda a la decisión clínica (CDSS) llegan a la fase de validación externa con más dudas que certezas. La regulación les pide demostrar seguridad y rendimiento clínico, pero cuando intentan diseñar el estudio se topan con preguntas incómodas: ¿qué endpoints mido?, ¿cuántos pacientes necesito?, ¿vale con datos retrospectivos o tengo que ir a prospectivo?, ¿cuánto va a costar esto?

Me pregunto si parte del problema es que muchos equipos piensan en la validación externa como si fuera una extensión del desarrollo técnico, cuando en realidad es otra disciplina. No basta con tener un modelo que funciona bien en tu dataset de entrenamiento. Necesitas demostrar que añade valor clínico en un entorno real, con pacientes reales, en manos de clínicos que no son tus colaboradores internos.

Voy a compartir lo que he ido aprendiendo sobre cómo montar un estudio de validación externa que sea factible, que cumpla con lo que exige tanto la revista médica como el organismo notificado, y que no te lleve a la quiebra en el intento.

Por qué la validación externa no es opcional

La validación interna te dice si tu modelo aprende bien de los datos con los que lo entrenaste. La validación externa te dice si funciona cuando sale de tu laboratorio. Para un CDSS clase IIa o IIb según el MDR europeo, el organismo notificado va a pedirte evidencia clínica robusta. Y esa evidencia, salvo en casos muy específicos, implica un estudio en el que el sistema se usa en condiciones reales.

He visto equipos que intentan saltarse este paso argumentando que "ya validamos con datos de varios hospitales". El problema es que validar con datos históricos de múltiples centros sigue siendo validación técnica. No te dice nada sobre cómo los clínicos van a usar tu herramienta, si van a confiar en sus recomendaciones, o si realmente cambia decisiones.

Observacional prospectivo: el punto de partida más realista

Cuando me preguntan qué diseño recomiendo para un primer estudio de validación externa, casi siempre apunto hacia lo mismo: observacional prospectivo, con cohorte control histórica o concurrente.

Un ensayo clínico aleatorizado (RCT) sería el gold standard, pero es caro, lento y requiere mucha infraestructura. Para un producto que aún no tiene tracción clínica, empezar por ahí es arriesgado. El observacional prospectivo te permite recoger datos en tiempo real, ver cómo los clínicos usan el sistema, y medir outcomes clínicos, todo sin el coste y la complejidad de randomizar pacientes.

La cohorte control puede ser histórica (pacientes tratados antes de implementar el CDSS) o concurrente (pacientes en los que el clínico no usa el sistema). Lo segundo es más limpio metodológicamente, pero más complicado de implementar. Lo primero es más factible, aunque tengas que ajustar por posibles diferencias temporales.

Endpoints clínicos vs. endpoints de modelo

Aquí es donde veo que muchos equipos se atascan. Tienen claro qué métricas técnicas medir (sensibilidad, especificidad, AUC), pero les cuesta definir qué outcome clínico van a usar como endpoint primario.

Un endpoint de modelo te dice si tu algoritmo predice bien. Un endpoint clínico te dice si tu sistema mejora la salud del paciente. Para el organismo notificado, lo segundo importa más. Para la revista médica, ambos importan.

Ejemplos de endpoints clínicos que he visto funcionar bien:

• Tiempo hasta el diagnóstico correcto
• Tasa de errores de medicación
• Número de pruebas diagnósticas innecesarias
• Tiempo de estancia hospitalaria
• Reingresos a 30 días
• Mortalidad (si el CDSS apunta a decisiones críticas)

El endpoint tiene que ser medible, relevante para el caso de uso, y sensible al efecto que esperas. Si tu CDSS ayuda a detectar sepsis temprana, un endpoint razonable podría ser el tiempo hasta el inicio de antibiótico. Si ayuda a ajustar dosis de anticoagulantes, podrías medir eventos hemorrágicos o tromboembólicos.

Lo que no funciona es medir solo "número de veces que el clínico sigue la recomendación del sistema". Eso no es un outcome clínico, es un indicador de adopción.

Tamaño muestral: entre la potencia estadística y lo que puedes costear

El cálculo del tamaño muestral depende del endpoint primario, la diferencia mínima clínicamente relevante que quieras detectar, y la potencia estadística que te exijan (normalmente 80% con un alfa de 0.05).

He visto estudios con 200 pacientes que funcionan, y otros con 1.000 que se quedan cortos. No hay una regla universal. Pero sí hay una realidad práctica: cuanto más ambicioso sea el endpoint (mortalidad, eventos raros), más pacientes vas a necesitar.

Si tu presupuesto es limitado, mejor un estudio más pequeño con un endpoint intermedio bien elegido, que un estudio enorme con un endpoint que no vas a poder detectar. Un estudio con 300 pacientes que demuestre reducción del tiempo de diagnóstico es más útil que uno con 1.000 pacientes que no alcanza significancia en mortalidad.

Consentimiento informado: cuándo lo necesitas

Esto depende del diseño. Si estás haciendo un estudio observacional retrospectivo con datos anonimizados, muchos comités de ética te van a dar una exención de consentimiento. Si estás recogiendo datos prospectivos pero el CDSS no cambia la práctica clínica (solo observas qué habría recomendado), también puede aplicar la exención.

Pero si el CDSS va a influir en decisiones reales, o si vas a recoger datos adicionales específicos para el estudio, entonces sí necesitas consentimiento informado. Y eso añade complejidad logística: alguien tiene que explicar el estudio al paciente, recoger el consentimiento, y gestionarlo según GDPR.

Me pregunto si parte de la resistencia que veo a hacer estudios prospectivos viene de subestimar el esfuerzo que implica el consentimiento informado. No es solo el papel, es el tiempo del personal clínico y el porcentaje de pacientes que van a rechazar participar.

Costes típicos: orden de magnitud

No voy a inventar cifras exactas porque dependen del país, del centro, del diseño. Pero puedo darte un orden de magnitud de lo que he visto en estudios pequeños-medianos en Europa:

• Monitor clínico o data manager a tiempo parcial: entre 20.000 y 40.000 euros al año
• Aprobación del comité de ética: entre 500 y 3.000 euros según el centro
• Seguro de responsabilidad civil (si aplica): entre 2.000 y 10.000 euros
• Honorarios del investigador principal: variable, a veces incluido en el presupuesto del centro
• Análisis estadístico externo: entre 5.000 y 15.000 euros
• Publicación en revista open access: entre 2.000 y 4.000 euros

Un estudio observacional prospectivo con 300 pacientes, en un solo centro, sin randomización, puede costar entre 50.000 y 100.000 euros. Si añades más centros, si vas a prospectivo con randomización, si necesitas seguimiento largo, los costes se duplican o triplican.

Qué se acepta en revista médica vs. qué exige el notified body

Aquí hay un matiz que me parece importante. Una revista médica va a valorar diseño robusto, análisis estadístico correcto, transparencia en las limitaciones. Si tienes un estudio pequeño pero bien hecho, con un endpoint clínico relevante y resultados honestos, puedes publicar en una revista decente.

El organismo notificado, en cambio, va a valorar sobre todo si tu evidencia demuestra seguridad y rendimiento clínico conforme al uso previsto. No necesariamente tiene que estar publicado, pero tiene que cumplir con buenas prácticas clínicas (GCP) y tener un protocolo aprobado por un comité de ética.

En la práctica, lo ideal es diseñar un estudio que cumpla ambos criterios. Pero si tienes que elegir, mejor un estudio que pase el organismo notificado aunque no llegue a publicarse en NEJM, que un estudio bien publicado que no te sirve para la certificación.

Mis dudas sobre dónde poner el listón

Algo que sigo sin tener claro es dónde está el punto de equilibrio entre rigor metodológico y viabilidad comercial. He visto startups que se meten en estudios multicéntricos aleatorizados desde el día uno y acaban sin runway antes de tener resultados. También he visto equipos que publican estudios observacionales en un solo centro, consiguen el marcado CE, y luego les cuesta escalar porque los hospitales grandes les piden más evidencia.

Me pregunto si la respuesta no es ir por fases: validación externa básica para el organismo notificado, luego estudios más ambiciosos a medida que crece la adopción. Pero eso implica asumir que tu primer estudio no va a ser definitivo, solo suficiente.

¿Te ha resultado útil?

Si estás diseñando un estudio de validación externa y quieres comentar el enfoque, o si ves algo en tu contexto que no encaja con lo que he compartido aquí, escríbeme. Siempre aprendo de estas conversaciones. Puedes contactarme en /contacto.