Un estudio realizado por investigadores de la Facultad de Medicina Icahn de Mount Sinai ha identificado estrategias para utilizar modelos de lenguaje grandes (LLM), un tipo de inteligencia artificial (IA), en sistemas de salud manteniendo al mismo tiempo la rentabilidad y el rendimiento.
Resultados, publicados en la edición en línea del 18 de noviembre Medicina digital NPJProporciona información sobre cómo los sistemas de salud pueden utilizar herramientas avanzadas de IA para automatizar tareas de manera eficiente, ahorrar tiempo y reducir los costos operativos, y garantizar que estos modelos sigan siendo confiables incluso con grandes cargas de tareas.
“Nuestros resultados proporcionan una hoja de ruta para que los sistemas de atención médica integren herramientas avanzadas de inteligencia artificial para automatizar tareas de manera eficiente, reducir potencialmente los costos de las llamadas de interfaz de programación de aplicaciones (API) para LLM hasta 17 veces y permanecer estable bajo cargas de trabajo pesadas. El rendimiento puede ser garantizado”. -Escritor principal Girish N. Nadkarni, MD, MPH, Irene y el Dr. arturo m. Fishberg es profesor Icahn de Medicina en Mount Sinai, director del Instituto Charles Bronfman de Medicina Personalizada y jefe del Departamento de Medicina Digital y Basada en Datos (D3M) del Mount Sinai Health System.
Los hospitales y los sistemas de salud generan grandes cantidades de datos todos los días. Los LLM, como GPT-4 de OpenAI, ofrecen formas prometedoras de automatizar y optimizar los flujos de trabajo al admitir diversas tareas. Sin embargo, estos modelos de IA son costosos de ejecutar de forma continua, lo que plantea una barrera financiera para su uso generalizado, dicen los investigadores.
“Nuestro estudio fue motivado por la necesidad de encontrar formas prácticas de reducir costos manteniendo la eficiencia para que los sistemas de salud puedan usar LLM a escala con confianza. Configuramos estos modelos para ‘pruebas de estrés’, evaluando qué tan bien realizan múltiples tareas simultáneamente. e identificar estrategias que mantengan el rendimiento alto y los costos manejables”, dijo el primer autor Yaal Klang, MD, director del Programa de Investigación de IA Generativa en el D3M de Icahn en Mount Sinai.
El estudio implicó probar 10 LLM con datos de pacientes reales, examinando cómo cada modelo respondía a una variedad de preguntas clínicas. El equipo realizó más de 300.000 pruebas, aumentando gradualmente la carga de tareas para evaluar cómo los modelos manejaban las crecientes demandas.
Además de medir la precisión, el equipo evaluó el cumplimiento del modelo con las directrices clínicas. A continuación se realiza un análisis económico que revela que agrupar tareas puede ayudar a los hospitales a reducir los costos relacionados con la IA manteniendo intacto el rendimiento del modelo.
El estudio encontró que al agrupar específicamente 50 tareas clínicas, como emparejar pacientes para ensayos clínicos, formar equipos de investigación, extraer datos para estudios epidemiológicos, revisar la seguridad de los medicamentos e identificar pacientes elegibles para exámenes de salud preventivos, los LLM pueden gestionarlas simultáneamente. sin una caída significativa en la precisión. Este enfoque de agrupación de tareas sugiere que los hospitales pueden optimizar los flujos de trabajo y reducir los costos de API 17 veces, ahorros que podrían ascender a millones de dólares por año para sistemas de salud más grandes, haciendo que las herramientas avanzadas de IA sean más viables financieramente.
“Reconocer el punto en el que estos modelos comienzan a tener problemas bajo una carga cognitiva pesada es esencial para mantener la confiabilidad y la estabilidad operativa. Nuestros hallazgos resaltan un camino práctico para integrar la IA generativa en los hospitales y abren la puerta a una mayor investigación de las capacidades de LLM en el mundo real. “limitaciones mundiales”, dijo el Dr. Nadkarni.
Un descubrimiento inesperado, dicen los investigadores, es cómo incluso los modelos avanzados como GPT-4 muestran signos de tensión cuando se los lleva a sus límites cognitivos. En lugar de errores menores, el rendimiento del modelo se degradará inesperadamente bajo estrés periódico.
“Esta investigación tiene implicaciones significativas sobre cómo se puede integrar la IA en los sistemas de atención médica. Agrupar tareas para los LLM no sólo reduce los costos sino que también conserva recursos que pueden dirigirse mejor a la atención al paciente”, afirmó el coautor David L. Rich, MD, director clínico del Mount Sinai Health System; Presidente del Hospital Mount Sinai y Mount Sinai Queens; Profesor Horace W. Goldsmith de Anestesiología; y profesor de Inteligencia Artificial y Salud Humana, y Patología, Medicina Molecular y Celular, en Icahn Mount Sinai. “Y al reconocer los límites cognitivos de estos modelos, los proveedores de atención médica pueden maximizar la utilidad de la IA y al mismo tiempo minimizar el riesgo, garantizando que estas herramientas sigan siendo un apoyo confiable en entornos de atención médica críticos”.
A continuación, el equipo de investigación planea probar cómo funcionan estos modelos en un entorno clínico en tiempo real, gestionando cargas de trabajo reales de pacientes e interactuando directamente con los equipos de atención médica. Además, el equipo tiene como objetivo probar modelos emergentes sobre si los umbrales cognitivos cambian a medida que avanza la tecnología, trabajando hacia un marco confiable para la integración de la IA en el cuidado de la salud. En última instancia, afirman, su objetivo es dotar a los sistemas sanitarios de herramientas que equilibren la eficiencia, la precisión y la rentabilidad, mejorando la atención al paciente sin introducir nuevos riesgos.