Científicos del Centro Alemán de Investigación del Cáncer (DKFZ), junto con médicos de la clínica urológica del Hospital Universitario de Mannheim, desarrollaron y probaron con éxito un chatbot basado en inteligencia artificial. “UroBot” pudo responder preguntas de exámenes de especialistas en urología con un alto grado de precisión, superando la precisión de otros modelos de lenguaje y urólogos experimentados. El modelo justifica sus respuestas en detalle con base en las pautas.
Con los avances en oncología personalizada, las pautas urológicas son cada vez más complejas. Ya sea en la junta de tumores, en la sala o en la práctica, un sistema de segunda opinión bien definido para decisiones médicas en urología puede ayudar a los médicos en una atención personalizada y basada en evidencia, especialmente cuando el tiempo o la capacidad son limitados.
Los modelos de lenguaje grande (LLM), como GPT-4, tienen la capacidad de recuperar conocimientos médicos y responder preguntas médicas complejas sin capacitación adicional. Sin embargo, su aplicabilidad en la práctica clínica a menudo se ve limitada por datos de capacitación obsoletos y falta de interpretabilidad. Para superar estos obstáculos, un equipo dirigido por Titus Brinker de DKFZ desarrolló “UroBot”, un chatbot especializado en urología que se complementó con las directrices actuales de la Sociedad Europea de Urología.
UroBot se basa en el modelo de lenguaje más potente de OpenAI, GPT-4o. Utiliza un método personalizado de generación aumentada de recuperación (RAG) capaz de recuperar información relevante de cientos de documentos de manera específica para responder consultas individuales y proporcionar respuestas precisas e interpretables. El modelo modificado se probó en 200 preguntas de expertos de la Junta Europea de Urología y se evaluó en varias rondas.
UroBot-4o respondió correctamente a las preguntas en el 88,4 por ciento de las pruebas de expertos, superando al modelo más actualizado GPT-4o en 10,8 puntos porcentuales. Esto significa que UroBot no sólo supera a otros modelos de lenguaje, sino que también supera el rendimiento medio de los urólogos en pruebas de expertos, que según la literatura es del 68,7 por ciento. Además, UroBot muestra un grado muy alto de confiabilidad y coherencia en sus respuestas.
Las respuestas de UroBot pueden ser verificadas por expertos clínicos, ya que el software identifica fuentes críticas y categorías de texto: “El estudio muestra la posibilidad de combinar grandes modelos de lenguaje con pautas basadas en evidencia para mejorar el rendimiento en campos médicos especializados. Verificabilidad y precisión muy alta en el Al mismo tiempo, UroBot es un sistema de apoyo prometedor para la atención al paciente”. El uso de modelos de lenguaje comprensibles como UroBot será crucial en la atención al paciente en los próximos años y ayudará a garantizar una atención basada en directrices en todos los ámbitos, incluso cuando las decisiones terapéuticas se vuelven cada vez más complejas”, afirmó Brinker.
El equipo de investigación publicó código e instrucciones para usar EuroBot para permitir futuros desarrollos en urología y otros campos médicos.