El proceso de descubrir las moléculas características esenciales para la producción de nuevos medicamentos y materiales es complejo y costoso, una gran cantidad de recursos y trabajo humano ocupan el trabajo humano para reducir el enorme espacio de posibles candidatos.
Modelos de lenguaje grande (LLM) como ChatGPT puede florecer este proceso, pero permite que una comprensión de LLM y discutir sobre átomos y enlaces que forman moléculas, de la misma manera que funciona con palabras.
Los investigadores de MIT y MIT-IBM Watson AI Lab han creado un método comprometido que mejora una LLM con otros modelos de aprendizaje automático conocidos como modelos basados en gráficos, que están especialmente diseñados para crear y predecir estructuras moleculares.
Su método es nombrar una base de LLM para explicar las preguntas del lenguaje natural para especificar las propiedades moleculares deseadas. Cambia automáticamente a los módulos Base LLM y AI basados en gráficos para diseñar una molécula, explicar la lógica y crear un plan paso a paso para acumularla. Integra el texto, los gráficos y la generación de pasos de síntesis, combinando palabras, gráficos y reacciones como vocabulario general para consumir LLM.
Al comparar el enfoque existente basado en LLM, esta técnica multimodal se produce moléculas que coinciden con la especificación del usuario y es más probable que tengan un plan de síntesis válido, la mejora del éxito del 5 por ciento al 35 por ciento.
También ha excedido el LLM, que es 10 veces mayor en tamaño y solo las moléculas y rutas de síntesis de diseño con presentaciones basadas en texto, la clave para el éxito del nuevo sistema para sugerir multimodidad.
“Se espera que desde el final hasta el final donde podamos diseñar automáticamente automáticamente un diseño molecular y todo el proceso. Si un LLM solo puede responderlo en unos segundos, será un gran tiempo para las compañías farmacéuticas”, dijo Michael San, un estudiante graduado y una técnica de esta técnica.
Los coautores de Sun incluyen Gang Liu, un estudiante graduado en la Universidad de Notre Dame; Ozesich Matusik, profesor de ingeniería eléctrica e informática en el MIT, que dirigió el Laboratorio de Informática e Inteligencia Artificial (CSAIL) y dirigió el Diseño Computacional y el Grupo Fabat; Megh Jiang, profesor asociado de la Universidad de Notre Dame; Y el autor senior G. Chen, MIT-IBM Watson es un científico de investigación senior y director del Laboratorio de AI. La investigación se presentará en la Conferencia Internacional sobre Presentación de Investigación.
Lo mejor de ambos mundos
Los modelos de idiomas grandes no están construidos para comprender los resúmenes de la química, esta es una razón por la que luchan contra el diseño molecular opuesto, un proceso de detección de la estructura molecular que las funciones o características específicas.
El LLMS convierte el texto en una presentación de token, que usan constantemente para predecir la siguiente palabra en una oración. Sin embargo, las moléculas son “estructuras gráficas”, compuestas de átomos y enlaces sin ninguna secuencia específica, los hace difíciles de codificar como un texto jerárquico.
Por otro lado, los modelos de IA basados en gráficos fuertes presentan enlaces de átomo y moleculares como nodos y bordes interasociados de un gráfico. Aunque estos modelos son populares para el diseño molecular opuesto, necesitan entradas complejas, no entienden el lenguaje natural y el resultado del rendimiento que puede ser difícil de explicar.
Los investigadores del MIT han combinado un LLM con modelos de IA basados en gráficos con una estructura combinada que obtiene lo mejor en ambos mundos.
Lamol, que se erige como un modelo de lenguaje grande para el descubrimiento molecular, es una solicitud de lenguaje simple para moléculas de características específicas que usan una base LLM para la comprensión de la consulta de un usuario.
Por ejemplo, un usuario probablemente esté buscando una molécula que pueda ingresar a las barreras hemocranas e interrumpir el VIH, dado que tiene un peso molecular de 209 y propiedades de enlace específicas.
LLMS predicen el texto en respuesta a la consulta, cambia entre los módulos gráficos.
Una entrada del módulo utiliza un modelo de propagación de gráficos para generar una estructura molecular condicionada con el requisito. El segundo módulo utiliza la red neuronal gráfica para codificar la estructura molecular producida para consumir LLM. El módulo gráfico final predice una respuesta de gráfico que toma una estructura molecular intermedia como entrada y predice un paso de respuesta, buscando el conjunto correcto de pasos para crear moléculas a partir de los bloques de construcción básicos.
Los investigadores han creado un nuevo tipo de token de activación que se llama LLM para activar cada módulo. Cuando LLM predice un token de activación de “diseño”, cambia al módulo que dibuja una estructura molecular y cuando predice un token de activación “retro”, cambia el plan retroséntico al módulo que predice la siguiente respuesta.
“La belleza de su LLM es que el módulo se alimenta en sí mismo antes de activar un módulo en particular, el módulo está aprendiendo a manejar el módulo de una manera compatible con lo que sucedió antes”.
De la misma manera, la salida de cada módulo está codificada y la generación de la LLM se devuelve al proceso, por lo que comprende lo que cada módulo ha hecho y continuará prediciendo el token en función de esa información.
La estructura molecular mejor y simple
Al final, Llamol crea una imagen de la estructura molecular, un detalle de texto de la molécula y un plan de síntesis de paso por paso que proporciona los detalles de cómo puede crear en reacciones químicas separadas.
En la prueba asociada con el diseño de la especificación del usuario, han excedido el LLMOL 10 Standard LLM, cuatro LLM sutiles y un método sofisticado específico de dominio. Al mismo tiempo, ha creado moléculas de alta calidad y ha aumentado la tasa de éxito del plan retroséntico del 5 por ciento al 35 por ciento, lo que significa su estructura simple y su bloque de construcción de bajo costo.
Liu dice: “A su manera, lucha por determinar cómo los LLM pueden acumular moléculas porque requiere mucho plan de varios pasos. Nuestro método puede crear una mejor estructura molecular que sea más fácil de sintetizar”, dice Liu.
Para capacitar y evaluar a Llamol, los investigadores crearon dos conjuntos de datos desde cero, ya que no hay suficientes detalles en los conjuntos de datos existentes de la molécula. Han aumentado varios miles de moléculas de patentes con detalles del lenguaje natural expuesto a AI y detalles personalizados con plantillas.
El datos que crearon para la melodía fina de la LLM incluyen 10 características moleculares, por lo que un límite para el Lamol está entrenado para diseñar las moléculas solo considerando las características de 10 dígitos.
En el futuro, los investigadores quieren generalizar el llamado para que pueda incluir cualquier propiedad molecular. Además, planean mejorar los módulos gráficos para aumentar la tasa de éxito en Llamol.
Y a la larga, esperan utilizar este enfoque para superar las moléculas de este método, creando LLM multimodales que pueden manejar otros tipos de datos basados en gráficos, como sensores interasociados o transacciones del mercado financiero.
Chen dice: “Llamol muestra el potencial de usar modelos de lenguaje grandes como una interfaz de datos complejos más allá del texto, y esperamos que sean una base que contacta a otros algoritmos de IA para resolver un gráfico”, dice Chen.
Este estudio fue financiado por el MIT-IBM Watson AI Lab, la National Science Foundation y la Oficina de Investigación Naval.