Es el procesamiento computacional de imágenes el que revela los detalles más finos de una muestra colocada bajo todo tipo de microscopios ópticos diferentes. Aunque este procesamiento ha avanzado mucho, todavía hay margen de mejora en el contraste y la resolución de la imagen. Basado en una arquitectura única de aprendizaje profundo, un nuevo modelo computacional desarrollado por investigadores del Helmholtz-Zentrum Dresden-Rossendorf (HZDR) y el Centro para la Comprensión de Sistemas Avanzados (CASUS) del Centro Max Delbrück de Medicina Molecular es más rápido que los modelos convencionales cuando se combinan. o incluso superar la calidad de su imagen. El modelo conocido como red BCR residual de múltiples etapas (m-RBCR) se desarrolló específicamente para imágenes de microscopía. Presentado por primera vez en la Conferencia Bienal Europea sobre Visión por Computador (ECCV), el principal evento en el campo de la visión por computadora y el aprendizaje automático, el correspondiente documento de la conferencia revisado por pares ya está disponible.
El nuevo modelo da un nuevo giro a una técnica de procesamiento de imágenes llamada deconvolución. Este método computacional intensivo mejora el contraste y la resolución de imágenes digitales capturadas en microscopios ópticos como los de campo amplio, confocales o de transmisión. La deconvolución tiene como objetivo reducir el desenfoque, un cierto tipo de degradación de la imagen introducida por el sistema microscópico utilizado. Las dos técnicas principales son la deconvolución explícita y la deconvolución basada en aprendizaje profundo.
El enfoque de deconvolución obvio se basa en el concepto de función de dispersión de puntos (PSF). Un PSF básicamente describe cómo una fuente puntual de luz infinitamente pequeña que se origina en la muestra se amplifica y se propaga a través del sistema óptico en un patrón de difracción tridimensional. Esto significa que una imagen grabada (bidimensional) siempre tiene algo de luz proveniente de estructuras desenfocadas que crean desenfoque. Conociendo el PSF de un sistema microscópico se puede calcular el desenfoque final con una imagen mucho más parecida a la verdad que una imagen grabada sin procesar.
“El principal problema con las técnicas de deconvolución basadas en PSF es que a menudo el PSF de un sistema microscópico determinado no está disponible o es impreciso”, dijo el Dr. Artur Yakimovich, líder del Grupo de Jóvenes Investigadores CASUS y autor correspondiente del artículo de ECCV. “Durante décadas, la gente ha estado trabajando con la llamada deconvolución ciega, donde el PSF se estima a partir de imágenes o conjuntos de imágenes. Sin embargo, la deconvolución ciega sigue siendo un problema muy desafiante y el progreso logrado es modesto”.
Como ha demostrado el equipo de Yakimovich en el pasado, el uso de la caja de herramientas de “resolución inversa de problemas” funciona bien en microscopía. Los problemas inversos tratan de recuperar los factores causales que llevaron a determinadas observaciones. Por lo general, se necesitan muchos datos y algoritmos de aprendizaje profundo para abordar con éxito este tipo de problema. Al igual que con el método de deconvolución obvio, los resultados son imágenes de alta resolución o de buena calidad. Para el método presentado en ECCV, los científicos utilizaron una red neuronal basada en la física llamada Multi-Stage Residual-BCR Net (m-RBCR).
El aprendizaje profundo se configura de manera diferente
En general existen dos variantes básicas para el procesamiento de imágenes. Puede comenzar con la representación espacial clásica de una imagen o con su representación de frecuencia (lo que requiere un paso de transformación desde la representación espacial). A continuación, cada imagen se representa como una colección de ondas. Ambas presentaciones son valiosas. Algunas operaciones de procesamiento son más fáciles de realizar de una forma y otras de otra. La mayoría de las arquitecturas de aprendizaje profundo operan en el dominio espacial. Es perfecto para fotografías. Pero el panorama microscópico es diferente. Son en su mayoría monocromáticos. Técnicas como la microscopía de fluorescencia se ocupan de fuentes de luz específicas sobre un fondo negro. Por lo tanto, m-rBCR utiliza la representación de frecuencia como punto de partida.
“El uso del dominio de frecuencia en tales casos puede ayudar a crear representaciones de datos ópticamente significativas, un concepto que permite a m-rBCR resolver tareas de deconvolución con sorprendentemente pocos parámetros en comparación con otras arquitecturas de aprendizaje profundo de última generación”, explica Rui Li. Primer autor y presentador en ECCV. Lee propuso desarrollar una arquitectura modelo de red neuronal llamada BCR-NET, que a su vez se inspiró en el esquema de compresión de señales basado en representación de frecuencia iniciado por Gregory Belkin, Ronald Koifman y Vladimir Rokhlin en la década de 1990 (de ahí el nombre BCR). conversión).
El equipo validó el modelo M-RBCR en cuatro conjuntos de datos diferentes, dos conjuntos de datos de imágenes de microscopía simuladas y dos conjuntos de datos de microscopía reales. Muestra un alto rendimiento con significativamente menos parámetros de entrenamiento y un tiempo de ejecución más corto que los modelos recientes basados en aprendizaje profundo y, por supuesto, también supera a los métodos de deconvolución explícitos.
Un modelo basado en imágenes de microscopía.
“Esta nueva arquitectura explota una forma descuidada de aprender representaciones fuera de los métodos clásicos de redes neuronales convolucionales”, resume el coautor Prof. Misha Kudryashev, “líder delen el sitio El grupo “Biología estructural” del Max-Delbrück-Centrum für Molekulare Medizin de Berlín muestra que el modelo no pierde rendimiento y es claramente adecuado para imágenes microscópicas y, gracias a su arquitectura ligera, desafía la tendencia de la tecnología. Se requieren modelos más grandes que requieren más potencia de cálculo”.
El grupo Yakimovich publicó recientemente un modelo de mejora de la calidad de la imagen basado en inteligencia artificial generativa. Este modelo de difusión variacional condicional produce resultados de última generación que superan incluso al modelo M-RBCR presentado aquí. “Sin embargo, se necesitan recursos computacionales con datos de entrenamiento y suficientes unidades de procesamiento gráfico, algo muy buscado hoy en día”, recuerda Yakimovich. “El modelo ligero m-RBCr no tiene esta limitación y aún proporciona muy buenos resultados. Así que estoy seguro de que ganaremos buena tracción en la comunidad de imágenes. Para facilitar esto, ya hemos comenzado a mejorar la facilidad de uso”.
El objetivo del grupo de Yakimovich “Aprendizaje automático para infecciones y enfermedades” es comprender la compleja red de interacciones moleculares que se activan después de que el cuerpo es infectado por un patógeno. El uso de nuevas posibilidades del aprendizaje automático es clave aquí. Las áreas de interés incluyen mejora de la resolución de imágenes, reconstrucción de imágenes 3D, diagnóstico automático y evaluación de la calidad de la reconstrucción de imágenes.