Los modelos de aprendizaje automático pueden fallar cuando intentan hacer predicciones para individuos que no estaban representados en su conjunto de datos de entrenamiento.
Por ejemplo, se puede entrenar un modelo que predice la mejor opción de tratamiento para una persona con una enfermedad crónica utilizando un conjunto de datos que contenga principalmente pacientes masculinos. Este modelo puede realizar predicciones inexactas para las pacientes femeninas cuando son enviadas a un hospital.
Para mejorar los resultados, los ingenieros pueden intentar equilibrar el conjunto de datos de entrenamiento eliminando puntos de datos hasta que todos los subgrupos estén representados por igual. Aunque el equilibrio del conjunto de datos es prometedor, a menudo requiere eliminar grandes cantidades de datos, lo que perjudica el rendimiento general del modelo.
Los investigadores del MIT han desarrollado una nueva técnica que identifica y elimina puntos específicos en un conjunto de datos de entrenamiento que más contribuyen al fracaso del modelo en subgrupos minoritarios. Al eliminar muchos menos puntos de datos que otros métodos, esta técnica mantiene la precisión general del modelo y al mismo tiempo mejora su rendimiento para los grupos subrepresentados.
Además, la técnica puede identificar fuentes ocultas de sesgo en un conjunto de datos de entrenamiento que carece de etiquetas. Los datos sin etiquetar son más comunes que los datos etiquetados para muchas aplicaciones.
Este método también se puede combinar con otros métodos para mejorar la precisión de los modelos de aprendizaje automático implementados en situaciones de alto riesgo. Por ejemplo, algún día podría ayudar a garantizar que los pacientes infradiagnosticados no sean diagnosticados erróneamente debido a un modelo de IA sesgado.
“Muchos otros algoritmos que intentan resolver este problema asumen que cada punto de datos es tan importante como cualquier otro punto de datos. En este artículo, mostramos que esa suposición no es cierta. Hay puntos específicos en nuestro conjunto de datos que están contribuyendo a este sesgo, y nosotros encontrar esos puntos de datos para obtenerlos, eliminarlos y obtener un mejor rendimiento”, dijo Kimia Hamidih, estudiante graduada del MIT en Ingeniería Eléctrica e Informática (EECS) y coautora principal de un artículo sobre esta tecnología.
Escribió el artículo con el coautor principal Sachi Jain PhD ’24 y su compañero estudiante graduado de EECS Kristian Georgiev; Andrew Elias Meng ’18, PhD ’23, miembro Stein de la Universidad de Stanford; y el autor principal Marzaeh Ghasemi, profesor asociado en EECS y miembro del Instituto de Ciencias de Ingeniería Médica y Laboratorio de Sistemas de Información y Decisión, y Alexander Madri, profesor de Sistemas de Diseño de Cadencia en el MIT. La investigación se presentará en la Conferencia sobre Sistemas de Procesamiento de Información Neural.
Eliminar malos ejemplos
A menudo, los modelos de aprendizaje automático se entrenan utilizando enormes conjuntos de datos recopilados de muchas fuentes en Internet. Estos conjuntos de datos son demasiado grandes para seleccionarlos cuidadosamente a mano, por lo que pueden contener malos ejemplos que afecten el rendimiento del modelo.
Los científicos también saben que algunos puntos de datos afectan el rendimiento del modelo en determinadas tareas posteriores más que otras.
Los investigadores del MIT han combinado estos dos conceptos en un método que identifica y elimina estos puntos de datos problemáticos. Quieren resolver un problema conocido como error del peor grupo, que ocurre cuando un modelo tiene un rendimiento inferior en subgrupos minoritarios en el conjunto de datos de entrenamiento.
La nueva técnica de los investigadores está impulsada por trabajos anteriores en los que introdujeron un método llamado TRAK, que identifica los ejemplos de entrenamiento más importantes para un resultado de modelo particular.
Para esta nueva técnica, toman modelos de predicciones erróneas hechas sobre subgrupos minoritarios y utilizan TRAK para identificar qué ejemplos de capacitación contribuyeron más a esas predicciones erróneas.
“Al combinar esta información de las predicciones deficientes de las pruebas de la manera correcta, pudimos encontrar partes específicas del entrenamiento que reducían la precisión general del peor grupo”, explica Elias.
Luego eliminan esas muestras específicas y vuelven a entrenar el modelo con los datos restantes.
Dado que, por lo general, más datos dan como resultado un mejor rendimiento general, eliminar solo las muestras que generan las peores fallas del grupo mantiene la precisión general del modelo y aumenta su rendimiento en los subgrupos minoritarios.
Un enfoque más accesible
En tres conjuntos de datos de aprendizaje automático, su método superó a múltiples técnicas. En un ejemplo, aumentó la precisión del peor grupo y al mismo tiempo eliminó alrededor de 20.000 muestras de entrenamiento menos que un método de equilibrio de datos convencional. Su técnica logró mayor precisión que los métodos que requerían cambios en el funcionamiento interno de un modelo.
Debido a que el método MIT implica cambiar un conjunto de datos, será más fácil de usar para un profesional y se puede aplicar a muchos tipos de modelos.
Se puede utilizar cuando se desconoce el sesgo porque los subgrupos de un conjunto de datos de entrenamiento no están etiquetados. Al identificar los puntos de datos que más contribuyen a la característica que el modelo está aprendiendo, comprenden las variables que utiliza para hacer una predicción.
“Es una herramienta que cualquiera puede usar cuando entrena un modelo de aprendizaje automático. Pueden observar esos puntos de datos y ver si son consistentes con lo que están tratando de enseñarle al modelo”, dijo Hamidih.
El uso de la técnica para detectar sesgos de subgrupos desconocidos requiere saber qué grupos buscar, por lo que los investigadores esperan validarlo y explorarlo más a fondo en futuros estudios en humanos.
Quieren mejorar la efectividad y confiabilidad de su técnica y garantizar que el método sea accesible y fácil de usar para los profesionales que puedan implementarlo en entornos del mundo real.
“Cuando tienes herramientas que te permiten observar los datos de manera crítica y determinar qué puntos de datos conducen a sesgos u otros comportamientos indeseables, eso te da el primer paso hacia la construcción de modelos que serán más justos y confiables”. dijo Elías.
Este trabajo fue financiado en parte por la Fundación Nacional de Ciencias y la Agencia de Proyectos de Investigación Avanzada de Defensa de EE. UU.