Los modelos de aprendizaje automático pueden cometer errores y ser difíciles de usar, por lo que los científicos han desarrollado métodos de interpretación para ayudar a los usuarios a comprender cuándo y cómo deben confiar en las predicciones de un modelo.
Sin embargo, estas interpretaciones suelen ser complejas y contienen información sobre posiblemente cientos de propiedades del modelo. Y a veces se presentan como visualizaciones multifacéticas que pueden resultar difíciles de entender por completo para los usuarios que carecen de habilidades de aprendizaje automático.
Para ayudar a las personas a comprender las explicaciones de la IA, los investigadores del MIT utilizaron modelos de lenguaje grande (LLM) para convertir explicaciones basadas en la trama en lenguaje sencillo.
Desarrollaron un sistema de dos partes que convierte una explicación de aprendizaje automático en un párrafo de texto legible por humanos y luego evalúa automáticamente la calidad de la descripción, para que el usuario final sepa si confiar en ella.
Al solicitar al sistema explicaciones de algunos ejemplos, los investigadores pueden personalizar sus descripciones para satisfacer las preferencias del usuario o los requisitos de aplicaciones específicas.
A largo plazo, los investigadores esperan aprovechar esta técnica permitiendo a los usuarios hacer preguntas de seguimiento al modelo sobre cómo se produjo la predicción en entornos del mundo real.
“Nuestro objetivo con esta investigación fue dar el primer paso para permitir a los usuarios tener una conversación completa con un modelo de aprendizaje automático sobre sus factores predictivos específicos, para que puedan tomar mejores decisiones sobre si escuchar o no el modelo”, dijo Alexandra Zytek. , ingeniero eléctrico y estudiante de posgrado en Ciencias de la Computación (EECS) y autor principal de un artículo sobre esta tecnología.
En el artículo lo acompañan la postdoctorada del MIT Sarah Pido; Sarah Alneghimish, estudiante de posgrado de EECS; Laure Berti-Equille, directora de investigación del Instituto Nacional de Investigación para el Desarrollo Sostenible de Francia; y el autor principal Kalyan Veeramachaneni, científico investigador principal del Laboratorio de Sistemas de Información y Decisión. La investigación se presentará en la Conferencia IEEE Big Data.
Explicación explicativa
Los investigadores se centraron en un tipo popular de explicación del aprendizaje automático llamado SHAP. En una interpretación SHAP, se asigna un valor a cada característica que utiliza el modelo para hacer predicciones. Por ejemplo, si un modelo predice los precios de la vivienda, un atributo podría ser la ubicación de la casa. A la ubicación se le asignará un valor positivo o negativo que representa cuánto ha cambiado la característica en la predicción general del modelo.
A menudo, las interpretaciones SHAP se presentan como diagramas de barras que muestran qué características son más o menos importantes. Pero para un modelo con más de 100 características, ese diagrama de barras rápidamente se vuelve irreal.
“Como investigadores, tenemos que tomar muchas decisiones sobre lo que vamos a presentar visualmente. Si elegimos mostrar sólo los 10 primeros, la gente podría preguntarse qué pasó con otra característica que no está en la trama. En lugar de hacer Estas decisiones se alivian con el uso del lenguaje natural”, afirma Veeramachaneni.
Sin embargo, en lugar de utilizar un modelo de lenguaje grande para generar una explicación en lenguaje natural, los investigadores utilizan LLM para convertir una explicación SHAP existente en una descripción legible.
Al manejar únicamente la parte del lenguaje natural del proceso de LLM, se limita el alcance de introducir errores en la interpretación, explica Zytech.
Su sistema, llamado EXPLINGO, se divide en dos partes que funcionan juntas.
El primer componente llamado NARRATOR utiliza un LLM para generar descripciones narrativas de interpretaciones SHAP que satisfagan las preferencias del usuario. Al proporcionar inicialmente al narrador de tres a cinco ejemplos escritos de explicación narrativa, el LLM emulará ese estilo al crear el texto.
“Es más fácil dejar que el usuario escriba lo que quiere ver, en lugar de intentar descubrir qué tipo de explicación está buscando”, afirma Zytek.
Esto permite que NARRATOR se personalice fácilmente para nuevos casos de uso mostrando un conjunto diferente de ejemplos escritos manualmente.
Después de que el NARRADOR produce una explicación en lenguaje sencillo, el segundo componente, el GRADER, utiliza un LLM para calificar la narrativa en cuatro métricas: brevedad, precisión, integridad y fluidez. GRADER narra automáticamente LLM con texto de explicaciones NARRATOR y SHAP.
“Descubrimos que, incluso cuando un LLM comete un error al realizar una tarea, a menudo no comete un error al verificar o validar esa tarea”, dice.
Los usuarios pueden personalizar GRADER para otorgar diferentes pesos a cada métrica.
“Se puede imaginar que, en un caso de alto riesgo, la exactitud del peso y la integridad son mucho más importantes que la fluidez, por ejemplo”, añade.
Análisis narrativo
Para Zytek y sus colegas, uno de los mayores desafíos fue ajustar LLM para que produjera descripciones que suenen naturales. Cuanta más orientación agreguen al estilo de control, más probabilidades habrá de introducir errores en la interpretación del LLM.
“Se realizaron muchos ajustes rápidos para encontrar y corregir cada error a la vez”, dice.
Para probar su sistema, los investigadores tomaron nueve conjuntos de datos de aprendizaje automático con anotaciones y pidieron a diferentes usuarios que escribieran descripciones para cada conjunto de datos. Esto les permite evaluar la capacidad del narrador para imitar su estilo único. Utilizaron GRADER para calificar la interpretación descriptiva de cada una de las cuatro métricas.
En última instancia, los investigadores descubrieron que su sistema podía producir explicaciones narrativas de alta calidad y simular eficazmente diferentes estilos de escritura.
Sus resultados muestran que proporcionar algunas explicaciones de ejemplo escritas manualmente mejora enormemente el estilo narrativo. Sin embargo, esos ejemplos deben redactarse con cuidado: incluir palabras comparativas, como “grande” GRADER, puede marcar las interpretaciones correctas como incorrectas.
Con base en estos hallazgos, los investigadores quieren explorar técnicas que puedan ayudar a sus sistemas a manejar mejor palabras comparables. Quieren ampliar EXPLINGO añadiendo lógica a las explicaciones.
A largo plazo, esperan utilizar este trabajo como un trampolín hacia un sistema interactivo donde el usuario pueda hacerle preguntas de seguimiento a un modelo sobre una explicación.
“Esto ayudará a la toma de decisiones de muchas maneras. Si las personas no están de acuerdo con la predicción de un modelo, queremos que puedan comprender rápidamente si su intuición es correcta o si la intuición del modelo es correcta, y de dónde viene esa diferencia. ” dijo Zytek.