Las organizaciones utilizan cada vez más modelos de aprendizaje automático para asignar recursos u oportunidades escasos. Por ejemplo, estos modelos pueden ayudar a las empresas a examinar los currículums para seleccionar candidatos para entrevistas de trabajo o ayudar a clasificar a los pacientes con trasplante de riñón según su probabilidad de supervivencia.
Al implementar un modelo, los usuarios normalmente intentan asegurarse de que sus predicciones sean justas minimizando el sesgo. Esto a menudo implica técnicas como ajustar las características que utiliza un modelo para tomar decisiones o calibrar las puntuaciones que produce.
Sin embargo, investigadores del MIT y la Universidad Northeastern sostienen que estos mecanismos de justificación son insuficientes para abordar la injusticia estructural y la incertidumbre inherente. En un nuevo artículo, muestran cómo la aleatorización de decisiones de modelos de forma estructurada puede mejorar la equidad en determinadas situaciones.
Por ejemplo, si varias empresas utilizan el mismo modelo de aprendizaje automático para clasificar a los candidatos a una entrevista de trabajo de manera determinista (sin ningún tipo de aleatorización), entonces una persona calificada puede ser un candidato con una clasificación inferior para cada puesto, posiblemente debido a cómo el modelo pondera las respuestas. proporcionado en formulario en línea. Introducir la aleatorización en un modelo de decisión puede evitar que a un individuo o grupo calificado siempre se le niegue un recurso escaso, como una entrevista de trabajo.
A través de su análisis, los investigadores descubrieron que la aleatorización puede ser particularmente beneficiosa cuando la decisión de un modelo implica incertidumbre o cuando el mismo grupo toma constantemente decisiones negativas.
Presentan un marco que puede introducir una cierta cantidad de aleatorización en las decisiones de un modelo mediante la asignación de recursos a través de una lotería ponderada. Este enfoque, que un individuo puede adaptar a su situación, puede mejorar la precisión de un modelo sin perjudicar su eficiencia o precisión.
“Incluso si se pueden hacer predicciones justas, ¿debería tomar decisiones sobre la falta o la oportunidad de esta asignación social fuera de las puntuaciones o clasificaciones? A medida que las cosas escalan y vemos cada vez más oportunidades decididas por estos algoritmos, las incertidumbres inherentes en estas puntuaciones mostramos que la equidad puede requerir cierta aleatorización”, afirmó Shamik Jain, estudiante de posgrado en el Instituto de Datos, Sistemas y Sociedad (IDSS) y autor principal del artículo.
Jain se unió al artículo de Kathleen Creel, profesora asistente de filosofía e informática en la Universidad Northeastern; y el autor principal Ashiya Wilson, profesor de desarrollo profesional de Lister Brothers en el Departamento de Ingeniería Eléctrica e Informática e investigador principal del Laboratorio de Sistemas de Información y Decisión (LIDS). La investigación se presentará en la Conferencia Internacional sobre Aprendizaje Automático.
Consideración de reclamo
Este trabajo se basa en un artículo anterior en el que los investigadores exploraron los peligros que pueden ocurrir cuando se utiliza un sistema determinista. Descubrieron que el uso de un modelo de aprendizaje automático para asignar recursos específicamente puede amplificar la heterogeneidad existente en los datos de entrenamiento, lo que puede reforzar el sesgo y la asimetría sistemática.
“La aleatorización es un concepto muy útil en estadística y, para nuestro deleite, satisface las afirmaciones de equidad tanto desde una perspectiva metodológica como individual”, afirmó Wilson.
En este artículo, exploran la cuestión de cuándo la aleatorización puede mejorar la equidad. Construyeron su análisis en torno a las ideas del filósofo John Broome, quien escribió sobre el valor de utilizar las loterías para proporcionar recursos escasos de una manera que respete todas las reclamaciones de los individuos.
El reclamo de una persona sobre un recurso escaso, como un trasplante de riñón, puede basarse en el mérito, el mérito o la necesidad. Por ejemplo, todo el mundo tiene derecho a la vida y su derecho a un trasplante de riñón puede derivarse de ese derecho, explica Wilson.
“Cuando se reconoce que las personas tienen diferentes derechos sobre estos recursos escasos, la justicia requiere que respetemos todos los derechos de los individuos. ¿Sería justo si siempre le diéramos el recurso a alguien con el derecho más fuerte?” dijo Jain.
Este tipo de asignación determinista puede conducir a una exclusión sistemática o exacerbar la discriminación modelada, que ocurre cuando recibir una asignación aumenta la probabilidad de que un individuo reciba una asignación futura. Además, los modelos de aprendizaje automático pueden cometer errores y un enfoque determinista puede repetir los mismos errores.
La aleatorización puede superar estos problemas, pero no significa que todas las decisiones en un modelo deban ser aleatorizadas por igual.
Aleatorización estructurada
Los investigadores utilizan una lotería ponderada para ajustar el grado de aleatorización en función de la cantidad de incertidumbre involucrada en la toma de decisiones del modelo. Una decisión que sea menos específica debería incluir más aleatorización.
“En la asignación de riñones, normalmente la planificación gira en torno a la esperanza de vida proyectada, y eso es profundamente incierto. Si solo hay una brecha de cinco años entre dos pacientes, eso se vuelve muy difícil de cuantificar. Queremos explotar ese nivel de incertidumbre para la aleatorización”. dijo Wilson.
Los investigadores han utilizado métodos para cuantificar la incertidumbre estadística y determinar cuánta aleatorización se necesita en diferentes situaciones. Muestran que la aleatorización calibrada puede conducir a resultados justos para los individuos sin afectar significativamente la utilidad o el desempeño del modelo.
“Existe un equilibrio entre la utilidad general y el respeto de los derechos de los individuos que reciben un recurso escaso, pero a menudo la compensación es relativamente pequeña”, dice Wilson.
Sin embargo, los investigadores enfatizan que hay situaciones en las que las decisiones aleatorias no mejorarán la equidad y pueden dañar a las personas, como en contextos de justicia penal.
Pero puede haber otras áreas donde la aleatorización podría mejorar la equidad, como las admisiones universitarias, y los investigadores planean estudiar otros casos de uso en trabajos futuros. También quieren explorar cómo la aleatorización puede afectar a otros factores, como la competencia o el precio, y cómo puede utilizarse para mejorar la solidez de los modelos de aprendizaje automático.
“Esperamos que nuestro artículo sea un primer paso para demostrar que la aleatorización puede ser una ventaja. Ofrecemos la aleatorización como herramienta. Cuánto se quiera hacer dependerá de todas las partes interesadas. La asignación para tomar decisiones y, por supuesto, cómo toman decisiones es otra cuestión de investigación, dice Wilson.