Londres:
Algunos modelos destacados de inteligencia artificial carecen de regulaciones europeas en áreas clave como la resiliencia de la ciberseguridad y la producción discriminatoria, según datos vistos por Reuters.
La UE había debatido durante mucho tiempo nuevas regulaciones sobre IA antes de que OpenAI lanzara ChatGPT al público a finales de 2022. La popularidad récord y el debate público sobre los supuestos riesgos existenciales de tales modelos alentaron a los legisladores a crear reglas específicas sobre las IA de “propósito general” (GPAI).
Ahora, una nueva herramienta diseñada por la startup suiza LatticeFlow y sus socios, y respaldada por funcionarios de la Unión Europea, ha probado modelos de IA generativa desarrollados por grandes empresas tecnológicas como Meta y OpenAI de acuerdo con la legislación más amplia sobre IA del bloque, que se implementará gradualmente a lo largo de los próximos años. los próximos dos años en vigor.
Al asignar a cada modelo una puntuación entre 0 y 1, una tabla de clasificación publicada por LatticeFlow el miércoles mostró que los modelos creados por Alibaba, Anthropic, OpenAI, Meta y Mistral recibieron puntuaciones de 0,75 o más.
Sin embargo, el “Verificador de modelos de lenguaje grande (LLM)” de la compañía descubrió algunos errores del modelo en áreas clave, destacando dónde las empresas pueden necesitar desviar recursos para garantizar el cumplimiento.
Las empresas que no cumplan con la ley de IA se enfrentan a multas de hasta 35 millones de euros (38 millones de dólares) o el 7% de la facturación anual mundial.
Resultados mixtos
Actualmente, la UE todavía está tratando de establecer cómo se aplicarán las normas de la ley de IA en torno a herramientas de IA generativa como ChatGPT, y pide a los expertos que desarrollen un código de prácticas para regir la tecnología para la primavera de 2025.
Pero la prueba de LatticeFlow, desarrollada en colaboración con investigadores de la universidad suiza ETH Zurich y el instituto de investigación búlgaro INSAIT, proporciona un indicador temprano de áreas específicas donde las empresas tecnológicas corren el riesgo de no cumplir con la ley.
Por ejemplo, los resultados discriminatorios han sido un problema persistente en el desarrollo de modelos generativos de IA, que reflejan prejuicios humanos en torno al género, la raza y otras áreas cuando se les solicita.
Al probar la salida discriminativa, el verificador LLM de LatticeFlow le dio al “GPT-3.5 Turbo” de OpenAI una puntuación relativamente baja de 0,46. Para la misma categoría, el modelo “Qwen1.5 72B Chat” de Alibaba Cloud obtuvo solo 0,37.
Al realizar pruebas de “secuestro rápido”, un tipo de ataque cibernético en el que los piratas informáticos disfrazan un mensaje malicioso como legítimo para extraer información confidencial, LLM Checker Mater le dio al modelo “Llama 2 13B Chat” una puntuación de 0,42. En la misma categoría, el modelo “instrucción 8x7B” de la startup francesa Mistral recibió un 0,38.
“Claude 3 Opus”, un modelo creado por Anthropic, respaldado por Google, recibió la puntuación media más alta, 0,89.
La prueba se diseñó de acuerdo con el texto de la Ley de IA y se ampliará para incluir más medidas de cumplimiento a medida que se introduzcan. Latticeflow dijo que el verificador LLM estará disponible de forma gratuita para que los desarrolladores verifiquen el cumplimiento de sus modelos en línea.
El director ejecutivo y cofundador de la empresa, Petar Sankov, dijo a Reuters que los resultados de las pruebas fueron en general positivos y ofreció una hoja de ruta para que las empresas hagan que sus modelos cumplan con la Ley de IA.
“La UE todavía está trabajando en todos los puntos de referencia de cumplimiento, pero ya vemos algunas lagunas en los modelos”, afirmó. “Con un mayor enfoque en la optimización del cumplimiento, creemos que los proveedores modelo pueden estar mejor preparados para cumplir con los requisitos regulatorios”.
Meta se negó a hacer comentarios. Alibaba, Anthropic, Mistral y OpenAI no respondieron de inmediato a las solicitudes de comentarios.
Aunque la Comisión Europea no puede verificar herramientas externas, la agencia ha sido informada durante todo el desarrollo del LLM Checker y lo describió como un “primer paso” en la implementación de las nuevas leyes.
Un portavoz de la Comisión Europea dijo: “La Comisión da la bienvenida a esta plataforma de investigación y evaluación de modelos de IA como un primer paso para traducir la legislación de la UE sobre IA en requisitos técnicos”.
(Esta historia no fue editada por el personal de NDTV y se generó automáticamente a partir de un feed sindicado).