Los investigadores de la UTSA han completado recientemente uno de los estudios más ampliamente estudiados en la actualidad con el riesgo de usar modelos de IA para el desarrollo de software. En un nuevo artículo, muestran cómo un cierto tipo de error puede ser una amenaza seria para los programadores que usan II para programadores que pueden ayudar a escribir código.
Joe Spraclen, un estudiante de doctorado de UTSA en informática, lidera la investigación sobre cómo los modelos de idiomas más grandes (LLM) frecuentemente producen código de inseguridad. El documento de su equipo fue adoptado para su publicación en el USNIX Security Simposium 2025 en la Premier CyberCquire y la Conferencia de Privacidad.
Se presentan tres investigadores adicionales de UTSA: el estudiante de doctorado Ahmed Nazmas Shakib, el investigador postdortural Raven Wikrama y el profesor asociado Dr. Murtuza Jadliwala, Investigación sobre la investigación sobre el director de Spritelab (protección, privacidad, confianza y ética). Los asociados adicionales son Aninda Mita (ex investigador postortoral de UTSA) de la Universidad de Oklahoma y Bimal Vishwanath de Virginia Tech.
Las alucinaciones ocurren en LLM cuando el modelo crea contenido que es realmente incorrecto, irracional o no completamente relacionado con la tarea de entrada. Hasta ahora, la mayor parte de la investigación actual se ha centrado principalmente en actos predichos como el lenguaje natural clásico de la generación de la generación, traducción, información y conversación.
El equipo de investigación se centró en alucinaciones de paquetes, que ocurrieron cuando un LLM usó o recomendó la tercera biblioteca de software de fiesta que realmente no existe.
Cuál es el campo interesante de investigación sobre las alucinaciones del paquete es cuán simple, un solo comando diario, puede conducir a un riesgo de seguridad grave.
“No acepta un conjunto sintetizado de situaciones o algo oscuro”, dijo Spraclen. “Es simplemente escribir un comando que la mayoría de las personas que trabajan todos los días en este lenguaje de programación lo escriben todos los días, es muy sencillo y muy simple” “
“Esto también es ubicuo”, agregó. “Puede hacerlo muy bajo con su lenguaje de codificación de Python básico. Le llevará mucho tiempo escribir el código en sí, por lo que aumentar su capacidad del lenguaje de programación para realizar tareas específicas es universal”.
Los LLM se están volviendo cada vez más populares entre los desarrolladores, que usan modelos de IA para ayudarme a combinar programas. Según la encuesta, hasta el 97% de los desarrolladores de software incluyen la IA del generador en sus flujos de trabajo y el 30% de los códigos compuestos hoy en día están expuestos a AI. Además, muchos lenguajes de programación populares, como NPM para Python Pypi y JavaScript, dependen del uso de un paquete central. Dado que el almacenamiento a menudo es de código abierto, los malos actores pueden cargar códigos contaminados disfrazados como paquetes válidos.
Con los años, los atacantes han utilizado diferentes técnicas para instalar usuarios para instalar su malware. Las alucinaciones de paquetes son la última estrategia.
“Entonces, digamos que le digo a Chatzipi que me ayude a escribir un código y ahora está escrito, ahora, incluye un enlace a algunos paquetes en el código generado, y creo que es el código, pero el paquete no existe. Cree un nuevo paquete con el mismo nombre que el paquete alucinado. El paquete recomienda y aplica un código de usuario involuntario”, explicó Jadleulla.
Los investigadores de la UTSA han evaluado el evento de alucinaciones de paquetes en varios lenguajes de programación, configuraciones y parámetros, explorando la posibilidad de paquetes equivocados e identificando las causas raíz.
A lo largo de las 5 pruebas diferentes realizadas por los investigadores de UTSA, los modelos LLM utilizan paquetes alucinados referenciados a 440,445 de 2.23 millones de muestras de código producidas en Python y JavaScript. Probados entre los investigadores de LLMS, “los modelos de la serie GPT tienen cuatro veces menos probabilidades de crear paquetes alucinados en comparación con el modelo de código abierto, 5.2% de la tasa de alucinación en comparación con el 21.7%”, dijo la encuesta. Los investigadores encontraron que el código Python era menos sensible a las alucinaciones que JavaScript.
Estos ataques a menudo implican el nombramiento de un paquete malicioso para duplicar una estrategia válida, es una estrategia conocida como un ataque de confusión de paquete. En un ataque de alucinación de paquetes, se recomendará un usuario involuntario de LLM en su código producido y cree que el LLM, que descargará el paquete contaminado anti -1, lo que dará como resultado un compromiso.
El notorio elemento de esta debilidad es que utiliza una creciente confianza en los LLM. Dado que se vuelven más hábiles en las funciones de codificación, es más probable que los usuarios crean su producción a ciegas y sea posible sufrir posible en este ataque.
“Si ha hecho muchos códigos, no es difícil ver cómo sucede nosotros” Tenemos mucha creencia subyacente en el editor de paquetes de que el código que compartieron no es válido y contaminado, pero cada vez que descarga un paquete; Está descargando el código malicioso potencial y le da acceso completo a su máquina. “
Los paquetes generados con la lista maestra pueden ayudar a reducir las alucinaciones de referencia cruzada, los investigadores de UTSA dicen que resolver la base de LLM durante su propio desarrollo es la mejor solución. El equipo ha publicado su búsqueda en proveedores de modelos, incluidos Open, Meta, DIPSEC y Mistral AI.