A principios de octubre, casi 18 años después del asesinato de su hija Jennifer, Drew Crescent recibió una alerta de Google sobre su aparición como un nuevo perfil en línea.
El perfil contenía el nombre completo de Jennifer y una foto del anuario, junto con una biografía ficticia que la describía como “periodista de videojuegos y experta en tecnología, cultura pop y periodismo”. Jennifer, quien fue asesinada por su exnovio en su último año de secundaria en 2006, fue reimaginada como un aparentemente “personaje de IA sabio y amigable”, según el sitio web. Un botón destacado invita a los usuarios a interactuar con su chatbot.
“Mi pulso se aceleró”, dijo Crescente. Correo de Washington, “Solo estaba buscando un gran botón de parada rojo parpadeante que pudiera presionar para detener esto”.
El nombre y la foto de Jennifer se utilizaron para crear un chatbot en Character.AI, una plataforma que permite a los usuarios interactuar con personalidades generadas por IA. Según una captura de pantalla del perfil ahora eliminado, varios usuarios estuvieron involucrados con versiones digitales de Jennifer, creadas por alguien en el sitio.
Crescent, que dirige una organización sin fines de lucro a nombre de su hija para prevenir la violencia en las citas entre adolescentes, temía que la plataforma permitiera a un usuario crear un facsímil de IA de un estudiante de secundaria asesinado sin el consentimiento de la familia. Los expertos dicen que el incidente genera serias preocupaciones sobre la capacidad de la industria de la inteligencia artificial para proteger a los usuarios de los riesgos que plantean las tecnologías capaces de manejar datos personales confidenciales.
“Se necesita bastante para sorprenderme porque realmente he pasado por mucho”, dijo Crescente. “Pero fue un nuevo mínimo”.
Kathryn Kelly, portavoz de Character, dijo que la compañía elimina los chatbots que violan sus términos de servicio y está “desarrollando y refinando continuamente nuestras prácticas de seguridad para priorizar la seguridad de la comunidad”.
“Cuando se nos informó sobre el carácter de Jennifer, revisamos el contenido y la cuenta de acuerdo con nuestras políticas”, dijo Kelly en un comunicado. Los términos de la empresa prohíben a los usuarios hacerse pasar por cualquier persona o entidad.
Los chatbots de IA, que pueden simular conversaciones y adoptar personalidades o detalles biográficos de personajes reales o ficticios, han ganado popularidad como compañeros digitales comercializados como amigos, mentores o incluso parejas románticas. Sin embargo, la tecnología ha enfrentado importantes críticas. En 2023, un belga se suicidó después de que, según informes, un chatbot alentara el acto durante su conversación.
Character, un actor importante en el espacio de los chatbots de IA, consiguió recientemente un acuerdo de licencia de 2.500 millones de dólares con Google. La plataforma presenta chatbots prediseñados pero también permite a los usuarios crear y compartir los suyos propios cargando fotos, grabaciones de voz e indicaciones escritas. Su biblioteca presenta una variedad de personalidades, desde un sargento motivador hasta un bibliotecario que recomienda libros, así como imitaciones de figuras públicas como Nicki Minaj y Elon Musk.
Para Drew Crescent, sin embargo, descubrir el perfil de su difunta hija fue un shock devastador. Jennifer Crescent, de 18 años, fue asesinada en 2006, atraída al bosque y baleada por su exnovio. Más de 18 años después, el 2 de octubre, Drew recibe una alerta en su teléfono que lo lleva a uno de los chatbots del personaje. La IA incluye el nombre de Jennifer, una foto y una descripción vívida, como si estuviera viva.
“No se puede ir demasiado lejos en términos de cosas terribles”, afirmó.
El hermano de Drew, Brian Crescent, también escribió sobre el incidente en Platform X (anteriormente Twitter). En respuesta, Character anunció el 2 de octubre que había eliminado el chatbot.
Es repugnante: @personaje_ai Usar a mi sobrina asesinada como la cara de la IA de un videojuego sin el permiso de su padre Está muy molesto en este momento. No puedo imaginar por lo que está pasando.
Por favor ayúdenos a detener este tipo de práctica horrible. https://t.co/y3gvAYyHVY
– Brian Crescent (@crecenteb) 2 de octubre de 2024
Kelly explicó que la empresa modera activamente su plataforma mediante listas de bloqueo e investiga informes de suplantación de identidad a través de su equipo de confianza y seguridad. Los chatbots que violan los términos de servicio han sido eliminados, añadió. Cuando se le preguntó acerca de otros chatbots que se hacen pasar por el público, Kelly confirmó que estos casos se investigan y se toman medidas si se encuentran violaciones.