GhostWriter envenana los recuerdos de la IA para manipular las respuestas que da a los usuarios
MADRID, 20 Jul. –
Investigadores de la Universidad de la Universidad Estatal de Nuevo México (Estados Unidos) han alertado sobre GhostWriter, un nuevo vector de ataque que aprovecha la memoria a largo plazo de los modelos de lenguaje para manipular los recuerdos, con el potencial de afectar en las decisiones de los usuarios.
La memoria a largo plazo de los modelos de lenguaje permite que ‘chatbots’ como ChatGPT o Gemini puedan recordar más información de las conversaciones mantenidas con los usuarios y utilizarla para que las siguientes interacciones sean más personalizadas y se ajusten más a lo que solicitan.
Este componente es vulnerable a GhostWriter, un tipo de ataque diseñado para envenenar los recuerdos de la inteligencia artificial. Para ello, oculta una indicación maliciosa en un objeto que va a analizar la IA, como una fotografía o un texto.
Se trata de una forma de inyección de instrucciones (‘prompt injection’), aunque en lugar de activar una respuesta concreta inmediata, afecta a la información almacenada en la memoria de la IA. Tampoco busca robar información, sino manipularla.
De esta forma, GhostWriter puede conseguir que la IA ofrezca información manipulada a los usuarios en conversaciones futuras, influyendo en las decisiones que toman.
En su investigación, publicada en Arxiv, los investigadores atribuyen este vector de ataque a «la falta de una gobernanza de memoria centrada en la seguridad». Y para corregirlo, proponen un centinela de memoria agente (AM-Sentry), que mitiga un ataque como el de GhostWriter «una política de ahorro de memoria y un filtro de recuperación de memoria».
CL24
