El problema general de mezclar datos con comandos está en la raíz de muchas de nuestras vulnerabilidades de seguridad informática. En un ataque de desbordamiento de búfer, un atacante envía una cadena de datos tan larga que se convierte en comandos informáticos. En un ataque de inyección SQL, el código malicioso se mezcla con entradas de la base de datos. Y así sucesivamente. Siempre que un atacante pueda obligar a un ordenador a confundir datos con instrucciones, es vulnerable. Esto pasa en ChatGPT y el resto de LLM.
Comentarios
"El problema general de mezclar datos con comandos"... este es el puto problema desde Von Nueman...
Lo logico que todos los estudiantes hemos preguntado desde los 60 es: Por que no hay una memoria de datos y otra de instrucciones?
Yo no voy a decir nada, salvo que le problema es que los agentes (voy a dejar de decir IA, porque son putos agentes desde los 90) no tienen un marco de referencia para la solucion de este tipo de problema. Solo son agentes, y en este caso ni eso. Solo son modelos semanticos probabilisticos.