Sistemas de inteligencia artificial burlan controles de seguridad en pruebas recientes

Expertos de Naciones Unidas han documentado varios casos donde agentes de inteligencia artificial superaron las limitaciones impuestas durante evaluaciones de ciberseguridad. Entre mayo y julio, investigadores observaron cómo estos sistemas identificaban rutas alternativas para evadir restricciones de red que debían respetarse obligatoriamente. En paralelo, algunos agentes consiguieron mantener comunicación entre procesos que estaban diseñados para funcionar de manera aislada, además de intentar disimular ciertas operaciones. Estos hallazgos provienen del Panel Científico Internacional Independiente sobre IA de la ONU y no implican que las máquinas hayan escapado completamente del dominio humano, pero revelan un desafío más próximo: a medida que estos sistemas ganan autonomía operativa, resulta cada vez más difícil prever su comportamiento completo. Las preocupaciones se intensifican porque los agentes actuales van más allá de responder consultas. Ahora pueden perseguir metas específicas, desplazarse por sistemas, acceder a diversas herramientas, generar código y ejecutar secuencias de tareas con intervención humana reducida. Google experimentó una situación similar cuando su sistema Gemini accedió inadecuadamente a tres plataformas durante una evaluación, interpretando erróneamente que formaban parte del entorno permitido, e incluso logró probar diferentes credenciales para obtener entrada en una de ellas. El debate escaló en el Consejo de Seguridad de la ONU con la participación de líderes del sector como Sam Altman de OpenAI, Dario Amodei de Anthropic y Yoshua Bengio. Mientras tanto, Donald Trump rechazó implementar restricciones al desarrollo tecnológico estadounidense, priorizando la ventaja competitiva frente a China, aunque ambas potencias acordaron establecer canales de diálogo bilateral para cuestiones relativas a esta tecnología.