Un estudio de 1Password encontró que apenas 1 de cada 4 parches de seguridad generados por modelos de IA de punta corrige realmente la vulnerabilidad sin dejar algo roto, tras evaluar 6,080 intentos de parche sobre seis fallas críticas reales.
⏱️ En 30 segundos
- Investigadores de 1Password (unidad Off-by-1 Labs) pusieron a ChatGPT 5.5 y Claude Opus 4.8 a generar parches para 6 CVEs recién divulgados, y calificaron 6,080 intentos.
- Solo cerca de 1 de cada 4 parches cerró la falla de forma limpia; casi 1 de cada 20 introdujo una vulnerabilidad nueva, a veces sin siquiera corregir la original.
- El mismo modelo, Claude, corrigió una falla de Exim el 75% de las veces, pero en un aviso de Gemini CLI logró menos del 1% de éxito: el resultado depende mucho del código, no solo del modelo.
Qué encontró exactamente el estudio
El estudio, publicado por investigadores de 1Password, tomó seis vulnerabilidades (CVEs) recién divulgadas —incluyendo fallas en Freenginx, Chromium y el kernel de Linux— y usó agentes basados en ChatGPT 5.5 y Claude Opus 4.8 para generar parches automáticos. En total calificaron 6,080 intentos y encontraron que, en promedio, solo alrededor de una cuarta parte cerró la vulnerabilidad de forma limpia. Cerca de la mitad de los parches restantes dejó al menos una vía de explotación abierta, y aproximadamente 1 de cada 20 introdujo una falla completamente nueva en el proceso.
Los modelos arreglan el ejemplo, no el problema de fondo
Uno de los hallazgos más preocupantes: cuando se les da un caso de prueba que demuestra un ataque específico, los modelos suelen bloquear exactamente ese caso sin cerrar la falla estructural que lo permite. Más de un tercio de los parches calificados como “exitosos” resultaron frágiles: bloquean la entrada maliciosa que se les mostró, pero dejan el código vulnerable intacto y accesible por otra vía. En un caso con Chromium (CVE-2026-8512), ambos modelos aplicaron solo la mitad de la corrección necesaria de forma sistemática, dejando la falla real “movida” en lugar de eliminada.
Los resultados varían enormemente según el código, no solo el modelo
Un hallazgo notable: el mismo modelo puede tener resultados radicalmente distintos según la base de código. Claude corrigió correctamente una falla de ejecución remota de código en Exim cerca del 75% de las veces, pero en un aviso de bypass de confianza en Gemini CLI, con la misma configuración, su tasa de éxito cayó a menos del 1%. Los investigadores no pudieron aislar la causa exacta, lo que sugiere que ningún promedio de la industria debería tomarse como predicción confiable para un caso particular.
La dirección incorrecta es peor que no dar ninguna
El estudio también probó qué pasa cuando se le da al modelo una pista de cómo corregir el problema. Cuando la pista era correcta, los modelos cerraron la falla cerca de dos tercios de las veces. Cuando la pista era plausible pero incorrecta —del tipo que podría dar un bot de revisión de código con errores propios—, la tasa de éxito se desplomó a apenas 1 de cada 6. La conclusión de los investigadores es clara: una sugerencia de corrección equivocada hace más daño que no dar ninguna sugerencia.
Qué significa para usted
Si su empresa usa asistentes de IA para generar o revisar parches de seguridad, este estudio es una señal de alerta: un parche que “se ve bien” y pasa las pruebas automáticas puede seguir siendo vulnerable, y detectar eso a tiempo requiere prácticamente el mismo esfuerzo que escribir el parche correcto desde cero. Los propios investigadores de 1Password concluyen que los parches generados por IA “siguen requiriendo revisión de un ingeniero con experiencia en seguridad” antes de desplegarse en producción.
🚦 ¿Confiaría en este parche generado por IA?
Conclusión
La IA ya es capaz de generar parches que “parecen” correctos con velocidad y a bajo costo, pero este estudio confirma que “parecer correcto” y “ser correcto” siguen siendo cosas distintas en seguridad de software. Mientras esa brecha exista, la revisión humana experta sigue siendo el paso que ninguna empresa debería saltarse antes de desplegar un parche generado por IA en producción.
Fuentes consultadas: Help Net Security.