La empresa incluyó este escenario entre los factores de riesgo de la IA en un documento presentado ante la SEC (la Comisión de Bolsa y Valores de Estados Unidos), denominándolo “mejora recursiva autónoma”.
Esto sucede cuando el software alcanza un nivel de desarrollo suficiente para programar y entrenar modelos posteriores, lo que desencadena una reacción en cadena que acelera la evolución de la tecnología.
Para Anthropic, esto plantea un problema de seguridad: si las máquinas avanzan con demasiada rapidez, es posible que los expertos no dispongan del tiempo necesario para verificar el comportamiento del sistema y mantenerlo bajo control.
Aunque los modelos actuales aún no alcanzaron este umbral, las estimaciones internas sugieren que las futuras generaciones podrían hacerlo pronto.
En cualquier caso, Anthropic garantizó que no permitirá que su software diseñe nuevas versiones sin intervención humana. Los investigadores y técnicos seguirán estando a cargo de cada etapa del trabajo.
“Estamos evaluando actualizaciones de nuestra política de escalado responsable para mantener el control humano sobre el desarrollo de modelos de vanguardia”, explicó Anthropic. (ANSA).
