Anthropic propone frenar el desarrollo de la IA y advierte sobre sistemas capaces de mejorarse solos

La compañía de inteligencia artificial Anthropic planteó la necesidad de establecer un mecanismo internacional que permita ralentizar o incluso pausar temporalmente el desarrollo de los modelos más avanzados de IA si estos comienzan a evolucionar más rápido de lo que la sociedad puede gestionar.

La propuesta fue presentada en un documento firmado por Marina Favaro, directora de investigación del Anthropic Institute, y Jack Clark, responsable de políticas públicas de la empresa. Allí sostienen que el avance de la tecnología podría acercarse a un escenario de “auto-mejora recursiva”, en el que los sistemas de inteligencia artificial sean capaces de desarrollar versiones más avanzadas de sí mismos sin intervención humana.  

La preocupación por la auto-mejora de la IA

Según Anthropic, la posibilidad de que una IA pueda construir a sus propios sucesores representaría un cambio histórico en el desarrollo tecnológico. Sin embargo, también podría aumentar los riesgos de pérdida de control sobre estos sistemas.

“Sería bueno para el mundo tener la opción de ralentizar o pausar temporalmente el desarrollo de la IA de frontera para que las estructuras sociales y la investigación en alineación puedan mantenerse al ritmo del avance tecnológico”, señalaron los autores del informe.  

La empresa indicó que cualquier pausa efectiva debería ser coordinada entre los principales laboratorios de IA del mundo, contar con mecanismos de verificación y estar respaldada por reglas claras sobre cuándo y cómo aplicarla. Una desaceleración unilateral, sostienen, tendría un impacto limitado y podría alterar el equilibrio competitivo sin mejorar la seguridad.  

El dato que encendió las alarmas

Anthropic utilizó ejemplos internos para ilustrar la velocidad del progreso tecnológico. La compañía afirmó que, hasta mayo, más del 80% del código incorporado a su base de desarrollo había sido generado por Claude, su propio sistema de inteligencia artificial.  

Para la firma, este nivel de automatización muestra cómo la IA ya está acelerando el desarrollo de nuevas capacidades y podría acercar más rápido de lo previsto escenarios de auto-mejora tecnológica.  

Críticas y debate en la industria

La propuesta no estuvo exenta de cuestionamientos. Algunos competidores y analistas sostienen que los llamados a frenar el desarrollo pueden beneficiar a las empresas ya consolidadas en el sector al dificultar el avance de nuevos actores.

El CEO de OpenAI, Sam Altman, ya había criticado en ocasiones anteriores la estrategia comunicacional de Anthropic, al considerar que enfatiza los riesgos de la IA mientras continúa desarrollando sistemas cada vez más potentes.  

Aun así, la discusión sobre cómo regular la inteligencia artificial avanza en paralelo al crecimiento acelerado de la industria. Anthropic adelantó que promoverá conversaciones con gobiernos, investigadores y organizaciones de la sociedad civil para explorar mecanismos de coordinación internacional frente a los riesgos de los sistemas más avanzados.  

La iniciativa reabre uno de los debates centrales del sector: cómo equilibrar la innovación tecnológica con la necesidad de mantener el control sobre herramientas cada vez más poderosas.