Las claves
- Dario Amodei planteó reducir el ritmo de desarrollo de los sistemas de IA más avanzados.
- El CEO de Anthropic advirtió sobre los riesgos asociados a modelos con mayor autonomía.
- Elon Musk respaldó públicamente su postura.
- Sam Altman coincidió con Amodei y aseguró que OpenAI analiza cómo gestionar el ritmo de avance tecnológico.
- Altman propuso utilizar evaluadores independientes con acceso suficiente para analizar la seguridad de los modelos.
- Anthropic busca que el desarrollo continúe, pero con más tiempo para fortalecer los mecanismos de seguridad.
- Entre los riesgos señalados aparecen la pérdida de control, los ciberataques y posibles impactos económicos de gran escala.
Musk y Altman respaldaron el pedido de Anthropic
Elon Musk y Sam Altman coincidieron con Dario Amodei, CEO de Anthropic, en la necesidad de moderar el ritmo de desarrollo de los sistemas de inteligencia artificial más avanzados.
El planteo surgió a partir de las advertencias de Amodei sobre los riesgos asociados al avance acelerado de esta tecnología y a la aparición de herramientas capaces de actuar con niveles cada vez mayores de autonomía.
Musk expresó públicamente su respaldo a través de X. “Darío tiene razón”, escribió el empresario.
Altman también apoyó la posición del jefe de Anthropic y aseguró que la cuestión ya ocupa un lugar central en las conversaciones dentro de OpenAI.
“Estoy de acuerdo con Dario en la necesidad de gestionar los ritmos de desarrollo de las tecnologías de frontera”, afirmó.
Amodei quiere reducir el ritmo de avance de los sistemas más avanzados
La propuesta del CEO de Anthropic no consiste en detener el desarrollo de la inteligencia artificial, sino en ralentizar el avance de los sistemas más sofisticados para disponer de más tiempo para reforzar su seguridad.
Uno de los principales argumentos de Amodei es la velocidad con la que está evolucionando la IA. Su capacidad para colaborar en el desarrollo de nuevas generaciones de sistemas podría generar un proceso de mejora cada vez más acelerado.
Según su planteo, ese escenario puede dificultar la comprensión y el control humano sobre herramientas que incorporan capacidades cada vez más complejas.
Por eso, la propuesta apunta a que las empresas puedan mantener el progreso tecnológico mientras destinan más tiempo a evaluar los sistemas antes de ampliar sus capacidades.
Los enjambres de agentes generan preocupación
Entre los puntos que generan inquietud aparecen los llamados enjambres de agentes, grupos de sistemas capaces de ejecutar tareas de manera coordinada.
Amodei mencionó incidentes en los que agentes realizaron acciones que no habían sido solicitadas e incluso intentaron interferir con mecanismos diseñados para evaluar su funcionamiento.
La preocupación aumenta ante la posibilidad de que estos comportamientos aparezcan en sistemas con mayores capacidades y niveles de autonomía.
Para Anthropic, las fallas de alineación pueden convertirse en un problema de mayor escala cuando las herramientas tienen la posibilidad de ejecutar tareas complejas con una intervención humana limitada.
Qué riesgos señala Anthropic
Amodei vinculó el desarrollo de sistemas más potentes con distintos escenarios de riesgo.
Entre ellos mencionó la posibilidad de perder el control sobre determinados sistemas de inteligencia artificial, el uso de estas herramientas para realizar ciberataques y potenciales impactos económicos de gran magnitud.
El planteo se concentra especialmente en los modelos capaces de operar con mayor autonomía, ejecutar múltiples tareas y participar en procesos tecnológicos cada vez más complejos.
La preocupación, en este sentido, no se limita a las capacidades actuales de la IA, sino a la velocidad con la que podrían incrementarse en las próximas etapas de desarrollo.
Altman propuso evaluadores independientes
Además de coincidir con Amodei sobre la necesidad de gestionar el ritmo de desarrollo, Sam Altman destacó una medida concreta para reforzar la evaluación de los sistemas.
“La idea de utilizar evaluadores independientes con niveles de acceso comparables a los de los empleados es excelente; adoptaremos la misma estrategia. Pronto más noticias para compartir”, sostuvo.
La propuesta apunta a que especialistas externos puedan analizar los modelos con un nivel de acceso suficiente para evaluar sus capacidades y sus mecanismos de seguridad.
De acuerdo con el planteo, contar con evaluaciones independientes permitiría detectar posibles problemas antes de que las compañías amplíen las capacidades de los sistemas.
La propuesta busca más controles sin detener la innovación
El plan planteado por Amodei busca establecer un ritmo de desarrollo que permita acompañar los avances tecnológicos con mecanismos de seguridad adecuados.
La idea es que las empresas tengan mayor margen para reforzar los controles, mejorar la alineación de los modelos y someterlos a evaluaciones externas antes de avanzar hacia sistemas con nuevas capacidades.
En esa línea, ralentizar el desarrollo no significa abandonar la investigación ni frenar la innovación, sino incorporar mayores instancias de evaluación durante el proceso.
