Contenido mejorado: Dario Amodei, cofundador de Anthropic, empresa desarrolladora del modelo de inteligencia artificial Claude, insta a moderar la velocidad de avance en los modelos de IA de última generación a nivel global. Según Amodei, las capacidades técnicas del sector están creciendo a un ritmo superior a la capacidad de implementar salvaguardas efectivas.
El planteamiento de Amodei no busca suspender el desarrollo técnico, sino implementar una progresión graduada. La iniciativa busca brindar tiempo a los equipos de investigación para perfeccionar los mecanismos de alineamiento ético y control de seguridad antes de lanzar herramientas más potentes.
Los riesgos de la aceleración tecnológica incluyen la automejora recursiva y incidentes de ciberseguridad con redes de agentes autónomos desalineados. Estos eventos podrían derivar en daños económicos importantes si no se establecen controles adecuados a corto plazo.
Para abordar esta situación, Amodei propone una estrategia de tres pasos: evaluadores integrados, coordinación democrática y acuerdos globales. Anthropic ya ha adoptado el primer paso al abrir sus procesos internos a revisiones de terceros.
La compañía sostiene que en la actualidad existen modelos con capacidades complejas para analizar detalladamente sus fallas. Reducir la velocidad de lanzamiento permitiría enfocarse en áreas críticas como la interpretabilidad, la excelencia operativa en los centros de datos y las pruebas de evaluación antes de comercializar nuevos productos.
Comentarios