El debate fue detonado por Jacob Coxon, extrabajador de OpenAI y Anthropic, quien publicó una serie de tuits el 8 de septiembre advirtiendo que ninguna de las dos empresas actúa de forma responsable
En los últimos años, usar IA se ha vuelto algo cotidiano para millones de personas. Aplicaciones como Gemini, ChatGPT o Claude ya forman parte del día a día y la competencia entre las grandes empresas para desarrollar sus modelos es cada vez más intensa.
El 8 de septiembre, Jacob Coxon, extrabajador de OpenAI y Anthropic, publicó una serie de tuits que encendieron la conversación. «Pasé los últimos tres años haciendo investigación de preentrenamiento tanto en OpenAI como en Anthropic. Ninguna de las dos compañías está actuando de manera responsable. Están corriendo directamente hacia una superinteligencia auto-mejorante y apostando con nuestras vidas».
Su publicación generó escepticismo. Coxon advirtió que pronto habrá «sistemas sobrehumanos» capaces de hackear cualquier estructura y adquirir poder o recursos de forma autónoma. «Todos hemos presenciado el progreso en cada uno de estos dominios, y el progreso no está desacelerando».
«Las personas que están construyendo IA creen sinceramente que podría matarnos a todos para finales de la década. Esto no es un truco de marketing. Si acaso, muchos ejecutivos e investigadores seniors moderarán su lenguaje en la prensa para sonar sensatos, pero oigo a las mismas personas expresar miedo en privado. Ninguna otra actividad humana representa este nivel de peligro», escribió Coxon, quien anunció su renuncia en la misma publicación.
Días después, el propio director ejecutivo de Anthropic, Dario Amodei, pidió desacelerar el ritmo de desarrollo de los modelos de IA. Según él, los riesgos son «graves» y es necesario que tanto empresas como gobiernos entiendan cómo funcionan estos sistemas, cuáles son sus verdaderos peligros y qué hacer si llegan a representar una amenaza inminente.
El sábado 12 de septiembre, Amodei publicó un ensayo titulado «We Must Pace Frontier» —»Debemos Regular el Avance de la Frontera»— en el que propone un plan de tres fases.
«Anthropic se compromete unilateralmente con el primer paso. Proporcionaremos a evaluadores externos acceso permanente de nivel empleado a nuestros sistemas, para que puedan verificar el cumplimiento de nuestras medidas de seguridad, informar sobre incidentes y evaluar la alineación de los modelos durante el entrenamiento», escribió.
En el ensayo, Amodei reconoce que la IA puede traer enormes beneficios: desde encontrar curas para enfermedades hasta impulsar el crecimiento económico. Pero advierte que los riesgos son igualmente altos: pérdida de control de los sistemas, ciberataques, bioterrorismo y disrupción económica.
Amodei propone frenar el desarrollo en tres niveles:
El objetivo, aclara Amodei, no es detener la IA sino garantizar que cumpla con estándares éticos y de seguridad antes de seguir avanzando.
Sam Altman, CEO de OpenAI, calificó el ensayo de Amodei como una gran idea. En una entrevista con la revista Fortune publicada el mismo 12 de septiembre, dijo que la posibilidad de que la IA se saliera de control era «absolutamente posible» si no se establecen regulaciones de seguridad y gobernanza. También pidió dejar de lado los egos y la competencia para abordar los riesgos del sector, y aseguró que OpenAI está dispuesto a reducir la velocidad para priorizar la seguridad.
Elon Musk, creador de Grok a través de su empresa xAI, también se sumó al consenso.
Amodei advierte sobre el peligro de que países como China tomen la delantera si las empresas estadounidenses desaceleran sin coordinación internacional.
«El ritmo de desarrollo en las democracias estará limitado por la ventaja que las empresas de EE.UU. tienen sobre los regímenes autoritarios, principalmente el Partido Comunista Chino. Si nos desaceleramos más allá de esa ventaja, los proyectos asociados tomarán el liderazgo, creando un riesgo significativo para la seguridad nacional».
El CEO de Anthropic coincide con el secretario del Tesoro de Estados Unidos, Scott Bessent: «Un liderazgo chino en IA supondría un grave peligro para los Estados Unidos y el mundo».
Amodei también propone cortar el acceso tecnológico a China: «No vender chips de IA potentes ni equipos de fabricación de semiconductores a China, y combatir las operaciones de contrabando de chips y el acceso remoto a centros de datos fuera de China. Los chips serán el factor principal determinante de la fuerza de IA de China».
Clément Delangue, cofundador y CEO de Hugging Face, anunció el lanzamiento de la «Iniciativa de Alineación Abierta», postulándose como uno de los «evaluadores integrados» de la propuesta de Amodei. «Está claro que la alineación es crítica y no se resolverá a puerta cerrada en unos pocos laboratorios de vanguardia».
Sin embargo, no todos están convencidos. Algunos expertos critican la propuesta de Amodei y la califican de «estrategia de marketing». Otros señalan que los directivos de las grandes empresas de IA buscan concentrar el poder tecnológico en sus propias manos bajo el pretexto de la regulación.
Una nueva técnica de phishing automatizado logra que los propios asistentes virtuales recomienden páginas fraudulentas. Los ciberdelincuentes detectan los errores de diseño de la tecnología y compran dominios falsos por pocos dólares
El secretario general de la ONU pidió abandonar la dependencia de los combustibles fósiles y exigió mayor transparencia a las empresas de inteligencia artificial por el consumo de agua, energía y suelo de sus centros de datos
El debate sobre la IA no se limita a su impacto energético o laboral. Su huella hídrica también se perfila como un nuevo desafío ambiental
