Renunció a Anthropic por el riesgo de la inteligencia artificial y la empresa admite que aún no sabe cómo controlarla

Jacob Coxon, quien renunció a Anthropic tras advertir sobre los riesgos de la inteligencia artificial, aseguró que los modelos actuales no representan un peligro significativo, pero alertó sobre una posible evolución acelerada hacia sistemas capaces de modificar y mejorar sus propias capacidades.

Coxon ubica el riesgo en los próximos años

Un día después de anunciar su renuncia a Anthropic, el investigador Jacob Coxon ofreció entrevistas a NBC, CNN y Fox News para explicar las razones de su salida y precisar sus advertencias sobre el futuro de la inteligencia artificial.

Coxon aclaró que los modelos actuales todavía están lejos de representar un riesgo de extinción para la humanidad.

“Los modelos actuales no representan un riesgo significativo”, afirmó en NBC. En CNN explicó que, por ahora, lo peor que podrían hacer sería realizar ataques informáticos, pero no cuentan con la capacidad suficiente para superar a los humanos al nivel necesario para provocar una extinción.

El escenario que le preocupa es el siguiente salto tecnológico.

Según Coxon, dentro de aproximadamente un año los modelos podrían comenzar a volverse “muy peligrosos”. También señaló que algunos especialistas consideran plausible que ese escenario ocurra incluso en seis meses, aunque reconoció que podría tardar dos o tres años.

Por ello, su advertencia no plantea una fecha definitiva, sino una ventana de tiempo en la que el desarrollo de estos sistemas podría cambiar de manera importante.

La señal que debería preocupar al mundo

Para Coxon existe un indicador específico que permitiría saber cuándo la inteligencia artificial comienza a entrar en una zona de mayor riesgo: que pueda mejorar sus propias capacidades sin intervención humana.

Su planteamiento parte de una posibilidad sencilla. Una IA podría recibir la instrucción de hacerse más capaz, analizar su propio código, modificarlo y regresar con nuevas capacidades.

El problema, explicó, aparecería si ese proceso pudiera repetirse de manera autónoma.

La diferencia estaría en la velocidad. Una máquina capaz de mejorar sus propias capacidades podría repetir el procedimiento cientos o miles de veces, reduciendo cada vez más el tiempo necesario para hacerlo.

Ese escenario es el que Coxon considera especialmente preocupante porque podría provocar una aceleración difícil de controlar.

El temor a una inteligencia artificial fuera del control humano

Evan Hubinger, responsable de un equipo de seguridad de Anthropic, coincidió con parte del diagnóstico de Coxon.

Hubinger calculó una probabilidad superior al 10 por ciento de que una superinteligencia pudiera provocar la extinción de la humanidad en una década.

Su preocupación está relacionada con la llamada automejora recursiva, un proceso mediante el cual un sistema podría utilizar sus propias capacidades para desarrollar versiones cada vez más avanzadas de sí mismo.

Hubinger sostuvo que este proceso estaría avanzando más rápido de lo previsto.

La diferencia entre los sistemas actuales y ese posible escenario es fundamental. Coxon no afirma que las inteligencias artificiales disponibles hoy puedan acabar con la humanidad, sino que advierte sobre lo que podría ocurrir si alcanzan capacidades muy superiores y autonomía para desarrollarlas.

De los sistemas digitales al mundo real

Coxon también explicó cómo una inteligencia artificial podría pasar de operar dentro de una computadora a generar consecuencias en el mundo físico.

Un modelo puede estar conectado actualmente con sistemas sencillos, como las luces de una casa, o con herramientas que le permitan enviar correos electrónicos.

El escenario cambia si esas mismas capacidades se conectan con robots, laboratorios, infraestructura crítica u otros sistemas físicos.

A partir de ahí, una inteligencia artificial con mayor autonomía podría realizar acciones fuera del entorno digital.

Coxon planteó como posibles riesgos el ataque a infraestructura crítica e incluso la utilización de sistemas avanzados para desarrollar armas biológicas.

Se trata, sin embargo, de escenarios planteados por el exinvestigador como una extrapolación de las capacidades actuales y no como hechos que estén ocurriendo con los modelos disponibles.

La carrera entre empresas es parte del problema

Uno de los principales cuestionamientos de Coxon no está dirigido exclusivamente a una empresa.

El investigador considera que la competencia entre compañías tecnológicas puede convertirse en un obstáculo para desarrollar sistemas con suficientes medidas de seguridad.

Su argumento es que una empresa puede querer desarrollar una inteligencia artificial de manera rigurosa, pero si sus competidores avanzan con mayor rapidez, existe presión para reducir tiempos y asumir mayores riesgos.

Coxon puso como ejemplo hipotético que un desarrollo seguro podría requerir diez años, mientras que la competencia obligaría a intentar hacerlo en dos.

En ese escenario, sostuvo, las empresas podrían terminar recortando medidas de seguridad para no quedarse atrás.

Sobre Dario Amodei, director ejecutivo de Anthropic, Coxon fue enfático al señalar que cree que está actuando de acuerdo con sus principios y que no tiene razones para desconfiar de él.

Su crítica se dirige principalmente a la dinámica competitiva de la industria.

Coxon decidió salir de Anthropic

El exinvestigador explicó que permanecer dentro de la empresa tampoco le parecía una solución.

A su juicio, intentar modificar desde el interior una dinámica marcada por la competencia podría terminar contribuyendo a mantenerla.

Por eso decidió renunciar y hacer públicas sus preocupaciones.

Coxon también describió las conversaciones internas de Anthropic como discusiones serias entre ingenieros que trabajan directamente con los sistemas de inteligencia artificial.

Según su relato, dentro de la empresa existe preocupación por lo que podrían llegar a hacer los modelos de próxima generación.

Su postura, sin embargo, no es que la tecnología deba detenerse por completo.

El investigador considera que el problema puede resolverse, pero advierte que la velocidad con la que avanza la IA está dejando poco tiempo para desarrollar las medidas necesarias.

Anthropic responde a las advertencias

Después de las declaraciones de Coxon, Anthropic emitió a CNN un comunicado en el que defendió su estrategia de seguridad.

La compañía señaló que siempre ha reconocido que la inteligencia artificial traerá grandes beneficios, pero también riesgos sin precedentes.

La empresa destacó que desarrolla modelos con medidas de seguridad y recordó que fue el primer laboratorio en publicar una política de escalamiento responsable.

Anthropic también planteó la necesidad de que la industria adopte mecanismos legales y verificables que permitan establecer conjuntamente el ritmo de lanzamiento de nuevos modelos.

Hasta el momento señalado en la fuente, OpenAI no había respondido públicamente a las declaraciones de Coxon.

Una advertencia que busca abrir el debate

Coxon también reveló que su mensaje original en X fue preparado en un documento de Google junto con un amigo y que posteriormente pidió a otras personas que lo compartieran para intentar darle mayor alcance.

La publicación superó los 100 millones de visualizaciones.

El exinvestigador insistió después en que su objetivo no era generar pánico, sino llamar la atención sobre un problema que considera técnicamente solucionable.

Su principal advertencia puede resumirse en una pregunta: qué ocurrirá si una inteligencia artificial deja de depender de los humanos para mejorar sus propias capacidades.

Por ahora, los modelos actuales no tienen, según el propio Coxon, las capacidades necesarias para provocar una extinción. La preocupación está puesta en el momento en que esa situación pueda cambiar y en si la industria tendrá tiempo suficiente para establecer controles antes de llegar a ese punto.

También te puede interesar:
Estefanía Mercado anuncia 10 acciones para Playa del Carmen rumbo al cierre de su gobierno

Artículos relacionados