Investigador de Anthropic renuncia y advierte sobre el riesgo de una IA superinteligente

0
10

Jacob Coxon, quien también trabajó en OpenAI, acusó a ambas compañías de avanzar hacia sistemas cada vez más poderosos sin atender, a su juicio, suficientemente los riesgos que podrían representar.

El investigador británico Jacob Coxon renunció a Anthropic, empresa desarrolladora de Claude, y lanzó una severa advertencia sobre la carrera por desarrollar sistemas de inteligencia artificial cada vez más avanzados.

Coxon, de 27 años, aseguró que durante los últimos tres años trabajó en investigación de preentrenamiento tanto en OpenAI como en Anthropic. Al anunciar su salida el 8 de septiembre, afirmó que ninguna de las dos compañías está actuando con la responsabilidad necesaria frente a los posibles riesgos de una futura inteligencia artificial superinteligente.

En un hilo publicado en X, el investigador sostuvo que quienes desarrollan estas tecnologías consideran seriamente la posibilidad de que una IA muy avanzada pueda representar una amenaza existencial para la humanidad antes de que termine la década.

“Las personas que están construyendo IA creen sinceramente que podría matarnos a todos al final de esta década”, afirmó.

Coxon advirtió que los futuros sistemas podrían alcanzar capacidades superiores a las humanas en determinados ámbitos, entre ellas la programación y la ciberseguridad, y eventualmente adquirir mayor autonomía, poder y recursos.

Sus señalamientos se centran especialmente en la posibilidad de una “superinteligencia que se mejora a sí misma”, un escenario hipotético en el que sistemas avanzados de IA contribuirían a acelerar el desarrollo de versiones todavía más capaces. Los modelos disponibles actualmente no poseen esas capacidades en el grado descrito por Coxon.

El exinvestigador también distinguió entre la cultura de las dos empresas para las que trabajó. Según su valoración, parte del personal de OpenAI no habría asimilado plenamente las posibles implicaciones de alcanzar sistemas superinteligentes, mientras que en Anthropic existiría una mayor conciencia del riesgo, aunque la compañía estaría condicionada por la competencia para desarrollar la tecnología antes que sus rivales.

Ante ese panorama, Coxon planteó una mayor coordinación entre los principales laboratorios de IA e incluso una pausa temporal en el aumento de las capacidades de los modelos, mientras se desarrollan mejores mecanismos para garantizar que sistemas futuros permanezcan bajo control humano.

Las declaraciones recibieron el respaldo de Evan Hubinger, investigador de Anthropic, quien afirmó que comparte la preocupación sobre riesgos extremos de la IA. Hubinger situó en más de 10 por ciento su estimación personal sobre la posibilidad de que una futura IA provoque la extinción humana durante la próxima década. Se trata de una valoración individual y no de una probabilidad establecida científicamente.

Hubinger aclaró, además, que su principal preocupación no son los modelos actuales, sino sistemas futuros capaces de mejorar aceleradamente sus propias capacidades.

La salida de Coxon se suma a otras voces de especialistas que en los últimos años han pedido mayor cautela en el desarrollo de la inteligencia artificial.

Entre ellas se encuentra Geoffrey Hinton, uno de los pioneros del aprendizaje profundo y posteriormente galardonado con el Nobel de Física, quien dejó Google en 2023 y desde entonces ha expresado públicamente sus inquietudes sobre los posibles riesgos derivados de sistemas de IA cada vez más capaces.

En 2024, exempleados y empleados de distintas compañías de inteligencia artificial también difundieron una carta abierta en la que solicitaron mayores mecanismos de supervisión y protección para trabajadores que decidan alertar sobre posibles riesgos de estas tecnologías.

Las advertencias de Coxon reavivan así el debate dentro de la industria sobre hasta qué punto debe acelerarse el desarrollo de sistemas de IA de frontera y qué medidas de seguridad deberían establecerse antes de alcanzar capacidades significativamente superiores a las actuales.

DEJA UNA RESPUESTA

Por favor ingrese su comentario!
Por favor ingrese su nombre aquí