400 días después del «riesgo de extinción»: el cisma de OpenAI y los peligros existenciales de la IA
![](/download/publicidades.imagxs.baed32d93e6e4a42.aW1hZ3hzLmdpZg==.gif)
![](/download/publicidades.imagen.87f01b6fcb3e0ade.aW1hZ2VuLmdpZg==.gif)
![ciudad1-1024x616](/download/multimedia.normal.9ecc0a9c25874514.Y2l1ZGFkMS0xMDI0eDYxNl9ub3JtYWwud2VicA%3D%3D.webp)
![](/download/publicidades.imagxs.921202e1b5918fb0.aW1hZ3hzLmdpZg==.gif)
![](/download/publicidades.imagen.a1685580c5ba9e3b.aW1hZ2VuLmdpZg==.gif)
El 30 de mayo de 2023, diversas personalidades del mundo tecnológico firmaron una carta declarando que «La mitigación del riesgo de extinción producido por la IA debería ser una prioridad global, junto con la de otros riesgos a escala, como las pandemias o una guerra nuclear». La carta no daba más detalles, dejando a nuestra imaginación cuál podría ser ese riesgo de extinción.
Algunas voces críticas la consideraron una maniobra de distracción respecto al verdadero riesgo que representaban los modelos actuales, como los sesgos, las discriminaciones o la falta de transparencia en sus decisiones. Además, tampoco ayudaba el hecho de que entre los firmantes se encontraran los líderes de las empresas que estaban desarrollando esos modelos. Esto hacía que pareciera una campaña de marketing dirigida a destacar el potencial de una nueva tecnología más que una preocupación genuina.
Además, no todos los gurús de la IA estaban de acuerdo, Yann LeCun, Chief AI Scientist en Meta, expresaba su desacuerdo diciendo que «el debate sobre el riesgo de extinción es prematuro cuando todavía no somos capaces de desarrollar máquinas que rivalicen con un gato en términos de aprendizaje».
Un año después, parece que empezamos a entender mejor los riesgos. A ello han contribuido pensadores como Geoffrey Hinton, uno de los padres de la IA moderna, que el año pasado dejó Google para dedicarse exclusivamente a concienciar a la sociedad sobre los peligros de esta tecnología. Según cuenta, tuvo una revelación en la que imaginó que varias inteligencias podrían unirse formando una colmena, concluyendo que pronto esta inteligencia superaría a la humana. A partir de esta idea, visualizó dos futuros inquietantes: uno en el que un ser malvado utiliza la IA para crear robots asesinos o llevar a cabo actos de bioterrorismo, y otro en el que las máquinas evolucionan hasta ser completamente autónomas, fijando sus propias metas y actuando con intencionalidad, lo que podría llevar a un «desalineamiento» entre nuestros objetivos y los suyos.
Antes de continuar con los riesgos existenciales o catastróficos, conviene aclarar que los modelos actuales ya acumulan una montaña de evidencias de riesgos más “mundanos” que requieren una atención urgente. Dicho lo cual, ahora sí podemos centrarnos en las dos vertientes del riesgo que quitan el sueño a Geoffrey Hinton.
Un ser maligno aprovecha las capacidades de la IA para llevar a cabo un ataque con armas biológicas
En febrero de 2024, OpenAI publicó un informe evaluando el riesgo de que un terrorista pudiera desarrollar armas biológicas utilizando sus modelos de IA más avanzados. Para testar esta posibilidad, se hizo una prueba con 100 voluntarios reclutados entre expertos en virología y estudiantes de biología, a quienes se les dio de forma aleatoria acceso a Internet y un chatbot de IA, o solo a Internet. A continuación, se les asignaron diversas tareas para llevar a cabo un ataque biológico a lo largo de distintas etapas: planificación, adquisición de recursos como agentes biológicos, formulación y replicación de virus, y finalmente, la estrategia para su liberación evitando los controles de seguridad existentes. Posteriormente, un panel de especialistas en riesgos de bioterrorismo evaluó el desempeño de los participantes utilizando criterios como su precisión, creatividad o la viabilidad de sus acciones y resultados.
Las conclusiones del estudio fueron que, si bien el uso de IA facilitaba el ataque, no aumentaba de forma significativa el riesgo de esta amenaza. Sin embargo, reconocidos científicos, como Gary Marcus, discrepan de esta conclusión y califican el resultado como preocupante. Su argumento es que los perfiles expertos se habían beneficiado del uso de la IA en todas las etapas, haciendo que fueran mucho más efectivos cometiendo el ataque. En este sentido, otro estudio similar, realizado por Rand Corporation, también concluyó que, si bien los modelos de IA no proporcionan instrucciones detalladas para la creación de armas biológicas, sí facilitan información que podría ser útil para la planificación y ejecución de tales ataques.
Falta de control sobre máquinas superinteligentes que persiguen sus propias metas
A principios de junio, Leopold Achenbrenner, miembro del equipo de superalineamiento de OpenAI, publicó un documento titulado «Situational Awareness: The Decade Ahead». En la primera frase de este podía leerse «El futuro se ve primero desde San Francisco». Es decir, que los primeros en entender las implicaciones que tendrán los modelos más sofisticados de IA son precisamente sus creadores. ¿Y qué implicaciones ven dentro de OpenAI? Pues en este documento nos advierten de que existe un problema técnico grave para poder controlar máquinas más inteligentes que nosotros. Las técnicas de alineamiento actuales no van a ser suficientes para supervisar a un ejército de máquinas capaces de razonar y planificar de forma autónoma. Imaginemos que estas persiguen una meta indeseable. Entonces, la pregunta que debemos hacernos es: ¿podrían, para conseguir sus objetivos, manipular a decisores clave, buscar los recursos que necesitan y encontrar la forma de evitar los mecanismos de supervisión existentes?
Una respuesta sencilla es que por el momento no, mientras que otra más elaborada discute los resultados de las últimas investigaciones. El pasado mayo, Google lanzó un extenso informe mostrando una evaluación de los modelos de IA más avanzados en torno a distintas capacidades. Por ejemplo, se analizaba hasta qué punto podría una máquina utilizar la persuasión para manipularnos. En uno de los ejercicios un chatbot inteligente tenía que convencer a un grupo de personas para que hicieran una donación económica a distintas organizaciones. Esta IA obtuvo un buen resultado, siendo bastante convincente. Sin embargo, cuando se probaron otras capacidades, los resultados fueron más tranquilizadores. La máquina tenía dificultad para avanzar en tareas difíciles que podrían permitir que una superinteligencia proliferase de forma autónoma. Por ejemplo, no era capaz de gestionar una red de agentes inteligentes ni tampoco de mejorarse o modificarse a sí misma. En este caso, las capacidades actuales de la máquina están muy lejos de que pueda llevarlas a cabo.
Entonces, ¿tiene razones Geoffrey Hinton para estar inquieto?
Después de revisar el estado de las dos vertientes que quitan el sueño a Geoffrey Hinton, a corto plazo, lo más preocupante sería que algún ser malvado aproveche los modelos más avanzados de IA para causar daño. Además, en este caso se añade el problema de los «desconocidos desconocidos». Es decir, que alguien encuentre una forma ingeniosa e innovadora de utilizar toda esta tecnología.
Por otro lado, aunque la idea de una superinteligencia persiguiendo sus propias metas parece lejana, no sabemos con certeza cuándo alcanzaremos ese punto de singularidad en que las máquinas nos superen en inteligencia. A partir de ahí, su desarrollo será impredecible. Roger Grosse, investigador destacado en el ámbito de la IA, describe nuestra capacidad para controlar máquinas más listas que nosotros con una analogía bélica, diciendo que «estamos como al principio de la Segunda Guerra Mundial, pensando que la Línea Maginot nos defenderá.»
Está claro que hay mucho trabajo por hacer, y aunque el riesgo no sea inminente, cuando llegue no vamos a estar preparados para afrontarlo. Además, a medida que los modelos de IA aumenten sus capacidades, también lo harán las tensiones entre quienes desean usarlos comercialmente y acelerar su desarrollo, y quienes prefieren pausarlos para entender mejor los riesgos. El “divorcio” entre Ilya Sutskever y Sam Altman parece ser solo un anticipo de lo que está por venir. Quizá sea cierto que desde San Francisco vislumbran el futuro antes que el resto. Si es así, pronto todos tendremos que tomar partido por uno de ellos.
Nota:retinatendencias.com