El cofundador de OpenAI quería construir un búnker apocalíptico para proteger a los científicos de la empresa del "éxtasis": libro

 El cofundador de OpenAI quería construir un búnker apocalíptico para proteger a los científicos de la empresa del "éxtasis": libro

 OpenAI co-founder wanted doomsday bunker to protect against 'rapture'

 El cofundador de OpenAI, creador de ChatGPT, propuso construir un búnker catastrófico que albergaría a los principales investigadores de la compañía en caso de un "éxtasis" provocado por el lanzamiento de una nueva forma de inteligencia artificial que podría superar las capacidades cognitivas humanas, según un nuevo libro.

Ilya Sutskever, el hombre a quien se atribuye ser el cerebro detrás de ChatGPT, convocó una reunión con científicos clave de OpenAI en el verano de 2023, durante la cual dijo: "Una vez que todos entremos en el búnker...".

Un investigador confundido lo interrumpió. "Disculpe", preguntó el investigador, "¿el búnker?".

"Definitivamente construiremos un búnker antes de lanzar la IAG", respondió Sutskever, según un asistente.

 El plan, explicó, sería proteger a los científicos principales de OpenAI de lo que anticipó que podría ser un caos geopolítico o una competencia violenta entre potencias mundiales una vez que se lance la IAG (inteligencia artificial que supera las capacidades humanas).

"Por supuesto", añadió, "será opcional si se quiere entrar al búnker".

El intercambio fue reportado por primera vez por Karen Hao, autora del próximo libro "Empire of AI: Dreams and Nightmares in Sam Altman’s OpenAI".

The Atlantic publicó un ensayo adaptado del libro.

El comentario de Sutskever sobre el búnker no fue un caso aislado. Otras dos fuentes informaron a Hao que Sutskever había mencionado el búnker con frecuencia en discusiones internas.

 Un investigador de OpenAI llegó a afirmar que «hay un grupo de personas, entre ellas Ilya, que creen que desarrollar IA general provocará un éxtasis. Literalmente, un éxtasis».

Aunque Sutskever declinó hacer comentarios al respecto, la idea de un refugio seguro para los científicos que desarrollan IA general subraya la extraordinaria ansiedad que embarga a algunas de las mentes detrás de la tecnología más poderosa del mundo.

Sutskever ha sido considerado durante mucho tiempo una especie de místico dentro de OpenAI, conocido por analizar la IA en términos morales e incluso metafísicos, según el autor.

Al mismo tiempo, también es una de las mentes con mayor talento técnico detrás de ChatGPT y otros grandes modelos de lenguaje que han impulsado a la empresa a la fama mundial.

 

 La idea de que la IA general desencadene una transformación de la civilización no es exclusiva de Sutskever.

En mayo de 2023, el director ejecutivo de OpenAI, Sam Altman, firmó una carta pública advirtiendo que las tecnologías de IA podrían representar un "riesgo de extinción" para la humanidad. Si bien la carta buscaba influir en las discusiones regulatorias, la charla en el búnker sugiere temores más profundos y personales entre los líderes de OpenAI.

La tensión entre estos temores y las agresivas ambiciones comerciales de OpenAI alcanzó su punto álgido a finales de 2023, cuando Sutskever, junto con la entonces directora de tecnología, Mira Murati, ayudó a orquestar un breve golpe de Estado en la junta directiva que expulsó a Altman de la empresa.

Una de sus principales preocupaciones era la creencia de que Altman estaba eludiendo los protocolos de seguridad internos y consolidando un control excesivo sobre el futuro de la empresa, según informaron fuentes a Hao.

Sutskever, quien en su día fue un firme defensor de la misión original de OpenAI de desarrollar la IA general en beneficio de la humanidad, se había ido desilusionando cada vez más.

Él y Murati dijeron a los miembros de la junta que ya no confiaban en que Altman guiara responsablemente a la organización hacia su objetivo final.

 

 “No creo que Sam sea quien debería estar al mando de la IA general”, declaró Sutskever, según las notas revisadas por Hao.

La decisión de la junta directiva de destituir a Altman duró poco.

En cuestión de días, la creciente presión de inversores, empleados y Microsoft condujo a su reincorporación. Tanto Sutskever como Murati finalmente abandonaron la empresa.

El búnker propuesto, aunque nunca se anunció ni planeó formalmente, se ha convertido en un símbolo de la extrema incertidumbre entre los expertos en IA.

Captura la magnitud de lo que los propios líderes de OpenAI temen que su tecnología pueda desencadenar, y hasta dónde algunos estaban dispuestos a llegar anticipando lo que consideraban una nueva era transformadora, posiblemente catastrófica.

El Post ha solicitado comentarios de OpenAI y Sutskever.