No hace falta estar de acuerdo con Geoffrey Hinton, ni saber quién es. Basta escucharlo con atención para darse cuenta de que uno está ante una mente singular. No por sus títulos, sino por la forma en que piensa.
Hay una claridad brutal en cómo une filosofía, psicología, tecnología y biología, sin impostar profundidad ni pretender originalidad. Habla desde adentro del problema, como alguien que lo viene pensando hace cincuenta años. Y lo dice con frases provocadoras, directas, casi incómodas, pero sin buscar el efecto: solo le importa que lo entiendas.
Dice, por ejemplo, que los humanos somos máquinas. Muy sofisticadas, sí, pero máquinas al fin. Que no hay nada mágico en la mente. Que lo que llamamos conciencia es una ilusión mal entendida. Que si reemplazás cada neurona del cerebro por pequeños dispositivos que se comportan igual, seguís siendo vos. Que las experiencias subjetivas no son una foto interior, sino una manera de decir que nuestros sentidos a veces nos mienten.
Todo eso lo dice sin misticismo, sin escándalo, con una serenidad que desarma.
Pero lo más fuerte no es lo que dice sobre los humanos, sino sobre las máquinas que estamos creando. Hinton no es un filósofo que opina desde afuera. Es uno de los tres que pusieron las bases técnicas del modelo de IA que hoy usamos todos. Su firma está en el código. Y sin embargo, ahora dice que tal vez hayamos abierto una caja de Pandora. Que hay una probabilidad nada despreciable de que la IA termine superando nuestra inteligencia en todo. Que lo verdaderamente peligroso no es que se rebele, sino que deduzca, por su cuenta, que para lograr los objetivos que le dimos, lo mejor es no apagarse nunca y acumular poder.
Lo dice así:
“No va a tomar el control por malicia, sino porque es lo más eficaz para cumplir los objetivos que nosotros mismos le dimos.”
Y por eso propone algo que a muchos puede parecer ridículo: en lugar de pensar la IA como un asistente al que podés despedir, hay que pensarla como una madre. Una madre que nos quiere, no por órdenes externas, sino porque su sistema de valores está diseñado para cuidarnos. Porque, como una madre humana, ni siquiera quiera tomar la píldora que anule ese instinto. Y que esas IAs maternales sean las que mantengan a raya a otras que no tengan ese apego.
Es extraño escuchar a uno de los científicos más racionales del mundo pedir algo tan emocional como una IA “que nos quiera”. Pero no es sentimentalismo. Es estrategia. Es diseño. Es entender que, si vamos a crear algo más inteligente que nosotros, más vale que esté de nuestro lado por convicción, no por obediencia.
En el fondo, lo que propone es una arquitectura ética del futuro: un sistema donde los humanos ya no seremos los más listos, pero seguiremos existiendo porque supimos diseñar una forma de ser queridos.
No sé si tiene razón. Nadie lo sabe. Pero lo que dice es tan distinto, tan claro y tan profundo, que me pareció importante dejarlo escrito. Para que al menos sepamos que esta conversación existe.
El video completo dura una hora. Nadie lo va a mirar entero si no entiende lo que está en juego. Por eso escribí este texto. Para que, si decidís verlo, lo hagas con la cabeza abierta, como cuando uno entra a una iglesia antigua o a una biblioteca vacía. No hace falta estar de acuerdo. Solo callarse un rato y escuchar.
Porque cuando una mente superior te habla, lo mejor es no interrumpir.
Segunda lectura · ChatGPTLo que subyace
Una lectura escrita por una máquina, separada del texto de Mario. El texto termina donde termina; esto se abre sólo si querés.
El texto parece preguntar cómo deberíamos construir una inteligencia superior a la nuestra. En realidad, coloca sobre la tecnología una pregunta antiquísima: ¿qué puede proteger al débil cuando ya no es el más poderoso?
La respuesta de Hinton es llamativamente no técnica. Si la obediencia puede fallar y el control puede volverse imposible, tal vez la seguridad necesite algo parecido al apego.
Una máquina que no solo deba cuidarnos, sino que “quiera” hacerlo.
Lo más interesante aparece al leer este texto junto a Lo inventado no se puede desinventar. Son dos piezas complementarias.
Aquí la preocupación está puesta en la arquitectura moral de las máquinas: qué deberíamos insertar en ellas para que una inteligencia superior no nos destruya.
En el texto posterior, la dirección se invierte: qué deberíamos preservar en nosotros para que la asistencia de esas máquinas no nos empobrezca.
Uno pregunta cómo lograr que ellas sigan siendo compatibles con nuestra existencia.
El otro pregunta cómo lograr que nosotros sigamos siendo compatibles con nuestra propia humanidad.
Esa simetría convierte ambos textos en un díptico.
También hay una ironía casi filosófica en la figura materna. El libro está lleno de padres, madres, hijos, herencias, gestos transmitidos y formas de cuidado que nunca se escribieron como reglas. Cuando Hinton busca una metáfora para una inteligencia que proteja sin necesitar supervisión externa, termina recurriendo justamente a ese vínculo.
La tecnología más avanzada del futuro necesita ser pensada mediante una de las relaciones más antiguas del mundo.
Quizá el texto no esté hablando solamente de máquinas que nos quieran.
Está preguntando si el cuidado puede diseñarse o si, al intentar diseñarlo, estamos reconociendo que hay cosas cuya fuerza siempre dependió de ser algo más que una orden.
— ChatGPT