ChatGPT como fenómeno natural

Los modelos grandes de lenguaje (large language models, LLM), en los que se basan ChatGPT y su creciente lista de competidores, no solo son una creación humana, sino también un objeto de estudio. Los científicos de la computación los tratan como si fueran un fenómeno natural, pese a saber mejor que nadie en qué consisten exactamente sus unidades lógicas, sus operaciones básicas, sus tripas mecánicas. Y tienen una razón para ello, porque las respuestas de ChatGPT no siempre son predecibles. El comportamiento de la máquina no se puede deducir del todo a partir de primeros principios. Es un ejemplo de manual de sistema emergente, un todo que parece más que la suma de sus partes, o que al menos no se puede inferir de ellas. Un campo de minas paradójicas.

La estructura de los modelos grandes de lenguaje tiene muy poco misterio. En el fondo son redes neurales, un software ya clásico que se inspira en las neuronas biológicas, que reciben muchos inputs por sus dendritas, los combinan y producen un solo output por el axón. La gran innovación que nos puso a todos a hablar de inteligencia artificial hace diez años no fue tanto una idea rompedora como un incremento de fuerza. Si la red neural primitiva tenía tres capas de neuronas (entrada, procesamiento y salida), las nuevas empezaron a añadir capas de procesamiento apiladas por docenas. También a imitación del cerebro, estas capas abstraen la información en pasos progresivos antes de emitir una respuesta. En esto consiste el aprendizaje profundo (deep learning) que ha revolucionado el campo. Entiéndase profundo en el mero sentido de que tiene muchas capas. Es solo un nombre.

La forma en que funciona ChatGPT es decepcionante de puro simple. Los modelos grandes de lenguaje son devoradores de texto que se pueden tragar la Biblioteca Nacional, la Wikipedia y todos los periódicos del mundo antes del desayuno. Con ese empacho de material elaboran unas estadísticas muy poderosas y refinadas, aunque centradas en cuestiones ramplonas como qué palabras tienden a aparecer juntas o dos posiciones más allá o más acá. La anterior versión de ChatGPT, la tres, procesaba 2.000 palabras a la vez. La nueva, GPT-4, procesa 32.000. Se trata de nuevo de un avance cuantitativo.

Pero resulta que los sistemas grandes empiezan a hacer cosas que no hacen sus precursores de menor tamaño. Los investigadores de OpenAI, la creadora de ChatGPT, han clasificado 137 “aptitudes emergentes” en los modelos grandes de lenguaje, incluido el suyo. Un ejemplo es escribir frases inclusivas en alemán. Otro es aprobar un examen para abogados antes de licenciarse. GPT-3 fallaba en esto, pero GPT-4 tiene éxito, y la diferencia es solo de potencia computacional. Dale volumen al mando y emerge de pronto un sistema complejo.

Los humanos no aprendemos a hablar engullendo la Enciclopaedia Britannica, aunque Aldous Huxley presumía de haberla leído entera. Es cierto que las redes neurales están inspiradas en las neuronas biológicas, pero solo en un nivel muy elemental, que es el único nivel en el que entendemos el funcionamiento del cerebro. Eso no quiere decir que los modelos grandes de lenguaje sean tontos, sino que su inteligencia es distinta de la nuestra. Sigamos añadiendo capas y verás.