Lo que van a ver hoy es, casi todo el tiempo, una sola cuenta: multiplicar y sumar. Con esa cuenta se arman tres piezas.

1. Un mapa donde cada palabra es una flecha.
2. Una charla donde cada palabra escucha a las que vinieron antes.
3. Un pronóstico que apuesta por la palabra que sigue.

Juntas son una sola máquina.

Se llama Transformer.

Un LLM es el autocompletar del celular llevado al extremo: predice, elige y repite.

Escribo «nos vemos a la» y el teclado sugiere «noche», «tarde», «salida». Si toco siempre la primera, armo una frase sin escribir.

Un LLM hace eso con todo el vocabulario y mirando miles de palabras hacia atrás, no dos o tres.

Un chat es esto mismo, con la conversación entera como texto de entrada.

¿Cómo calcula esa lista? Abramos la caja.

Las probabilidades son inventadas, para ilustrar.

Se levanta el capó y aparece una línea de montaje: siete rieles, uno por palabra, que pasan por seis estaciones seguidas.

1. El fichero, por donde entran las palabras.
2. Siete rieles. Cada palabra es una pieza que avanza por el suyo.
3. Seis estaciones. En cada una, cada pieza primero consulta a las que van adelante y toma algo de ellas; después pasa sola por la misma máquina, con lo que juntó. Mismo diseño, cada una ajustada distinto.
4. El tablero de salida: mira la última pieza y dice qué palabra sigue.

Casi todo lo que pasa acá es lo mismo: multiplicar una matriz por un vector.

Hay unos pocos pasos que no. Ese detalle vuelve al final.

Un token es un pedazo de texto: una palabra o un trozo de palabra.

El modelo no lee letras: corta el texto en tokens. Nuestra frase son siete.

Tiene una lista fija de unos 37.000 tokens, y cada token es un número en esa lista.

El número dice qué palabra es, pero no qué significa.

Números ilustrativos. Un modelo real cortaría «Aguante» en pedazos, pero la idea es la misma.

Un embedding es la ficha de un token: una lista de 512 números.

Los números salen del entrenamiento. Por eso las palabras que se usan parecido terminan con fichas parecidas.

El token dice qué palabra es; el embedding, cómo se usa.

Es el mapa del principio: si cada ficha es una flecha, las parecidas quedan cerca y las direcciones significan algo.

Es una combinación lineal de tres fichas que cae cerca de una cuarta.

A cada ficha se le suma otra lista de 512 números, que dice en qué lugar de la frase está la palabra.

Como el número de asiento en el cine: es la misma persona, pero no es lo mismo la fila 1 que la 20. Hace falta porque la atención, sola, no sabe en qué orden vienen las palabras.

Esos siete vectores son lo que entra a la máquina: todo lo demás trabaja sobre ellos.

Antes de entrar a la atención, el bloque entero una vez: cada pieza en una frase, con su analogía.

La feed-forward es un perceptrón multicapa: la neurona de Rosenblatt (1958), en dos capas.

De todas, la que hace la magia es la primera. Vamos a verla de cerca.

Leída sola, «Una Noche en Miami» es una noche en una ciudad. Con «trago» adelante, es un trago.

¿Qué entendieron primero?

La atención es el paso donde «Miami» mira a las palabras anteriores y se queda con lo que le sirve: sobre todo, «trago».

La atención la hacen 8 cabezales iguales. Tomemos un cabezal y mirémoslo más de cerca.

Bajo la lupa, el cabezal es un cartucho con tres ranuras.

En cada ranura hay una matriz: W_Q, W_K y W_V. Al costado, la perilla del softmax.

Cada palabra pasa por las tres placas y sale con tres vectores.

Entran los siete x, uno por palabra.

q, la consulta: «¿qué estoy buscando?». Van como filas.

k, la clave: «¿qué ofrezco?». Van como columnas.

v, el valor: «si me eligen, ¿qué aporto?». Van al pie de cada columna.

Como en YouTube: lo que tipeás es la consulta, los títulos son las claves y el video que mirás es el valor.

Con una diferencia: YouTube te da un video. La atención te da una mezcla de todos, más cargada hacia los que mejor coinciden.

Cada placa es una matriz de 64 × 512 que multiplica al vector de la palabra.

Son tres transformaciones lineales ℝ⁵¹² → ℝ⁶⁴ del mismo vector.

Para la frase entera, los siete x se apilan como filas de una matriz X, de 7 × 512.

Salen tres matrices de 7 × 64: una fila por palabra.

¿Cuánto le sirve «trago» a «Miami»? Se compara la consulta de una con la clave de la otra: el producto escalar.

Son 64 productos que se suman, y dan 20,8.

Dos flechas que apuntan para el mismo lado dan un número grande; perpendiculares, cero; opuestas, negativo.

En el recuadro, vectores de juguete de 8 componentes en lugar de 64, armados para que den estos puntajes.

Cada pilar mide cuánto le sirve una palabra a otra. Hay uno por cada par: 7 × 7 = 49.

Cada fila es una palabra que pregunta. En la fila de «Miami», el pilar más alto es «trago»: es la que más le sirve.

Los puntajes se achican, se dividen por 8, para que ninguno se dispare: el 20,8 queda en 2,60.

Una regla más: ninguna palabra puede mirar las que vienen después, porque todavía no se escribieron.

Por eso se apagan los 21 pilares de arriba. «Aguante», la primera, solo puede mirarse a sí misma.

«Aguante» nunca se entera de que hablamos de un trago. Pero «trago» sí puede mirar para atrás y entenderla.

Softmax toma los puntajes de cada fila y los convierte en porcentajes que suman 100 %.

La perilla gira y cada fila queda repartida. Lo que tapó la máscara recibe 0 %: la fila de «Aguante» queda entera sobre sí misma.

«trago» se queda con el 58 %. Con una regla de tres serían 51 %: softmax agranda al que más pide.

Y no es lineal: softmax(0, 0) da (½, ½), y una transformación lineal manda el 0 al 0. Eso vuelve al final.

Cada palabra tiene su valor v: lo que le aporta a otra si la elige. Los porcentajes del softmax dicen cuánto toma «Miami» de cada una.

Más de la mitad viene de «trago».

Ese z se suma al vector que «Miami» ya tenía y lo corre hacia «trago».

Para el álgebra: z es una combinación lineal de los valores (def. 1.7), así que vive en el subespacio que generan (teo. 1.9).

Ahora «Miami» sabe que es un trago.

Hay 8 juegos de W_Q, W_K y W_V: 8 cabezales, y cada uno puede mirar otra cosa.

Uno puede juntar «Una Noche en Miami» como un nombre; otro, hacer que «trago» mire a «Aguante» y se lleve el tono de festejo.

Cada cabezal devuelve un vector de ℝ⁶⁴. Se concatenan: 8 × 64 = 512.

W_O, de 512 × 512, los vuelve al espacio original, y el resultado se suma al vector que cada palabra ya tenía.

Ahora la ecuación del paper se lee de punta a punta.

Cada símbolo es un paso que ya vimos.

La máscara no figura en la fórmula: el paper la aplica antes del softmax.

Lo que hicimos a mano para una celda pasa en todas al mismo tiempo.

Las 49 celdas no dependen unas de otras: se calculan juntas, en una sola multiplicación de matrices.

Como corregir 49 exámenes con 49 docentes a la vez en lugar de uno por uno. Por eso estos modelos corren en placas de video.

GPT-3 lee hasta 2.048 tokens: cada grilla tiene 2.048 × 2.048 casilleros. Y tiene 96 cabezales en cada una de sus 96 capas.

¿Cuántos números hay adentro de la máquina?

El modelo del paper tiene 37,8 millones.

El 99,93 % son entradas de matrices: álgebra lineal de esta materia.

GPT-3 tiene unos 175.000 millones: unas 4.600 veces más.

Para dimensionarlo: bbycroft.net/llm, una visualización interactiva de un GPT por dentro.

Cada palabra que escribe es una pasada por toda la máquina: un chat de 200 palabras son 200 pasadas.

Si todas las piezas fueran lineales, la máquina entera sería una sola matriz.

Las matrices se componen: seis bloques, ocho cabezales y todo lo demás colapsarían en una sola, de |V| × |V|.

Y una sola matriz no puede hacer que «Miami» signifique otra cosa por tener un «trago» adelante.

Lo que lo impide son tres cortes no lineales: softmax, ReLU y LayerNorm.

Todo de nuevo, en un minuto.

1. La frase entra y se corta en siete tokens.
2. Cada uno se vuelve un vector de ℝ⁵¹², más su posición.
3. En la atención, «Miami» mira a «trago».
4. La feed-forward le suma lo que sabe.
5. Seis veces.
6. La última posición elige «bien».

Predecir, muestrear, repetir.

Todo lo que vimos son matrices de esta materia, con tres cortes en el medio. Y con eso, una máquina sabe que acá «Miami» es un trago.

Gracias.

• Legendre, A.-M. (1805). Nouvelles méthodes pour la détermination des orbites des comètes.
• Rosenblatt, F. (1958). The Perceptron. Psychological Review, 65(6).
• Rumelhart, D. E., Hinton, G. E. y Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323.
• Mikolov, T. et al. (2013). Efficient Estimation of Word Representations in Vector Space. arXiv:1301.3781.
• Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS 2017. arXiv:1706.03762.
• Brown, T. et al. (2020). Language Models are Few-Shot Learners (GPT-3). arXiv:2005.14165.
• 3Blue1Brown. Serie Neural Networks, capítulos sobre Transformers y atención.
• Bycroft, B. LLM Visualization. bbycroft.net/llm.
• Cátedra de Matemática 4 (2025). Álgebra Lineal: Espacios Vectoriales y Transformaciones Lineales (apunte).