Cómo un modelo aprende a ver leyendo. · Source

Aprende a ver leyendo, y nunca le das una etiqueta.

Muéstrale una foto y el pie de foto que venía con ella, y repítelo mil millones de veces. Poco a poco ata lo que ve con lo que decimos, hasta que imágenes y palabras viven en un mismo espacio. Pregunta con palabras y encuentra la imagen; muestra una imagen y encuentra las palabras. Nadie etiquetó nada: los pies de foto que el mundo ya había escrito eran toda la lección.

El método antiguo: meter cada imagen en una de unas pocas casillas fijas.

Para enseñar a ver a un modelo, antes etiquetábamos a mano millones de imágenes contra una lista cerrada: mil casillas fijas y ni una más. Lento, caro y ciego a todo lo que no esté en la lista. Como una bandeja con un número fijo de huecos: lo que no encaja en un hueco no tiene dónde caer. Pero la web abierta ya empareja imágenes con las palabras que tienen al lado: miles de millones de pies de foto, ya escritos, gratis. Así que deja de etiquetar. Empieza a emparejar.

Dos lectores separados, píxeles y palabras, apuntando a un mismo espacio.

I = \dfrac{f_{\text{img}}(x)}{\lVert f_{\text{img}}(x)\rVert},\quad T = \dfrac{f_{\text{txt}}(t)}{\lVert f_{\text{txt}}(t)\rVert},\quad I,\,T \in \mathbb{R}^{d}

Una imagen y una frase no se parecen en nada, así que el modelo pasa cada una por su propio lector, y cada uno emite un punto en un mismo espacio, con todos los puntos estirados a la misma longitud para que solo importe su dirección. Entrena los dos lectores juntos hasta que una imagen y su pie de foto apunten en la misma dirección. Como dos diapasones golpeados en una misma nota: golpeas uno y su gemelo al otro lado de la sala vibra solo: cuerpos distintos, una frecuencia compartida. La lección no es una etiqueta. Es un acuerdo.

Acerca cada par verdadero. Aparta cada par equivocado.

\ell_i = -\log \dfrac{\exp(\langle I_i,\,T_i\rangle/\tau)}{\sum_{j=1}^{N}\exp(\langle I_i,\,T_j\rangle/\tau)}

Un lote tiene mil pares de imagen y pie de foto: mil aciertos y casi un millón de errores. La regla es tajante: para cada imagen, haz que su propio pie de foto puntúe más alto, y hunde el resto. Como un montón de puzles de dos piezas volcados juntos: cada imagen tiene exactamente un pie de foto que encaja; aprieta cada pareja verdadera y desprende a los impostores. La fórmula solo dice: arriba = la puntuación del par verdadero, abajo = todos los candidatos sumados, y τ fija con cuánta nitidez se juzga la contienda.

La cercanía es solo dirección, y se juzga en ambos sentidos.

\operatorname{sim}(u,v)=\dfrac{u\cdot v}{\lVert u\rVert\,\lVert v\rVert},\qquad \mathcal{L}=\tfrac{1}{2}\left(\mathcal{L}_{\text{img}\to\text{txt}}+\mathcal{L}_{\text{txt}\to\text{img}}\right)

¿Cómo puntúa lo «más cercano»? Por dirección, no por distancia: el coseno del ángulo entre dos puntos. Mismo rumbo, puntuación alta; en ángulo recto, nada. Como dos veletas en un tejado: no importa lo grande que sea cada flecha, solo si giran para mirar en la misma dirección. Y la contienda corre en ambos sentidos a la vez —cada imagen busca su pie de foto, cada pie de foto busca su imagen—, así que la pérdida es el promedio de las dos.

Ahora puede nombrar algo que nunca se entrenó para ver.

\hat{y}=\arg\max_{c}\ \operatorname{sim}\big(f_{\text{img}}(x),\,f_{\text{txt}}(\text{prompt}_c)\big)

Este es el regalo de un mismo espacio: para clasificar una imagen no hace falta ni un solo ejemplo etiquetado. Basta con describir cada opción en palabras llanas, soltar esas descripciones en el mismo espacio y elegir la que quede más cerca de la imagen. Como observar aves con una guía de campo: lees la descripción de un ave que no has visto jamás y luego localizas en el árbol la que mejor encaja. Una categoría nueva es solo una frase nueva: sin reentrenar, sin etiquetas nuevas.

Un mismo mapa para píxeles y palabras: la semilla de la IA multimodal.

Júntalo todo y habrás construido un único sistema de coordenadas donde una imagen y sus palabras quedan lado a lado. Busca en una fototeca escribiendo lo que quieres. Pon pie a una imagen leyendo sus palabras más cercanas. Y —sin ruido— este es el eje sobre el que giran los generadores de texto a imagen: un lector de texto que ya habla el idioma de las imágenes y guía lo que se dibuja. Como dos bueyes bajo un mismo yugo: dos animales muy distintos, unidos por una sola viga, tirando por fin como uno solo.

Caen en un mismo punto. ¿Comparten un mismo significado?

Una fotografía de un perro y la palabra para ese perro caen en el mismísimo punto. ¿Entonces entiende? ¿O solo aprendió que los dos suelen llegar juntos, como el trueno sigue al relámpago sin saber nada de una tormenta? Compartir una coordenada no es lo mismo que compartir un significado. Le enseñamos que imagen y palabra van lado a lado. Nunca le enseñamos qué es de verdad ninguna de las dos. 🌱