Como um modelo aprende a ver lendo. · Source

Ele aprende a ver lendo — e você nunca lhe dá um rótulo.

Mostre a ele uma foto e a legenda que por acaso veio junto — e repita isso um bilhão de vezes. Aos poucos ele liga o que vê ao que nós dizemos, até que imagens e palavras passem a viver em um mesmo espaço. Pergunte com palavras e ele acha a imagem; mostre uma imagem e ele acha as palavras. Ninguém rotulou nada — as legendas que o mundo já tinha escrito eram a lição inteira.

O jeito antigo: enfiar cada imagem em uma de um conjunto fixo de gavetas.

Para ensinar um modelo a ver, antes rotulávamos à mão milhões de imagens contra uma lista fechada — mil caixas fixas e nem uma a mais. Lento, caro e cego a tudo o que está fora da lista. Como uma bandeja com um número fixo de cavidades: o que não encaixa numa cavidade não tem onde pousar. Mas a web aberta já emparelha imagens com as palavras ao lado delas — bilhões de legendas, já escritas, de graça. Então pare de rotular. Comece a emparelhar.

Dois leitores separados, pixels e palavras, mirando um mesmo espaço.

I = \dfrac{f_{\text{img}}(x)}{\lVert f_{\text{img}}(x)\rVert},\quad T = \dfrac{f_{\text{txt}}(t)}{\lVert f_{\text{txt}}(t)\rVert},\quad I,\,T \in \mathbb{R}^{d}

Uma imagem e uma frase não se parecem em nada — então o modelo passa cada uma pelo seu próprio leitor, e cada um emite um ponto num mesmo espaço, com todos os pontos esticados ao mesmo comprimento para que só a sua direção importe. Treine os dois leitores juntos até que uma imagem e sua legenda apontem na mesma direção. Como dois diapasões batidos na mesma nota: bata em um e o gêmeo do outro lado da sala vibra sozinho — corpos diferentes, uma frequência compartilhada. A lição não é um rótulo. É um acordo.

Aproxime cada par verdadeiro. Afaste cada par errado.

\ell_i = -\log \dfrac{\exp(\langle I_i,\,T_i\rangle/\tau)}{\sum_{j=1}^{N}\exp(\langle I_i,\,T_j\rangle/\tau)}

Um lote tem mil pares de imagem e legenda: mil acertos e quase um milhão de erros. A regra é direta — para cada imagem, faça a própria legenda dela pontuar mais alto e empurre o resto para baixo. Como um monte de quebra-cabeças de duas peças despejados juntos: cada imagem tem exatamente uma legenda que se encaixa; aperte cada par verdadeiro e solte os impostores. A fórmula só diz: em cima = a pontuação do par verdadeiro, embaixo = todos os candidatos somados, e τ define com que nitidez a disputa é julgada.

Proximidade é só direção — e é julgada nos dois sentidos.

\operatorname{sim}(u,v)=\dfrac{u\cdot v}{\lVert u\rVert\,\lVert v\rVert},\qquad \mathcal{L}=\tfrac{1}{2}\left(\mathcal{L}_{\text{img}\to\text{txt}}+\mathcal{L}_{\text{txt}\to\text{img}}\right)

Como ele pontua o 'mais próximo'? Por direção, não por distância — o cosseno do ângulo entre dois pontos. Mesmo rumo, pontuação alta; em ângulo reto, nada. Como dois cata-ventos num telhado: não importa o tamanho de cada seta, só se elas giram para olhar na mesma direção. E a disputa corre nos dois sentidos ao mesmo tempo — cada imagem caça sua legenda, cada legenda caça sua imagem — então a perda é a média das duas.

Agora ele pode nomear algo que nunca foi treinado para ver.

\hat{y}=\arg\max_{c}\ \operatorname{sim}\big(f_{\text{img}}(x),\,f_{\text{txt}}(\text{prompt}_c)\big)

Eis o presente de um mesmo espaço: para classificar uma imagem não é preciso nenhum exemplo rotulado. Basta descrever cada opção em palavras simples, soltar essas descrições no mesmo espaço e escolher a que ficar mais perto da imagem. Como observar aves com um guia de campo: você lê a descrição de uma ave que nunca viu e então localiza na árvore a que melhor se encaixa. Uma categoria nova é só uma frase nova — sem retreinar, sem rótulos novos.

Um mesmo mapa para pixels e palavras — a semente da IA multimodal.

Junte tudo e você terá construído um único sistema de coordenadas onde uma imagem e suas palavras ficam lado a lado. Pesquise numa fototeca digitando o que você quer. Legende uma imagem lendo as palavras mais próximas dela. E — silenciosamente — este é o eixo sobre o qual giram os geradores de texto para imagem: um leitor de texto que já fala a língua das imagens e guia o que é desenhado. Como dois bois sob um mesmo jugo: dois animais muito diferentes, unidos por uma única barra, puxando enfim como um só.

Eles caem num mesmo ponto. Será que partilham um mesmo sentido?

A fotografia de um cachorro e a palavra para esse cachorro caem exatamente no mesmo ponto. Então ele entende? Ou só aprendeu que os dois tendem a chegar juntos — como o trovão segue o relâmpago sem fazer ideia do que é uma tempestade? Partilhar uma coordenada não é o mesmo que partilhar um sentido. Ensinamos a ele que imagem e palavra ficam lado a lado. Nunca lhe ensinamos o que cada uma delas realmente é. 🌱