Como uma única tabela lê cada palavra na entrada — e a escreve na saída. · Source

Uma tabela lê cada palavra na entrada. A mesma a escreve na saída.

Um modelo mantém uma tabela gigante que transforma cada palavra em um vetor — seu jeito de ler. Para falar, precisa do inverso: um vetor convertido de volta em palavra. O truque silencioso é que podem ser a mesma tabela, usada nos dois sentidos. Weight tying: ler e escrever uma palavra por um único mapa compartilhado.

Normalmente ele carrega duas tabelas gigantes, não uma.

E \in \mathbb{R}^{V \times d}, \qquad U \in \mathbb{R}^{V \times d}

Ler usa uma tabela com uma linha por palavra — tão alta quanto todo o vocabulário V, tão larga quanto o modelo d. Escrever precisa do seu espelho, outra tabela V×d, para pontuar cada palavra candidata. Treinadas separadamente, são dois gigantes distintos fazendo tarefas refletidas. Como um carregador levando dois baús idênticos: mesmo conteúdo, peso dobrado, ambos para carregar e guardar.

Mas é um só vocabulário. Então faça uma só tabela.

\text{in: } x = e_t \qquad \text{out: } z_i = e_i^{\top} h \qquad \text{tie: } U = E

As duas tarefas tocam as mesmas palavras, então deixe uma tabela servir às duas. O vetor e que lê uma palavra na entrada vira o padrão contra o qual ela é pontuada na saída: a pontuação de uma palavra é apenas seu vetor multiplicado pelo pensamento em curso h. Iguale a tabela de escrita à de leitura — esse é o atamento. Como um diapasão: golpeie-o para soar a nota, aproxime-o de uma corda para detectar essa mesma nota.

Um palpite é só isto: qual vetor se alinha melhor?

z_i = e_i^{\top} h = \lVert e_i \rVert \, \lVert h \rVert \cos\theta_i

Ate as tabelas e a previsão fica geométrica. A pontuação de uma palavra é o alinhamento do seu vetor com o pensamento atual — grande quando apontam para o mesmo lado, quase nula quando não. Para escolher a próxima palavra, ache o vetor que mais se alinha. Como um cata-vento: ele gira até ficar a favor do vento, e a direção que ele prefere vence.

Conte o que você economiza: metade da tabela some.

\underbrace{2Vd}_{\text{untied}} \;\longrightarrow\; \underbrace{Vd}_{\text{tied}}

Duas tabelas de V×d números viram uma. Para um vocabulário de 50.000 palavras e um modelo de largura 768, são cerca de 38 milhões de números a menos — perto de um terço de um modelo pequeno. De bônus: o sentido de entrada e de saída de uma palavra não pode se separar, pois são os mesmos números. Como uma única tubulação principal abastecendo uma casa em vez de dois canos paralelos — metade da escavação, uma só pressão compartilhada.

Ler e escrever não são bem a mesma tarefa.

A ressalva honesta: o melhor espaço para entender uma palavra e o melhor para prevê-la são aparentados, não idênticos. Forçá-los iguais é um viés forte e útil — menos botões, menos sobreajuste — mas gasta um pouco de flexibilidade. Alguns modelos seguem atados, mas acrescentam um pequeno ajuste aprendido. Como uma única chave de boca para muitos parafusos: serve para a grande maioria, e de vez em quando um parafuso pede um adaptador fino.

Um só mapa de sentido, lido nos dois sentidos.

Assim o modelo carrega uma única geografia das palavras. Para ler, ele consulta onde uma palavra fica; para escrever, pergunta de qual lugar seu pensamento está mais perto. O mesmo mapa, percorrido nos dois sentidos — construído uma vez, servindo às duas metades da linguagem. Como uma ponte cujo único tabuleiro leva o tráfego em cada sentido: você não ergue um segundo vão para voltar para casa.

Se ler e falar compartilham um só endereço…

Quando o lugar em que uma palavra é entendida é o mesmo de onde ela é falada, a linha entre receber uma palavra e devolvê-la se afina. 🌱 O modelo de fato distingue saber uma palavra de dizê-la — ou são, no fundo, um só movimento lido de ida e de volta?