Dê ao modelo um livro aberto: que ele procure as coisas em vez de inventá-las. · Source

Um gênio trancado numa sala sem anotações — então blefa.

Um modelo treinado é uma prova de livro fechado: tudo o que ele sabe ficou selado no dia em que o treinamento terminou. Pergunte sobre seus arquivos privados ou as notícias desta manhã e não há página para virar — então ele chuta, com fluência, e soa convicto. A geração aumentada por recuperação entrega o livro a ele. Deixe-o consultar em vez de garimpar a memória. Como uma prova de livro aberto: você para de memorizar o mundo e passa a encontrar a página.

Seu conhecimento foi congelado no dia em que saiu.

Tudo o que o modelo aprendeu fica gravado em pesos fixos e então congelado — nada se atualiza depois do treinamento. Ele não consegue guardar os documentos da sua empresa, nem saber o que aconteceu hoje. Pior: não tem uma casa para 'isso eu nunca li', então preenche a lacuna com o que soar plausível. Como uma enciclopédia impressa: respeitável, lindamente encadernada — e um pouco desatualizada assim que a tinta seca.

Então não enfie tudo dentro. Busque o que você precisa.

Eis o movimento: pare de tentar socar cada fato nos pesos. Mantenha o conhecimento fora do modelo, num repositório comum que dá para pesquisar, e puxe apenas os poucos trechos que cada pergunta exige — depois responda a partir deles. O modelo deixa de ser um sabe-tudo e vira um leitor brilhante. Como a despensa de um esquilo: ele não guarda cada bolota nas bochechas — enterra-as por perto e desenterra só as que quer.

Como ele acha o trecho certo: por significado, não por palavras.

e_q=E(q),\ e_d=E(d),\quad \mathrm{sim}(q,d)=\dfrac{e_q\cdot e_d}{\lVert e_q\rVert\,\lVert e_d\rVert},\quad \mathcal{D}_k=\operatorname*{Top\text{-}k}_{d\in\mathcal{D}}\ \mathrm{sim}(q,d)

Tanto a pergunta quanto cada trecho viram pontos em um mesmo espaço de significado — o mesmo truque que põe gato ao lado de gatinho. Pontue cada trecho por quão bem o seu ponto se alinha ao da pergunta e fique com os poucos melhores. Nenhuma palavra-chave precisa bater; quem encontra é a proximidade de significado. Como um florista: peça algo suave e alegre e ele vai direto ao balde mais próximo na sensação — sem se importar com o nome.

Agora ele responde a partir da página — não da memória.

p_\eta(d\mid q)=\dfrac{\exp\,\mathrm{sim}(q,d)}{\sum_{d'\in\mathcal{D}_k}\exp\,\mathrm{sim}(q,d')},\qquad p(y\mid q)=\sum_{d\in\mathcal{D}_k} p_\eta(d\mid q)\,p_\theta(y\mid q,d)

Os trechos recuperados são despejados no prompt, e o modelo responde ancorado neles — sua resposta é, na verdade, uma mistura desses poucos trechos, cada um ponderado por quão bem combinou. A memória deixa de liderar; a página lidera. Em palavras simples: ele constrói a resposta a partir do que acabou de receber. Como uma testemunha lendo a prova: em vez de recitar de uma memória nebulosa, lê do documento posto à sua frente.

O porém: ele só é tão bom quanto o que você buscou.

\mathrm{Recall}@k=\dfrac{\lvert R\cap\mathcal{D}_k\rvert}{\lvert R\rvert}

Ancorar é uma faca de dois gumes. Se a recuperação traz os trechos errados, o modelo se ancora com convicção no que não é — e se o único trecho de que você precisava nunca entrou nos poucos buscados, nada lá na frente consegue recuperá-lo. Em palavras simples: isto só mede a fração dos trechos de fato relevantes que passaram no corte. O teto é fixado antes de uma única palavra ser escrita. Como as compras da manhã: o melhor cozinheiro só pode empratar o que chegou no caixote.

Atualize a biblioteca, nunca o modelo.

y\sim p_\theta\big(y\mid q,\ \mathcal{D}_k\big),\quad \mathcal{D}_k=\operatorname*{Top\text{-}k}_{d\in\mathcal{D}}\ \mathrm{sim}(q,d);\qquad \text{update }\mathcal{D},\ \ \theta\ \text{fixed}

Dê um passo atrás e todo o ciclo é simples: transforme a pergunta em um ponto, busque os trechos mais próximos, responda a partir deles. Os pesos do modelo nunca se mexem — todo o conhecimento que importa vive fora, num repositório que você pode editar, trocar ou ampliar em segundos, e o modelo pode apontar o exato trecho em que se apoiou. Fatos de ontem? Troque a página, não o cérebro. Como uma galeria com exposições rotativas: o salão segue o mesmo enquanto as paredes mostram algo novo — e cada peça está pendurada ali para ser conferida.

🌱 Se ele sempre pode consultar, o que vale saber de cor?

Dê a uma mente um jeito rápido o bastante de consultar qualquer coisa, e a linha entre saber e encontrar começa a se borrar. Nós também vivemos ali — metade da nossa memória já repousa nas coisas que podemos alcançar. Então, o que uma mente ainda deveria guardar em si mesma: os fatos, ou só a arte de saber onde olhar? E se ela sempre estende a mão para a página, alguma coisa chega de fato a ser sua?