Pourquoi saisir le meilleur mot maintenant peut vous coûter la meilleure phrase. · Source

Le meilleur mot maintenant peut vous coûter la meilleure phrase.

Un modèle vous donne les probabilités du mot suivant — mais une phrase, c'est des centaines de choix d'affilée. Prenez chaque fois le mot le plus probable et vous vous enfermez : un début fort peut mener à une impasse, tandis qu'un plus modeste ouvre sur bien mieux. Comme la file la plus courte en caisse : vous prenez celle qui semble la plus rapide maintenant, puis vous avancez au ralenti pendant que la longue file file. Le meilleur sur l'instant est rarement le meilleur au total.

Le but n'est pas le meilleur mot, mais la meilleure <em>phrase</em>.

Le but n'est pas le meilleur mot, mais la meilleure phrase.

P(y_{1:T}\mid x)=\prod_{t=1}^{T} p(y_t\mid y_{<t},x),\qquad \log P=\sum_{t=1}^{T}\log p(y_t\mid y_{<t},x)

Notez une phrase dans son ensemble et sa probabilité est celle de chaque mot multipliée — en logarithmes, tout simplement additionnée. Un mot brillant ne peut pas sauver un chemin qui devient improbable plus loin. Comme une charge sur une chaîne de maillons : la chaîne ne tient que si chaque maillon tient ; un seul maillon faible lâche tout le poids. La méthode gloutonne maximise chaque maillon isolément — jamais la chaîne entière.

Décodage glouton : prends le mot le plus haut, puis engage-toi.

y_t=\arg\max_{w\in V}\ p(w\mid y_{<t},x)

La méthode la plus simple prend à chaque étape le mot le plus probable — rapide, sûre et aveugle. Elle ne regarde jamais devant et ne revient jamais en arrière. Comme écrire au stylo : chaque mot est encré à l'instant où vous le choisissez, alors quand un début assuré vous coince trois mots plus loin, impossible d'effacer le choix qui vous a piégé. Elle optimise chaque étape, pas la phrase.

Pourquoi ne pas essayer toutes les phrases ? Regardez le compte.

|V|^{T}\quad\text{(e.g. } 50000^{20}\approx 10^{94}\text{ sequences)}

Si le glouton est trop myope, pourquoi ne pas chercher parmi toutes les phrases et garder la meilleure ? Parce que le nombre explose. Chaque case peut contenir n'importe lequel de dizaines de milliers de mots, donc les candidates se multiplient comme le vocabulaire élevé à la longueur. Comme une bibliothèque de tous les livres possibles : une seule réponse de vingt mots a déjà plus de versions qu'il n'y a d'atomes dans l'univers observable. Impossible de toutes les vérifier.

Recherche en faisceau : gardez en vie les quelques meilleures, pas une seule.

s(y_{1:t})=\sum_{\tau=1}^{t}\log p(y_\tau\mid y_{<\tau},x),\qquad \mathcal{B}_t=\text{top-}B\ \text{of}\ \mathcal{B}_{t-1}\times V

La voie médiane garde en vie à chaque étape les B meilleures phrases partielles. Prolongez chacune par tous les mots suivants possibles, notez le tout, puis élaguez pour ne garder que les B meilleures — et recommencez. Comme éclaircir des semis : on en plante beaucoup et, à chaque étape, on arrache tous sauf les quelques plus vigoureux, en laissant grandir les survivants. Élargissez le faisceau pour plus de prévoyance ; B = 1 redevient le glouton.

Un hic : elle préfère secrètement les phrases courtes.

s_{\text{norm}}(y)=\frac{1}{T^{\alpha}}\sum_{t=1}^{T}\log p(y_t\mid y_{<t},x),\qquad 0\le\alpha\le 1

Chaque mot supplémentaire multiplie une probabilité de plus inférieure à un, donc les phrases longues obtiennent toujours un score plus bas — brute, la recherche en faisceau écourte ses réponses. Le remède : diviser le total par la longueur, en jugeant le mot moyen, pas la somme. Comme noter un enchaînement long : plus de mouvements, plus d'occasions de vaciller, alors on note par mouvement, pas en comptant les faux pas cumulés. Désormais, une phrase longue et honnête concourt à armes égales.

Le hic honnête : le plus probable n'est pas le meilleur.

\hat{y}=\arg\max_{y}\ p(y\mid x)\quad\text{vs}\quad y\sim p(\,\cdot\mid x)

Poussez la recherche assez loin et une surprise surgit : la phrase la plus probable est souvent plate, générique, voire en boucle. Probable et bon sont des axes différents. Comme le beige le plus sûr : la couleur qui n'offense personne est celle dont personne ne se souvient. Les tâches précises cherchent donc le plus probable, tandis que les tâches ouvertes et créatives échantillonnent une surprise — deux façons de lire les mêmes probabilités.

🌱 La phrase la plus probable est-elle jamais la meilleure ?

La recherche traque les mots les plus probables ; les mots les plus probables font souvent la réponse la plus fade. Le chemin le plus sûr et le meilleur chemin ne sont pas le même — et un modèle qui emprunte toujours le plus probable est peut-être le moins susceptible de dire quelque chose dont vous vous souviendrez. Si la phrase la plus probable est la plus oubliable, qu'étions-nous en train de maximiser au juste ?