mentria
Un fil qui enseigne.
Source
Source
Source
Source
Source
Source
Source
Source
Source ·
Comment un modèle s'améliore tout court : un petit pas vers le bas.
Source
Source ·
Comment un modèle répartit le blâme sur un milliard de boutons d'un seul coup.
Source
Source ·
Pourquoi l'agrandir continue de l'améliorer — de façon prévisible, puis d'un coup.
Source
Source
Source ·
Comment un modèle apprend ce que nous voulons — en lui montrant ce que nous préférons.
Source
Source
Source
Source ·
Comment un modèle abrite de nombreux spécialistes — et n'en réveille que quelques-uns.
Source
Source ·
Une attention exacte, accélérée en n'écrivant jamais la gigantesque grille.
Source
Source
Source ·
Comment un modèle géant apprend votre tâche en n'entraînant presque rien.
Source
Source
Source ·
Comment un modèle apprend une nouvelle tâche à partir du prompt — sans rien changer.
Source
Source ·
Comment un seul petit fil permet à un réseau d'être vraiment profond.
Source
Source ·
Comment un modèle empêche le signal de chaque couche d'exploser ou de s'éteindre.
Source
Source
Source
Source
Source
Source
Source
Source ·
Comment un petit modèle ébauche et un grand se contente de vérifier — les mêmes mots, bien plus vite.
Source
Source ·
Comment un modèle encode où se trouve un mot — en tournant, pas en étiquetant.
Source
Source ·
Pourquoi l'échelle et la recherche battent toujours nos astuces les plus ingénieuses.
Source
Source ·
Comment un modèle lit l'ensemble sans peser chaque mot contre tous les autres.
Source
Source
Source ·
Comment les têtes d'attention partagent leur mémoire — et la réduisent plusieurs fois.
Source
Source
Source
Source ·
Transformez « A bat B » directement en un meilleur modèle — sans modèle de récompense ni RL.
Source
Source ·
Donnez au modèle un livre ouvert : qu'il aille chercher les choses au lieu de les inventer.
Source
Source
Source ·