Encodage positionnel

Définition

Méthode des réseaux autoattentifs qui aide à préserver l’ordre séquentiel des jetons textuels (tokens) en ajoutant des informations sur la position de chaque segment dans la séquence, ce qui leur permet d’avoir une meilleure compréhension contextuelle et d’éviter les problèmes de symétrie.

Français

encodage positionnel

Anglais

positional encoding

PE

Sources

Source : kdnuggets

Source : TERMIUM Plus