La mémoire bidirectionnelle à long terme et à court terme (BiLSTM ou BLSTM) est une architecture d'apprentissage en profondeur pour les tâches séquence à séquence qui fournit un moyen efficace de traiter des séquences de données. Afin de traiter des séquences d'entrée et de sortie de longueur variable dans un environnement d'apprentissage supervisé, les architectures BiLSTM combinent l'architecture de réseau neuronal récurrent (RNN) prospective avec une architecture RNN rétrospective de manière bidirectionnelle. Cette capacité permet à BiLSTM de capturer des informations temporelles avec plus de précision et d'efficacité que les réseaux neuronaux récurrents conventionnels, conduisant à de meilleures performances dans de nombreuses tâches telles que la reconnaissance vocale, le traitement du langage naturel (NLP), la prévision de séries chronologiques, etc.
À la base, un BiLSTM se compose de deux RNN distincts : un RNN prospectif et un RNN rétrospectif. Le RNN prospectif traite les entrées de gauche à droite, tandis que le RNN rétrospectif traite les entrées de droite à gauche. La sortie de chacun de ces réseaux est ensuite combinée en une seule représentation, qui peut ensuite être utilisée comme entrée dans une couche de sortie entièrement connectée ou dense.
L’avantage de combiner deux RNN en une seule architecture réside dans sa capacité à capturer la dynamique temporelle à long terme. En bouclant les informations sur de longues séquences de données dans les deux sens (de gauche à droite et de droite à gauche), les architectures BiLSTM sont capables de capturer non seulement les interactions directes entre les éléments, mais également la manière dont les éléments peuvent interagir les uns avec les autres sur de longues périodes de temps. . Cela pourrait donner aux BiLSTM un avantage par rapport aux autres architectures basées sur des séquences qui peuvent se limiter à capturer uniquement les effets temporels immédiats ou à court terme.
Les BiLSTM se sont révélés efficaces dans un certain nombre de tâches, notamment la modélisation du langage au niveau des caractères, la reconnaissance de l'écriture manuscrite et l'analyse des sentiments. Ils sont devenus de plus en plus populaires ces dernières années en raison de leur flexibilité et de leur capacité à capturer des modèles temporels dans les données. En conséquence, ils sont devenus une architecture incontournable pour de nombreuses tâches liées à l’apprentissage séquence à séquence.
