Como funciona a autoatenção?
Como funciona a autoatenção?

Vídeo: Como funciona a autoatenção?

Vídeo: Como funciona a autoatenção?
Vídeo: Mecanismos de Atenção | Processamento de Linguagem Natural | Deep Learning | Leonardo Ribeiro 2024, Novembro
Anonim

Em termos leigos, o auto - atenção mecanismo permite que as entradas interajam entre si (“ auto ”) E descubra quem eles devem pagar mais atenção para ( atenção ”). As saídas estão agregados dessas interações e atenção pontuações.

Além disso, o que é autoatenção?

Auto - atenção , às vezes chamado de intra- atenção é um atenção mecanismo relacionando diferentes posições de uma única sequência, a fim de computar uma representação da sequência.

Além disso, o que é auto-atenção no aprendizado profundo? Primeiro, vamos definir o que “ auto - Atenção é. Cheng et al, em seu artigo denominado “Long Short-Term Memory-Networks for Máquina Reading”, definido auto - Atenção como o mecanismo de relacionar diferentes posições de uma única sequência ou frase para obter uma representação mais vívida.

Em relação a isso, o que é mecanismo de Atenção?

Mecanismo de Atenção permite que o decodificador atenda a diferentes partes da sentença fonte em cada etapa da geração de saída. Em vez de codificar a sequência de entrada em um único vetor de contexto fixo, deixamos o modelo aprender como gerar um vetor de contexto para cada etapa de tempo de saída.

O que é o modelo baseado em atenção?

Atenção - modelos baseados pertencem a uma classe de modelos comumente chamado de sequência a sequência modelos . O objetivo destes modelos , como o nome sugere, para produzir uma seqüência de saída dada uma seqüência de entrada que são, em geral, de comprimentos diferentes.

Recomendado: