Attention Is All You Need
Generative AI exists because of the transformer
Arquitectura de un Transformer
Nueva arquitectura para lidiar con problemas comunes de las RNNs:
- Evita la pérdida de memoria posibilitando aprender dependencias a largo plazo (atención)
- Las salidas de las capas pueden calcularse en paralelo, en lugar de en serie como las RNNs. Ya no se conecta el output anterior con la siguiente palabra, se procesan TODOS los datos a la vez.
Aplicaciones
- Alphafold2 - analizar secuencias de datos genómicos
AlphaFold Protein Structure Database
GitHub Copilot · Your AI pair programmer
ChatGPT
- Dall-e, Stable difussion y resto modelos de generación de imagen