Accéder au contenu principal
AccueilArtificial Intelligence

Cours

Transformer Models with PyTorch

Avancé
Actualisé 05/2025
What makes LLMs tick? Discover how transformers revolutionized text modeling and kickstarted the generative AI boom.
Commencer le cours gratuitement

Inclus avecPremium or Teams

PyTorchArtificial Intelligence2 heures7 vidéos23 Exercices1,900 XP2,238Certificat de réussite.

Créez votre compte gratuit

ou

En continuant, vous acceptez nos Conditions d'utilisation, notre Politique de confidentialité et le fait que vos données sont stockées aux États-Unis.
Group

Formation de 2 personnes ou plus ?

Essayer DataCamp for Business

Apprécié par les apprenants de milliers d’entreprises

Description du cours

Deep-Dive into the Transformer Architecture

Transformer models have revolutionized text modeling, kickstarting the generative AI boom by enabling today's large language models (LLMs). In this course, you'll look at the key components in this architecture, including positional encoding, attention mechanisms, and feed-forward sublayers. You'll code these components in a modular way to build your own transformer step-by-step.

Implement Attention Mechanisms with PyTorch

The attention mechanism is a key development that helped formalize the transformer architecture. Self-attention allows transformers to better identify relationships between tokens, which improves the quality of generated text. Learn how to create a multi-head attention mechanism class that will form a key building block in your transformer models.

Build Your Own Transformer Models

Learn to build encoder-only, decoder-only, and encoder-decoder transformer models. Learn how to choose and code these different transformer architectures for different language tasks, including text classification and sentiment analysis, text generation and completion, and sequence-to-sequence translation.

Conditions préalables

Deep Learning for Text with PyTorch
1

The Building Blocks of Transformer Models

Commencer le chapitre
2

Building Transformer Architectures

Commencer le chapitre
Transformer Models with PyTorch
Cours
terminé

Obtenez un certificat de réussite

Ajoutez ces informations d’identification à votre profil LinkedIn, à votre CV ou à votre CV
Partagez-le sur les réseaux sociaux et dans votre évaluation de performance

Inclus avecPremium or Teams

S'inscrire maintenant

Rejoignez plus de 16 millions d’apprenants et commencer Transformer Models with PyTorch dès aujourd'hui !

Créez votre compte gratuit

ou

En continuant, vous acceptez nos Conditions d'utilisation, notre Politique de confidentialité et le fait que vos données sont stockées aux États-Unis.