Série de Lecture
Build a Large Language Model (from Scratch)
Par Sebastian Raschka
Notes de lecture chapitre par chapitre du livre de Sebastian Raschka. Un parcours complet pour comprendre et construire un LLM depuis zéro.
LLM Deep Learning NLP Transformers
Chapitres (4/7)
Chapitre 0 • 69 min
Introduction à PyTorch
Chapitre 0 : Introduction pratique à PyTorch, tenseurs, graphes de calcul, et autograd.
Chapitre 1 • 13 min
Comprendre les grands modèles de langage
Notes de lecture du Chapitre 1 : Introduction aux LLMs, architecture transformer, et processus de préentraînement et d'affinage.
Chapitre 2 • 30 min
Travailler avec des données textuelles
Chapitre 2 : Tokenisation, encodage BPE, et préparation des données pour les modèles de langage.
Chapitre 3 • 52 min
Coder les mécanismes d'attention
Plongée au cœur de l'architecture des LLMs : self-attention simplifiée, poids apprenables, attention causale et multi-têtes.
4
Chapitre 4
Implémenter un modèle GPT
À venir 5
Chapitre 5
Préentraîner sur des données non étiquetées
À venir 6
Chapitre 6