Aller au contenu
Léonel Vodounou
Retour au blog
Build a Large Language Model (from Scratch)

Série de lecture

Build a Large Language Model (from Scratch)

Par Sebastian Raschka

Notes de lecture chapitre par chapitre du livre de Sebastian Raschka. Un parcours complet pour comprendre et construire un LLM depuis zéro.

LLMDeep LearningNLPTransformers

Chapitres 4/7

  1. 00

    Introduction à PyTorch

    Chapitre 0 : Introduction pratique à PyTorch, tenseurs, graphes de calcul, et autograd.

    70 min de lecture

  2. 01

    Comprendre les grands modèles de langage

    Notes de lecture du Chapitre 1 : Introduction aux LLMs, architecture transformer, et processus de préentraînement et d'affinage.

    14 min de lecture

  3. 02

    Travailler avec des données textuelles

    Chapitre 2 : Tokenisation, encodage BPE, et préparation des données pour les modèles de langage.

    30 min de lecture

  4. 03

    Coder les mécanismes d'attention

    Plongée au cœur de l'architecture des LLMs : self-attention simplifiée, poids apprenables, attention causale et multi-têtes.

    55 min de lecture

  5. 04

    Implémenter un modèle GPT

    À venir

  6. 05

    Préentraîner sur des données non étiquetées

    À venir

  7. 06

    Affinage pour la classification et le suivi d'instructions

    À venir