Aller au contenu
Léonel Vodounou

Blog

Des notes sur le machine learning, les LLM et les mathématiques qui se cachent derrière.

Notes de lecture

Série de 7 chapitres · 4 publié(s)

Build a Large Language Model (from Scratch)

Par Sebastian Raschka

Notes de lecture chapitre par chapitre du livre de Sebastian Raschka. Un parcours complet pour comprendre et construire un LLM depuis zéro.

  1. 00 Introduction à PyTorch
  2. 01 Comprendre les grands modèles de langage
  3. 02 Travailler avec des données textuelles
  4. 03 Coder les mécanismes d'attention

Séries

Série de 5 chapitres · 5 publié(s)

Logic Tensor Networks

Une série pas à pas sur les Logic Tensor Networks, un framework neuro-symbolique où la logique du premier ordre devient une fonction de perte différentiable : de l'ancrage des symboles dans des tenseurs à l'apprentissage par satisfaction d'une base de connaissances.

  1. 01 Le grounding : des symboles aux tenseurs
  2. 02 Connecteurs et quantificateurs
  3. 03 Les opérateurs et leurs gradients
  4. 04 Apprendre en satisfaisant une base de connaissances
  5. 05 Étude de cas : additionner des chiffres sans jamais les étiqueter

Articles