Backpropagation - Descente de gradient
Cet article explique pas à pas le principe de la descente de gradient, le cœur de l'entraînement d'un modèle. On part des bases — les entrées, les poids, la fonction de perte — puis on déroule ensemble les étapes : forward pass, backward pass, et mise à jour des poids. On verra comment le modèle ajuste petit à petit ses paramètres pour se rapprocher du bon résultat, et comment tout ça se traduit concrètement en dérivées, gradients et tensors (avec PyTorch en toile de fond).
Le verbe extraire est défectif
Ce qui est merveilleux quand on écrit c'est qu'on découvre des règles, des subtilités et autres curiosités de la langue français qu'on a sans doute apprises dans notre jeunesse. Tout récemment j'ai écrit dans mon texte un « il extraya ». Or mon indéfectible correcteur orthographique a décidé de le souligner en rouge. J'ai donc fait quelque recherche et j'ai appris que le verbe extraire ne se conjugue pas au passé simple. C'est un verbe dit *défectif* qui ne se conjugue pas à tous les temps.