Introduction au Deep Learning

Les fonctions
d'activation

Pourquoi les réseaux de neurones ont besoin de « courbes » pour apprendre

Sigmoid Tanh ReLU Leaky ReLU ELU Swish Softmax
Utilisez ← → pour naviguer · F plein écran
Sommaire

Ce que nous allons voir

  1. 01
    Pourquoi des fonctions d'activation ?Le problème des lignes droites et du XOR
  2. 02
    Les fonctions principalesSigmoid, Tanh, ReLU et ses variantes
  3. 03
    Le « gradient qui disparaît »Pourquoi certaines fonctions bloquent l'apprentissage
  4. 04
    SoftmaxTransformer des notes en pourcentages
  5. 05
    Quelle fonction choisir ?Le guide pratique
Introduction

Où se trouve la fonction d'activation ?

Un neurone fait deux choses :

  • il additionne ses entrées × leurs poids : Σ
  • il passe le résultat dans une fonction d'activation : f
Aujourd'hui, on s'intéresse uniquement à ce petit bloc f : c'est lui qui décide quoi envoyer à la suite.
x₁ x₂ ⋮ xₙ w₁w₂wₙ b Σ f ŷ entrées somme pondérée activation sortie
01 · Pourquoi des fonctions d'activation ?

Sans activation : que des lignes droites

Sans fonction d'activation, un neurone ne fait que multiplier et additionner. C'est une opération « linéaire » : son graphique est une ligne droite.

Empilons 3 couches :
couche 1 : × 2
couche 2 : × 3
couche 3 : × 5
= une seule couche : × 30
Même avec 100 couches, le réseau reste aussi simple qu'une seule couche.
✏️ L'analogie de la règle

Avec seulement une règle droite, vous pouvez tracer autant de traits que vous voulez… mais jamais un cercle.

La fonction d'activation, c'est la possibilité de plier le trait.

La fonction d'activation permet au réseau de :

  • apprendre des formes courbes et complexes
  • profiter de plusieurs couches : chacune apprend quelque chose de nouveau
01 · Pourquoi des fonctions d'activation ?

Le XOR : « l'un ou l'autre, mais pas les deux »

Au restaurant : un café OU un dessert, mais pas les deux.

Café ☕Dessert 🍰Accepté ?
00non
01oui
10oui
11non
À gauche : aucune droite ne sépare les oui des non.
À droite : une couche cachée avec activation (ReLU) déplace les points. Une droite suffit alors !
Bien classés : – / 4 · jamais 4
02 · Les fonctions principales

Sigmoid

En une phrase : elle écrase n'importe quel nombre entre 0 et 1, comme un pourcentage.
$$\sigma(x) = \frac{1}{1 + e^{-x}}$$

Points forts

  • Le résultat se lit comme une probabilité
  • Courbe douce, facile à comprendre

Points faibles

  • Aux extrémités, la courbe devient plate : la pente tombe à 0
  • La pente ne dépasse jamais 0.25
À utiliser : à la toute fin du réseau pour une question oui / non (spam ou pas spam ?).
02 · Les fonctions principales

Tanh

En une phrase : comme Sigmoid, mais entre −1 et 1, centrée sur 0.
$$\tanh(x) = \frac{e^{x} - e^{-x}}{e^{x} + e^{-x}}$$

Points forts

  • Centrée sur 0 : positifs et négatifs s'équilibrent
  • Pente jusqu'à 1 : 4 fois plus forte que Sigmoid

Points faibles

  • Devient aussi plate aux extrémités
  • Assez lente à calculer
À utiliser : dans les réseaux qui traitent des séquences (texte, son), comme les RNN.
02 · Les fonctions principales

ReLU

En une phrase : si c'est négatif, on met 0 ; sinon, on laisse passer tel quel.
$$\text{ReLU}(x) = \max(0,\, x)$$

Points forts

  • Ultra rapide : une simple comparaison
  • Pente = 1 pour les positifs : l'apprentissage ne faiblit pas

Points faibles

  • Pente = 0 pour les négatifs : un neurone peut rester bloqué à 0 et « mourir »
À utiliser : c'est le choix par défaut à l'intérieur du réseau.
02 · Les fonctions principales

Les variantes de ReLU

Même idée que ReLU, mais les négatifs ne sont plus coupés à 0 : plus de neurones « morts ».

Leaky ReLULaisse « fuir » un petit peu des négatifs ($0.01 \times x$). Aussi rapide que ReLU.
ELULes négatifs descendent en douceur vers −1 ($e^{x} - 1$). Apprend souvent un peu plus vite.
SwishUne ReLU « arrondie » ($x \times \sigma(x)$). Utilisée dans les grands modèles modernes.

Contrepartie : ELU et Swish sont plus lentes à calculer, et le gain n'est pas garanti.

02 · Les fonctions principales

Les fonctions d'activation en un coup d'œil

Cliquez pour afficher / masquer :

La pente = la force de l'apprentissage. Si elle tombe à 0, le neurone n'apprend plus.

03 · Le gradient qui disparaît

Le « gradient qui disparaît »

📞 Le jeu du téléphone arabe

Un message passe de personne en personne. À chaque fois, on le répète 4 fois moins fort. Au bout de 10 personnes, on n'entend plus rien.

Pour apprendre, la correction remonte le réseau couche par couche. À chaque couche, elle est multipliée par la pente de la fonction d'activation.

Sigmoid : 0.25 × 0.25 × 0.25 × … ≈ 0
Les premières couches ne reçoivent presque plus rien : elles n'apprennent plus.
Solution : ReLU. Sa pente vaut 1, le signal passe sans faiblir.
Signal reçu par la 1re couche : –
04 · Softmax

Softmax : des notes aux pourcentages

Pour choisir une réponse parmi plusieurs, le réseau donne une note à chaque option. Softmax transforme ces notes en pourcentages qui font 100 %.

$$\text{softmax}(z_i) = \frac{e^{z_i}}{\sum_j e^{z_j}}$$
① L'exponentielleRend toutes les notes positives et agrandit les écarts.
② La division par le totalTransforme le tout en pourcentages.

Bougez les curseurs pour changer les notes du réseau :

Total : 100 % · Le réseau pense que c'est : –
05 · Synthèse

Quelle fonction choisir ?

À l'intérieur du réseau

Pour commencerReLU
Trop de neurones « morts »Leaky ReLU / ELU
Très grands modèles modernesSwish
Texte ou son (RNN)Tanh

À la sortie du réseau

Question oui / nonSigmoid
Une réponse parmi plusieursSoftmax
Prédire un nombre (un prix…)Aucune
Conclusion

À retenir

1

Sans fonction d'activation, un réseau ne trace que des lignes droites. Il ne sait même pas résoudre le XOR.

2

Les fonctions qui deviennent plates (Sigmoid, Tanh) affaiblissent l'apprentissage : c'est le gradient qui disparaît.

3

ReLU est simple, rapide et efficace : c'est le choix par défaut. Ses variantes corrigent ses petits défauts.

4

Softmax transforme les notes finales en pourcentages pour choisir parmi plusieurs réponses.

Merci ! Des questions ?
1 / 14