Rappel sur les réseaux feed-forward et la rétropropagation du gradient

Considérons un réseau en couches, tel que la mise à jour du neurone de la couche $p$ dépend des états des neurones de la couche $p-1$. Si la couche $p-1$ comporte $N^{(p)}$ neurones, la mise à jour de l'état d'activation $x_i^{(p)}$ du neurone $i \in 1..N^{(p)}$ obéit à l'équation :

$$\left\{ \begin{array}{l} h_i^{(p)}=\sum_{j=1}^{N^{(p-1)}}... ...1)}\\ x_i^{(p)}=\phi^{(p)}(h_i^{(p)}) \end{array} \right.$$ (1)

Où $h_i^{(p)}$ est le potentiel d'activation et les $w_{ij}^{(p)}, i=1..N^{(p)},j=1..N^{(p-1)}$ sont les connexions synaptiques de la couche $p-1$ vers la couche $p$. La fonction d'activation de la couche $p$ est $\phi^{(p)}$. On considère l'apprentissage ``supervisé'' à partir d'une base d'exemples constituée d'un ensemble d'entrées $\mathbf{X}_k, k=1..K$ et d'un ensemble de sorties souhaitées associées à ces entrées $\mathbf{Y}_k, k=1..K$.

Cet algorithme permet entre autres d'approcher toute fonction définie sur un compact de $I\!\!R^n$ avec la précision souhaitée (régression). En particulier, le réseau est capable de généralisation, c'est à dire de produire des sorties adéquates pour des entrées n'appartenant pas à la base d'exemples. Néanmoins, cette propriété ne permet pas de déterminer le nombre de couches cachées ni le nombre de neurones dans les couches cachées. Dans le cadre de ce TP, on utilisera un réseau avec 3 couches (une couche d'entrée, une couche cachée, une couche de sortie).