Algorithme de rétropropagation avec seuils

Il est possible d'améliorer nos réseaux en utilisant des neurones possédant des seuils d'activation $b_i^{(p)}$. L'équation de mise à jour du système s'écrit alors :

$$\left\{ \begin{array}{l} u_i^{(p)}=\left(\sum_{j=1}^{N^... ...p)}}\\ x_i^{(p)}=f_i^{(p)}(u_i^{(p)}) \end{array} \right.$$ (2)

• Pour initialiser le réseau, il faut générer les valeurs des seuils sur chaque couche. Pour la couche 0, les seuils seront pris égaux à la moyenne de la distribution d'entrée, soit : $b^{(0)}_i=\mbox{mean}\left(\{X_{i,k}\}_{k=1..K}\right)$. Pour les couches 2 et 3, on prendra des seuils aléatoires gaussiens centrés.
• L'algorithme de rétropropagation du gradient reste le même. Les seuils sont mis à jour comme suit :
  
  $$b_i^{(p)} \leftarrow b_i^{(p)} - \varepsilon \delta_{i,k}^{(p)}$$
  
  

Questions :

• Réécrire les fonctions init_perceptron, propagation et retropropagation en effectuant les modifications proposées ci-dessus.
• Reprendre les deux bases d'apprentissage définies ci-dessus. Quel est l'effet de l'algorithme à seuils sur la qualité de la réponse/la vitesse de convergence ?
• Idem avec la fonction $f(x_1,x_2)=\exp(-x_1^2-x_2^2)$.