Création d'une base d'apprentissage

La base d'apprentissage définit la classification ou la fonction que l'on souhaite apprendre. On se propose dans ce TP de tester l'algorithme de rétropropagation simple sur quelques bases d'apprentissage classiques données ci-dessous :

• Classificateur XOR : la fonction XOR (ou exclusif) est un benchmark intéressant dans la mesure où la réponse 0 ou 1 repose sur une classification d' éléments non linéairement séparables ¹. Pour apprendre une telle classification, il faut nécessairement utiliser un réseau possédant une couche cachée. La fonction XOR est donnée dans le tableau suivant :

  XOR
  $e_1$	$e_2$	$s$
  0	0	0
  0	1	1
  1	0	1
  1	1	0

  Comme on le voit sur la figure ci-dessous, la classification ne peut pas être faite à l'aide d'une droite séparant l'espace d'entrée en 2 régions.
  
  
  • Le programme init_base_xor devra générer la base d'apprentissage (matrices X et Y).
  • Générer un réseau. À vous de déterminer le nombre de neurones sur la couche cachée n1.
  • Combien de fois cette base doit-elle être présentée pour obtenir une réponse dont l'erreur résiduelle est inférieure à $10^{-5}$ pour chacune des entrées ?
  • Déterminer l'influence du nombre $n1$ sur la qualité de la réponse/la vitesse de convergence de l'algorithme.
• Approximation de fonctions : On se propose d'apprendre à un réseau la fonction $f(x_1,x_2)=x_1\exp(-x_1^2-x_2^2)$, sur l'intervalle $[-2,2]^2$.
  • Visualiser cette fonction à l'aide de la fonction fplot3d .
  • Générer la base d'apprentissage (matrices X et Y). Combien d'exemples faut -il générer pour couvrir convenablement la fonction que l'on souhaite approximer ?
  • Générer un réseau. À vous de déterminer le nombre de neurones sur la couche cachée n1.
  • Combien de fois la base doit-elle être présentée pour obtenir une réponse dont l'erreur résiduelle est inférieure à $10^{-2}$ en moyenne pour chacune des entrées ?
  • Déterminer l'influence de $K$ et $n1$ sur la qualité de la réponse/la vitesse de convergence de l'algorithme.
  • Que se passe-t-il si l'on prend la fonction $f(x_1,x_2)=\exp(-x_1^2-x_2^2)$. L'algorithme converge-t-il toujours? Pourquoi?