1
Backpropagation calcule dW (poids delta) par poids par motif, il est donc facile de modifier les poids lors d'un entraînement stochastique. Comment puis-je l'utiliser pour la formation par lots, cependant? Il suffit d'accumuler dW sur l'ensemble de la formation, puis d'appliquer la modification, ou y a-t-il plus?Backpropagation et entraînement par lots
Mais lorsque vous recalculez les poids d'entrée, vous devez utiliser un vecteur d'entrée (an?). Donc, disons que j'accumule les erreurs pour 2 vecteurs, alors je commence à faire backprop - quel vecteur dois-je choisir? Dois-je exécuter backprop avec un vecteur, mettre à jour tous les poids, puis exécuter backprop avec l'autre vecteur, en mettant à jour tous les poids? – dwanderson
@dwanderson Avez-vous déterminé comment procéder? Je suis coincé au même endroit que vous, j'ai accumulé tous les deltas sur l'ensemble du lot, mais je ne sais pas comment procéder à partir d'ici. Mon hypothèse à partir de maintenant est de définir les deltas au delta moyen, puis mettre à jour les poids pour chaque vecteur dans mon ensemble de données. –