Comment fonctionne la fonction d'erreur d'entropie croisée dans un algorithme de rétropropagation ordinaire?

Question

Je travaille sur un réseau de propagation en amont de C++ mais je n'arrive pas à le faire fonctionner correctement. Le réseau sur lequel je base la mienne utilise la fonction d'erreur d'entropie croisée. Cependant, je ne suis pas très familier avec cela et même si j'essaie de le regarder, je ne suis toujours pas sûr. Parfois, cela semble facile, parfois difficile. Le réseau résoudra un problème de classification multinomiale et, autant que je sache, la fonction d'erreur d'entropie croisée convient à ces cas. Quelqu'un qui sait comment ça marche?

Answer 1

Ah oui, bonne rétropropagation. La joie est que cela n'a pas vraiment d'importance (mise en œuvre) quelle fonction d'erreur vous utilisez, tant qu'elle est différentiable. Une fois que vous savez calculer l'entropie croisée pour chaque unité de sortie (voir le wiki article), vous prenez simplement la dérivée partielle de cette fonction pour trouver les poids pour la couche cachée, et encore une fois pour la couche d'entrée. Toutefois, si votre question ne porte pas sur la mise en œuvre, mais plutôt sur les difficultés d'entraînement, alors vous avez du travail à faire pour vous. Différentes fonctions d'erreur sont bonnes pour différentes choses (mieux vaut simplement le raisonner en fonction de la définition de la fonction d'erreur) et ce problème est aggravé par d'autres paramètres comme les taux d'apprentissage.

Espérons que cela aide, laissez-moi savoir si vous avez besoin d'autres informations; Votre question était un peu vague ...